Schwerpunktthema - Evaluation von Forschung

von Matthias Bergmann, Wissenschaftskolleg zu Berlin und Institut für sozial-ökologische Forschung, Frankfurt (M)

Evaluationsverfahren für transdisziplinäre Forschung benötigen spezielle Kriterien und Methoden, um den Besonderheiten dieses Forschungstyps gerecht zu werden. Wissenschaftler und Wissenschaftlerinnen [1] aus fünf Instituten des Forschungsverbundes Ökoforum [2] arbeiten dazu an einem gemeinsamen Vorhaben unter dem Titel Evaluationsnetzwerk für transdisziplinäre Forschung - Evalunet. In Evalunet sollen Indikatoren, Kriterien und Methoden für eine erfolgreiche transdisziplinäre Forschung und ihre Evaluation erarbeitet und Instrumente zur prozessorientierten Selbst-Evaluation für die Institute der sozial-ökologischen Forschung entwickelt werden. [3] Zur Verfolgung dieser beiden Ziele werden im Laufe des Vorhabens sechs transdisziplinäre Forschungsprojekte einer Evaluation unterzogen. Der Beitrag schildert erste Erkenntnisse.

1     Transdisziplinarität - Erfahrungen mit Definition und Bewertung

Meinungsverschiedenheiten über Forschungsmethoden gehören "zum Geschäft", sind geradezu erwünscht, um einen Erkenntnisgewinn zu erzielen. In der Debatte um transdisziplinäre oder - weiter gefasst - die so genannte Mode-2-Forschung und ihre Abgrenzung von disziplinärer Forschung ist man sich allerdings deutlich weitreichender uneins. Auf der einen Seite wird ein neuer, transdisziplinärer Forschungstyp vorgestellt bzw. propagiert (siehe beispielsweise bei Gibbons et al. 1994; Nowotny 1997; Thompson-Klein 1996; Thompson-Klein et al. 2001), der der Erarbeitung "sozial robusten" Wissens dient (Nowotny 2000) und mit "lokalisiertem" bzw. "kontextualisiertem" Wissen eine "kognitive Revolution" bedeutet (Nowotny 1999). Auf der anderen Seite stellt beispielsweise Weingart darauf ab, dass im Rahmen der Debatte ein "epistemologischer Wandel" postuliert würde und stellt kategorisch fest: "Außerwissenschaftliche Wissensproduktion und wissenschaftliche bestehen nebeneinander (Hervorheb. i. O.)". Zudem kann er eigene theoretische Strukturen und Forschungsmethoden der transdisziplinären Forschung nicht erkennen (Weingart, 2001, 341f.; auch ders. 1997; ders. 1999). Liest man diese Auseinandersetzung aufmerksam, so fällt auf, dass solche Kategorisierungen und die zum Ausdruck kommenden Missverständnisse vor allem durch große Entfernung vom Alltag transdisziplinärer Forschungspraxis geprägt werden.

Angesichts solcher Auseinandersetzungen ist es kaum verwunderlich, wenn auch eine Definition von Transdisziplinarität umstritten ist und Fragen zur Bewertung transdisziplinärer Forschungsergebnisse selten formuliert werden.

1.1     Zur Definition von Transdisziplinarität

Definitionsversuche von Transdisziplinarität sind mehrere zu finden, wobei im Kontext mit dem langjährigen "Schwerpunktprogramm Umwelt Schweiz" (SPPU), in dem viele als transdisziplinär eingestufte Projekte bearbeitet wurden, eine gewisse Definitionsmacht entstanden ist.

Seit etwa 1996 kann festgestellt werden, dass unterschiedlich offene Konzeptionen mit Transdisziplinarität verbunden werden. So ist einerseits die Auffassung zu finden, dass sich Transdisziplinarität durch das Überschreiten der Disziplingrenzen auszeichnet ("transgressiveness") und auch theorieorientierte Forschung sein kann (bspw. Hirsch Hadorn et al. 1996/97 und Mittelstraß 1998). Von anderen wird der Begriff deutlich enger gefasst: Balsiger und Kötter bspw. schreiben zur gleichen Zeit, mit Transdisziplinarität bezeichne man u. a. "einen wissenschaftlichen Arbeitsstil, bei dem zur Lösung eines Problems mit außerwissenschaftlichen Institutionen und Organisationen zusammengearbeitet werden muss." (1996) Von anderen Autoren wird "Teambildung" aus Wissenschaft und Praxis als Kriterium für Transdisziplinarität genannt, ebenso häufig das Stichwort "Partizipation" (Häberli, Grossenbacher-Mansuy 1998, S. 200f.).

Jahn schließlich schreibt in einer Charakterisierung von sozial-ökologischer Forschung über Transdisziplinarität: "Eine Forschung, die sich aus ihren fachlichen disziplinären Grenzen löst und ihre Probleme mit Blick auf außerwissenschaftliche, gesellschaftliche Entwicklungen - sog. lebensweltliche Probleme - definiert, um diese Probleme dann disziplin- und unabhängig von Fachgrenzen zu bearbeiten und die Ergebnisse sowohl praktisch wie theoretisch zusammenzuführen." Dabei müsse die Forschung "die unterschiedlichen Interessenlagen und das heterogene Erfahrungswissen gesellschaftlicher Akteure (...) in den Mittelpunkt stellen und zugleich für die Umarbeitung der gesellschaftlichen Probleme in wissenschaftliche präsent halten im Sinne einer kritischen Reflexivität" (Jahn 2003).

Im Hinblick auf eine methodologische Untersuchung zu erfolgreichen transdisziplinären Forschungsstrategien wird in Evalunet ein ähnlich offener Ansatz bevorzugt. Transdisziplinäre Forschung 

• greift so genannte lebensweltliche Problemstellungen bzw. Fragen auf, die nicht rein wissenschaftsimmanent sind, 
• beteiligt bei der Beschreibung der daraus resultierenden Forschungsfragen und ihrer Behandlung die notwendigen Fächer bzw. Disziplinen (Differenzierung), 
• überschreitet bei der Bearbeitung die Disziplin- und Fachgrenzen (trans...) 
• und betreibt im Projektverlauf sowie am Ende eine kognitive Integration wissenschaftlichen Wissens sowie eine praktische Integration des lebensweltlichen Wissens und verknüpft beides miteinander (transdisziplinäre Integration).

1.2     Zur Bewertung: Zwischen neuer Forschungsqualität und Banalität

Eigene Erfahrungen als Leiter und als Wissenschaftler in einem Forschungsverbund, aber auch Erfahrungen aus der Evaluation von transdisziplinären Forschungsprojekten zeigen, dass nicht selten bemerkenswerte Bewertungsdifferenzen zwischen den in einem Projekt forschenden Wissenschaftlern und externen Evaluatoren auftreten. Während (fachgebundene) Einzelleistungen beiderseits hoch gelobt werden, ist man sich in der Beurteilung des Gesamtergebnisses des Projekts oft genug uneins. Hoher Zufriedenheit mit den Projektwirkungen steht disziplinäre Kritik an Unwissenschaftlichkeit des Gesamtergebnisses gegenüber. Woher rührt diese Diskrepanz, mit der Forschungsergebnisse intern und extern beurteilt werden?

Erstens: Leitbildern und Kriterien, die in die Beurteilung von Forschungsergebnissen eingehen, mangelt es an Anschlussfähigkeit an bestehende akademische Strukturen, die auch heute noch in weiten Bereichen ausschließlich durch fachbezogene Qualifikation bestimmt sind.

Zweitens: Transdisziplinäre Forschung ist durch den Willen gekennzeichnet, Lösungsstrategien zu entwickeln, bei denen alle Hemmnisse und Potenziale verschiedener Akteursgruppen berücksichtigt werden. Das führt dazu, dass sich Teillösungen aneinander "abschleifen" und ein Ergebnis zutage tritt, das einem bekannt vorkommt - es ist so alltagsnah, fast banal, denn es wurde an vielen realitätsnahen Randbedingungen hinsichtlich seiner Umsetzungswahrscheinlichkeit gemessen.

Drittens: Transdisziplinäre Projekte bewirken Veränderungen im Handlungsraum von außerwissenschaftlichen Praxispartnern des Projekts. Diese Wirkungen entziehen sich oftmals der wissenschaftszentrierten Bewertung.

Die so frustrierten Wissenschaftler in der transdisziplinären Forschung stoßen auf ein von Krott (2002) zutreffend geschildertes Problem: "Transdisciplinary projects are focused on maximising the contribution to solve problems. Therefore they cannot simultaneously maximize the scientific standards on how they are defined by disciplines. (...) The peers representing specific disciplines know such standards very well and try to maximize the disciplinary standards in order to improve research from their point of view. By these standards they will kill innovative transdisciplinary projects which are focused on the impact of problem solving (...)".

In der Wissenschaftsevaluation benutzte Peer-Review-Verfahren stoßen also bei der Bewertung von transdisziplinärer Forschung an Grenzen, weil es Peers [4] im eigentlichen Sinne für die integrierte Gesamtleistung nur selten geben kann. Denn transdisziplinäre Forschung zeichnet sich in der Regel durch auf den Einzelfall eines Projekts zusammengestellte, fächerübergreifende und praxisverbundene Kooperationsformen aus, die selten in derselben Zusammensetzung reproduziert werden ("kontextualisierte" Forschung).

Bei Evaluationen von Forschungsinstitutionen mit interdisziplinären Aufgaben entsteht eine vergleichbare Problematik (s. bspw. Röbbecke, Simon 1999; dies. 2001).

2     Die Aufgabenstellung in Evalunet

Bei den in Evalunet durchgeführten Auswertungen transdisziplinärer Forschungsprojekte sollen zunächst Indikatoren für Erfolgsvoraussetzungen identifiziert werden, die eine erfolgreiche "Konstruktion" von transdisziplinärer Forschungsarbeit beschreiben. Aus solchen Indikatoren sollen schließlich Kriterien und Methoden für die Evaluation abgeleitet werden.

Bisherige Arbeiten zur Transdisziplinarität und zu Möglichkeiten ihrer Bewertung leiten entweder wissenschaftstheoretische Erkenntnisse über Grundsatzfragen der neuen Wissenschaftsform her (z. B. Gibbons et al. 1994; Nowotny 1997; Thompson-Klein 1996) oder sie berichten über empirische Beobachtungen aus einem Forschungsprojekt oder -programm (z. B. Brand 2000; Häberli, Grossenbacher-Mansuy 1998), aus denen - in einem eher normativen Verfahren - vermeintlich allgemein gültige Regeln für erfolgreiche transdisziplinäre Forschungsarbeit abgeleitet werden. Von dieser gewissermaßen bipolaren Betrachtungsweise gibt es wenige Ausnahmen, die vor allem im Umfeld des SPPU und der Kulturlandschaftforschung in Österreich sowie der sozial-ökologischen Forschung anzutreffen sind, von deren Erfahrungen Evalunet profitieren kann (bspw. Defila, Di Giulio 1999; Mogalle 2001; Krott 1997; ders. 1999; Loibl 2001; Becker 2002). Auf konkrete Verfahrensfragen der Evaluationspraxis wird man hier allerdings auch nicht stoßen.

3     Verfahren zur Projektauswertung

Die Literaturanalyse und die eigenen Erfahrungen zeigen: Je komplexer die fachliche Zusammensetzung des Projekts ist, das es zu analysieren gilt, desto mehr rücken neben den fachbezogenen Inhalten auch die Fragen der inhaltlichen Integration der Forschungsbestandteile sowie der dazu notwendigen Strukturierung des Forschungsprozesses und seiner Leitung in den Vordergrund.

Häberli und Grossenbacher-Mansuy (1998) schreiben: "Wir haben ... gelernt, dass transdisziplinäre Forschung nach fünf Dimensionen beurteilt werden kann, nämlich (1) Wissenschaftstheorie, Methode; (2) Fachdisziplin; (3) Integration in den Anwendungskontext; (4) Teamprozeß, Partizipation; (5) 'Produkt', Problemlösung". Die Vielschichtigkeit der Analysenotwendigkeiten wird deutlich.

Evalunet ist entlang der sechs Projektauswertungen iterativ angelegt, wobei die sechs Projekte nicht von vornherein festgelegt wurden, sondern sie werden im Laufe des iterativen Verfahrens ausgewählt. Nach jeder Evaluation werden sowohl Schlussfolgerungen hinsichtlich der Erfolgsindikatoren gezogen als auch im gleichen Zuge das eigene Vorgehen überprüft und angepasst, um Aufschluss über geeignete Evaluationsmethoden zu erlangen. Die Gewissheit, ob die gewählten Indikatoren und Kriterien Bestand haben, wächst im Rahmen der einzelnen Evaluationen von Diskurs zu Diskurs, ebenso die Sicherheit im Verfahren.

3.1     Die Projektdokumentation

Die Wissenschaftler und Wissenschaftlerinnen des auszuwertenden Projekts legen eine umfassende Dokumentation vor, die sich aus bereits vorhandenen Materialien zusammensetzt. Das beinhaltet zumindest einen umfassenden Abschlussbericht, daneben in der transdisziplinären Forschung oft auch Produkte wie Praxis-Leitfäden, Handreichungen für Praxispartner, zielgruppenbezogene Publikationen usw.

Zusätzlich ist es im Evalunet-Verfahren gewünscht, möglichst viele, das Projekt konstituierende bzw. begleitende Materialien zu erhalten, also beispielsweise Struktur- und Ablaufpläne, Netzpläne, Organigramme oder - was (selten) auch vorkommt - Prozessberichte, die den inter- bzw. transdisziplinären Forschungsprozess dokumentieren. Krott (2002) schreibt hierzu: "Monitoring the procedures used in practice by scientists when they try to work interdisciplinarily contributes to improving the concept of interdisciplinarity by learning from the experience."

3.2     Der Evalunet-Fragenkatalog

Da solche den Forschungsprozess beschreibenden Materialien selten vorliegen, wurde in Evalunet ein Fragenkatalog entworfen. Er umfasst etwa 80 Einzelfragen, die in die drei großen Abschnitte unterteilt sind: 

• "Projektkonstruktion, Forschungsfeld, Akquisition" (beinhaltet auch Fragen zu den Themen Projektformulierung und Zielbeschreibung sowie zur Strukturierung des Projekts) 
• "Durchführung des Projekts" (Rahmenbedingungen, Projektleitung und -koordination, Kooperation und Integration) 
• "Produkte" (Produkte, Übertragbarkeit, Ergebnis- Dissemination, Zufriedenheit, Renommee, Verwertung, Schlussfolgerungen).

Der Fragenkatalog wird von den Wissenschaftlern des untersuchten Projekts nicht individuell beantwortet, sondern vom Projektteam gemeinsam.

Eine Literaturanalyse sowie die eigene Erfahrung der Mitglieder der Evalunet-Projektgruppe im Leiten und Bearbeiten von transdisziplinären Forschungsprojekten bilden die Begründungszusammenhänge für die Auswahl der Fragen. Die Fragen stellen also Hypothesen dar, mit denen eine deskriptorische Relevanz des erfragten Sachverhalts für transdisziplinäre Forschung vermutet und - bislang im Rahmen der beiden ersten Projektevaluationen - überprüft wurde.

3.3     Diskursive Evaluation: Personen und Ablauf

Die Zusammensetzung der Gruppe, die die Projekte auswertet, ist für den Erfolg des Vorhabens essentiell. Wegen des Mangels an Peers im Sinne traditioneller Evaluations- und Review-Verfahren kommt es darauf an, die Gruppe aus Wissenschaftlern zusammenzusetzen, die einerseits möglichst viele der im Projekt angesprochenen Fachaspekte beurteilen können, die aber auch - und das ist ebenso wichtig wie fachliche Qualifikation - transdisziplinäres Arbeiten in seinen wissenschaftlichen und organisatorischen Facetten zu beurteilen in der Lage sind. Diese Beschreibung muss sich nicht unbedingt auf die Individuen der Gruppe beziehen, sondern zielt dahin, dass die Gruppe gemeinsam (die Evaluierten eingeschlossen) im analytischen Diskurs diese Fähigkeiten aufbringen kann.

Zusätzlich zur Evalunet-Gruppe und dem Team des auszuwertenden Projekts werden weitere fünf Experten und Expertinnen hinzugezogen. Diese fünf externen Experten wechseln bei jeder neuen Projektauswertung.

Um ein Beispiel zu geben: Für ein zu evaluierendes Projekt, das sich mit Fragen nachhaltiger Mobilität befasst, also mit planerischen, ökologischen, ökonomischen und sozialen Fragen, und dabei einen sozial-empirischen Fokus setzt, werden zur Auswertung hinzugezogen: 

• ein Hochschulprofessor der Verkehrsplanung, der Erfahrungen mit der Leitung eines interdisziplinären Sonderforschungsbereiches hat, 
• der Leiter der Abteilung für Stadt- und Regionalplanung an einem für einen transdisziplinären Ansatz bekannten Forschungsinstitut, 
• eine Wissenschaftlerin der Mobilitätsforschung, die auch zahlreiche Kommunen, Regionen und Betriebe ("Praxispartner") beraten hat, 
• ein Hochschuldozent für Methodik in der Sozialempirie, der gleichzeitig Vorsitzender einer Organisation zur Wissenschaftsforschung ist, 
• sowie ein Hochschuldozent für Wissenschaftstheorie, der sich mit Fragen der Partizipation in der transdisziplinären Forschung befasst.

Dieses Beispiel zeigt, dass es durchaus möglich ist, in einer solchen Gruppe disziplinären Sachverstand und transdisziplinäre Erfahrung zu kombinieren und damit ein Klima zu erzeugen, in dem ein analytischer Diskurs zwischen Projektbearbeitern und Evaluierenden geführt werden kann.

Das Verfahren ist folglich weder eine Selbst- noch eine externe Evaluation, sondern kann als diskursive Evaluation bezeichnet werden. Sie wird mit Hilfe der Projektdokumentation, des Fragenkatalogs und eines dreitägigen Workshops der gesamten Gruppe durchgeführt. Es wird deutlich, dass der so betriebene Aufwand, der hier dabei helfen soll, ein "Regelwerk" für die Evaluation transdisziplinärer Forschung zu gestalten, für Selbstevaluationen nicht infrage kommen kann.

In der abschließenden Würdigung der Erkenntnisse durch alle Beteiligten wird auch danach gefragt, worin der "Mehrwert" des transdisziplinären Arbeitsansatzes des Projektes gelegen hat, ob er erkennbar wird oder ob die Forschungsarbeit bei qualitativ gleichwertigen Ergebnissen auch weniger aufwändig hätte gestaltet werden können.

4     Bisherige Erkenntnisse über Indikatoren für erfolgreiche transdisziplinäre Forschung

In der Analyse eines transdisziplinären Forschungsprojekts schreiben Bergmann und Jahn (1999, 258f.), dass es dreier strategischer Elemente bedürfe, um ein akteurs- und problembezogenes, disziplinübergreifendes Projekt erfolgversprechend zu konzipieren: 

• Differenzierung: Im Forschungsprojekt treten an Stelle einer abstrakten metatheoretischen Vereinheitlichung oder der Unterordnung unter eine Leitdisziplin bzw. einen Leitbegriff der gegenseitige Respekt sowie ein produktiver Umgang mit inhaltlichen und arbeits- sowie wissenschaftskulturellen Differenzen. (...)
• Integration: Das Forschungsprojekt hat das Ziel, die wesentlichen Erkenntnisse aus den beteiligten Disziplinen zu einem Gesamtergebnis zu integrieren und (...) akteursspezifische Handlungskonzepte auszuarbeiten (...). 
• Intervention: Das Forschungsprojekt greift in die aktuelle Auseinandersetzung (...) ein."

Diese sehr allgemein formulierten Erfolgsfaktoren kennzeichnen auch grob die drei wesentlichen Schwerpunkte der Projektauswertungen, die differenzierende "Konstruktion" des Projekts, seine integrative Durchführung sowie die in Wissenschaft und Praxis intervenierenden Ergebnisse.

Natürlich kann die Auswertung von sechs Projekten nicht die gesamte Vielfalt transdisziplinärer Forschungsmöglichkeiten erfassen. Beachtet man aber, dass die Evaluationskriterien nicht vorrangig auf fachbezogene Fragen fokussiert werden, sondern eher auf Qualitätskriterien bezüglich der Konstruktion so vielschichtiger Forschungsvorhaben, so kann es zulässig sein, in einem iterativen Verfahren charakteristische Indikatoren zu identifizieren.

Vorerst wurde erst eine Iterationsstufe durchlaufen, denn derzeit sind zwei Auswertungen abgeschlossen, eine dritte befindet sich im Anfangsstadium. Vor diesem Hintergrund zeichnen sich einige Beispiele für Qualitätsindikatoren ab, die zunächst vorläufigen Charakter haben und im weiteren Verfahren zu verifizieren sind.

4.1     Indikatoren zum Schwerpunkt Projektkonstruktion, Forschungsfeld, Ziele

Die Auswertung der Projekte brachte eine selbstverständlich anmutende Erkenntnis hervor: Die Phase der Projekt-"Konstruktion" ist prägend für den weiteren Verlauf des Forschungsprojekts. Angesichts der Vielschichtigkeit transdisziplinärer Projekte gewinnt diese Aussage aber an enormer Bedeutung. Hier werden Festlegungen über die Problembeschreibung, die Forschungsaufgaben, die beteiligten Fächer und die Teamzusammensetzung, den Praxisbezug, die Projektstrukturierung, die Projektleitung u. v. a. m. getroffen. Wenn diese Phase übergangen oder zu eilig durchlaufen werden muss, bspw. weil nur die Forschungsarbeit selbst, nicht aber ihre Konzeption finanziert wird, läuft man Gefahr, irreparable Konstruktionsfehler zu begehen. Das zutreffende, knappe Resümee eines Projektteams: Ein Großteil über den Erfolg und Misserfolg eines Projektes werde bereits in der Antragsphase entschieden, der Spielraum sei später sehr begrenzt.

4.1.1     Wer "konstruiert" das Projekt?

Es wird davon ausgegangen, dass die Frage nach dem Verfahren in und der Beteiligung an dem Gestaltungs- und Akquisitionsprozess für die erfolgreiche Durchführung des Projekts von Bedeutung ist. Die dahinter stehende Erfahrung besagt, dass ein Forschungsprozess, der über Disziplingrenzen hinweg die Integration verschiedener Fachaspekte einer gemeinsamen Lösungsstrategie betreiben soll, darauf angewiesen ist, dass die Forschungsgruppe bereits beim Legen der Fundamente gemeinsam agiert: 

• bei der Beschreibung der Aufgabenstellung des Projekts, 
• auch bei der Beschreibung des hinter der Aufgabe stehenden Problems 
• sowie bei der Wahl der einzelnen, aufeinander abgestimmten gemeinsamen bzw. fachspezifischen Methoden.

4.1.2     "Lebensweltliche" und wissenschaftliche Problemstellung bzw. -formulierung

Hohe Genauigkeit bei der Konstruktion eines transdisziplinären Projekts ist von großer Bedeutung. Idealtypisch ist ein transdisziplinäres Forschungsprojekt gekennzeichnet durch die Problemaufnahme aus der "Lebenswelt", gefolgt von einer Umformulierung in wissenschaftliche Fragestellungen ("Reformulierung"). Beim Identifizieren der "lebensweltlichen" Problemstellung muss auf konkrete Handlungszusammenhänge des Problems eingegangen und eine Beschreibung des praktischen Wirkungsraumes vorgenommen werden. Dabei müssen auch die Akteure benannt werden, die darin agieren und es muss die Identifikation ihres Wissensbedarfs vorgenommen werden. Andernfalls besteht die Gefahr, dass im Projektteam unklar ist, welche Problemaspekte angegangen werden. In der Folge wird auch die "Reformulierung" in wissenschaftliche Fragestellungen ungenau sein.

4.1.3     Disziplinen und Fächer: Forschungsverbund, gemeinsame Zielsetzung, Aufgabenverteilung

Zielschärfe: Die Projektauswertungen deuten darauf hin, dass es wegen der Vielschichtigkeit der Interessen wichtig ist, eine Formulierung des Forschungsziels zu finden, die alle Projektbeteiligten gleichermaßen akzeptieren. Sie kann helfen, das Projekt so zu steuern, dass ein integriertes Ergebnis erarbeitet wird. Gegebenenfalls muss eine knappe Zielformulierung durch eine Art Mission Statement des Forschungsteams erläutert werden. Interpretationsoffene Formelkompromisse sind zu vermeiden, damit Interessendivergenzen bereits in der Konstitutionsphase des Projektes problematisiert werden können.

Gemeinsame Lösungsstrategien: In der transdisziplinären Forschung kooperieren oftmals Institutionen mit unterschiedlichen Strategien (im Spektrum zwischen wissenschaftszentrierter und praxisverbundener Forschung und Beratung). Daher muss darauf geachtet werden, dass wissenschaftliche und praxisorientierte Aufgabenbewältigung differierende Lösungsstrategien verfolgen, die möglicherweise nicht zu gemeinsamen Handlungswegen führen. Beide Strategien sind im Projekt so auszuführen, dass lebensweltliche und wissenschaftliche Rekonstruktion und Bearbeitung der Problemstellung demselben, miteinander vereinbarten Ziel dienen. Das ist aber nur dann möglich, wenn genaue Vereinbarungen über die Leistungen der einzelnen Partner hinsichtlich fachbezogener wissenschaftlicher Leistungen und über Aufgaben in der transdisziplinären Kooperation (Teilnahme am gemeinsamen Diskurs zur transdisziplinären Integration) geschlossen werden.

Teammischung: Prinzipiell ist zu überlegen, ob die häufig übliche, ausschließliche Bindung von Modulen an Institute oder Fachrichtungen nicht eine multidisziplinäre (additive) statt wirklich inter- bzw. transdisziplinäre Vorgehensweise im Projekt begünstigt. Schon aus diesem Grund sollte es Module geben, die als instituts- oder disziplinübergreifende Querschnittsmodule angelegt werden. Gegenseitiges Verstehen von Methoden und Arbeitsweisen wird so gefördert und die Initiative zur Integration geweckt.

Verantwortung: In einem Projektverbund soll idealerweise von allen Beteiligten die Verantwortung für das Gesamtergebnis des Projekts gleichermaßen getragen werden und nicht nur für Teilaufgaben. Das bedeutet aber nicht, dass es keine Hierarchie zwischen den Partnern des Verbundes gibt; ohne eine koordinierende und integrativ wirkende Leitung ist ein komplex zusammengesetztes Team nicht zu einem gemeinsamen Ergebnis zu führen. Es ist also zu unterscheiden zwischen der Verantwortlichkeit aller für das gemeinsame Ergebnis und der Verantwortung der Projektleitung für den Weg dorthin.

4.1.4     Projektfokus: Praxis oder Wissenschaft?

Zu beobachten ist bei vielen Projekten der transdisziplinären Forschung, dass beide Strategien - praktische gesellschaftliche Lösungen und wissenschaftsinterne Lösungen bzw. die Formulierung neuer wissenschaftlicher Fragestellungen - parallel verfolgt werden. Oft kann dieser Doppelansatz nicht wirklich konsequent durchgehalten werden, und zumindest eine der beiden Strategien wird geschwächt. Letztlich drückt sich dies in den Produkten aus, beispielsweise werden wissenschaftliche Publikationen oder Arbeiten zur wissenschaftlichen Qualifikation zugunsten von Praxisleitfäden für den präsenten Praxispartner zurückgestellt oder umgekehrt (s. a. Häberli und Grossenbacher-Mansuy 1998, S. 202). Projekt- und Publikationsstrategie müssen darauf hin genau formuliert werden.

4.1.5     Praxisbezug

Transdisziplinäre Projekte weisen das Spezifikum auf, sich mit Interessenkonflikten der gesellschaftlichen Praxis, d. h. mit der Heterogenität von Akteursinteressen auseinander zu setzen. Bei enger Auslegung ist die direkte Zusammenarbeit mit Praxispartnern erforderlich. Die Frage, welche Akteursinteressen in das Projekt einbezogen werden und ob vor dem Hintergrund der Ziele, die das Projekt anstrebt, die "richtigen" Partner eingebunden werden, ist zentral für ein Projekt-Setting, das es ermöglicht, Arbeitsergebnisse an die wesentlichen Akteure richten zu können.

Arbeitet ein Praxispartner in einem Forschungsprojekt mit, ist bewusst abzuwägen, ob er an der Problemformulierung zu beteiligen ist. Im positiven Falle wird einerseits gegen Ende eines Projekts das Implementieren von Forschungsergebnissen leichter sein. Andererseits wirkt sich eine solche Betonung der Interessen des Praxispartners möglicherweise einengend auf die wissenschaftliche Problemformulierung und die anzuwendende Methodik aus.

4.1.6     Projektstruktur, Zeit- und Mittelaufwand

Transdisziplinäre Forschungsprojekte müssen mit hohem Aufwand geplant werden, um die Voraussetzungen für ihren Erfolg zu schaffen. Vor Beginn der Forschungsarbeiten sollten die beteiligten Wissenschaftler sich daher ein gemeinsames Bild von ihrem Projekt machen, also bspw. einen detaillierten Strukturplan erarbeiten.

Phasen der Projektkonstruktion, in denen die Problemformulierung und Reformulierung, die fachliche Zusammensetzung und die Auswahl geeigneter Praxispartner, die Strukturierung des Vorhabens, die Budgetierung usw. betrieben werden, können nicht ohne Finanzierung mit der erforderlichen Genauigkeit durchgeführt werden. Förderprogramme für transdisziplinäre Forschung müssen daher Mittel für diese Phasen der Projektkonstruktion vorsehen.

4.2     Indikatoren zum Schwerpunkt Projektdurchführung, Interaktion, Methoden, Instrumente

Die anspruchsvolle Aufgabe der transdisziplinären Integration bringt projektintern einen hohen Abstimmungsbedarf mit sich und benötigt besondere Verfahren der Kooperation und Qualitätssicherung (s. 4.2.2). Die sozial-ökologische Forschungspraxis bedarf dafür auch neuer methodischer Ansätze. Zu nennen sind hier beispielsweise die sog. "Handlungsfolgenabschätzung" (Bergmann, Schramm, Wehling 1999) oder auch heuristische Methoden wie das Konzept von "Optionen und Restriktionen" (vgl. Hirsch Hadorn, Maier, Wölfing Kast 2002).

4.2.1     Transdisziplinäre Integration

Die Projektauswertungen machten deutlich, wie präzise bei der Erarbeitung transdisziplinären bzw. "sozial robusten" Wissens geplant werden muss.

Zeitpunkte oder Gremien bzw. Strukturen ("Orte") transdisziplinärer Integration sollten bereits in der Projektkonstruktion in den Ablauf des Forschungsprozesses eingeplant werden. Diese Phasen der Integration müssen als eigenständige Projektteile geplant werden und sollten nicht erst am Ende zur "Ergebnisintegration" verortet werden. "Orte" der Integration wie Gremien oder Workshops sollten dem Gedanken des iterativen Forschungsverfahrens Rechnung tragen. Damit wird ein steuernder Eingriff auf Teilergebnisse ermöglicht, der die Integration ins Gesamtprojekt oder im Hinblick auf andere Projektbausteine erleichtert.

Abhängig von der Fokussierung des Projekts auf eher wissenschaftsbezogene oder praxisbezogene Ziele sowie von dem damit idealerweise korrespondierenden Typ des Praxispartners (s. 4 4.1) kann entweder eine "praktische", auf die konkrete Problemlösung bezogene Integration (bspw. diskursives Verfahren mit dem Praxispartner), eine "konzeptionelle", auf kognitive Fragen bezogene Integration (bspw. über Bewertungsverfahren, eigenen konzeptionellen Rahmen) im Vordergrund stehen oder auch eine gleichgewichtige Kombination von beidem angemessen sein. Kriterium für gelungene kognitive Integrationsprozesse im Forschungsprojekt ist das Erarbeiten einer gemeinsamen disziplinübergreifenden Begrifflichkeit.

4.2.2     Methodische Ansätze und Organisationsformen transdisziplinärer Forschung

Speziell für die transdisziplinäre Integration entwickelte Methoden wurden in den Projektauswertungen bisher nicht beobachtet, sind aber sonst durchaus bekannt, wie oben angedeutet wurde.

Eine an das Problem angepasste Kompetenz der Wissenschaftler in transdisziplinären Verfahren und Methoden ist dafür ebenso wichtig wie die Kompetenz in der Fachdisziplin mit ihren fachspezifischen Methoden. Es zeigt sich, dass Erfahrungen mit Diskursanalyse, in disziplinübergreifenden Patenschaftsverfahren [5] u. a. m. die Durchführung auf eine solidere Basis stellen.

4.2.3     Projektleitung

Insbesondere bei transdisziplinärer Forschung und der ihr innewohnenden Notwendigkeit von klaren, geleiteten Forschungs-, Abstimmungs- und Integrationsprozessen kann die Anlage der Projektleitung wesentlich für einen erfolgreichen Projektverlauf sein.

Je nach Akteurskonstellation kann es ratsam sein, hierarchische oder horizontale Verhandlungselemente im institutionellen Set-up des Projektes zu stärken. Eine flache Projekthierarchie unterstützt ein gemeinsam "Lernendes Team". Wenn kein ausreichend starkes kollektives Interesse der Projektpartner besteht, "sich zusammenzuraufen", dann wird das Projekt in Einzelziele auseinander fallen. In solchen Fällen ist eine hierarchische Projektleitungsstruktur notwendig, um ein integriertes Ergebnis zu erzielen.

4.3     Indikatoren zum Schwerpunkt Output, Ergebnisse, Produkte

Transdisziplinarität zeichnet sich durch eine hohe Transparenz der Ergebnisse für verschiedene Rezipientengruppen aus.

4.3.1     Produkt- und Publikationsplanung

Aus den bisherigen Projektauswertungen ist abzulesen, dass der Zweck (die Zielgruppe) des vermittlungsrelevanten Endprodukts schon am Beginn des Projektes definiert werden sollte. Notwendig ist eine klare und differenzierte Trennung in Produkte für verschiedene Zielgruppen in der Wissenschaft und der Praxis. Es zeigt sich, wie wesentlich die "richtige" Auswahl des Praxispartners ist, welche Bedeutung also das Zusammenpassen von aufgegriffener lebensweltlicher Problemstellung, Praxispartner und Ergebnischarakter hat.

4.3.2     "Direct Impact" - "Social Impact"

Transdisziplinäre Forschungsprozesse können "abfärben". So gibt es nicht nur die erwünschten Einflüsse der Forschungsergebnisse auf den "Forschungsgegenstand" (sog. Direct Impact, also bspw. eine Produkt-Innovation), vielmehr kann das transdisziplinäre Zusammenarbeiten auch Wirkungen auf die alltäglichen Arbeitsweisen des Praxispartners haben (sog. Social Impact bzw. Verfahrensinnovation). Damit ist ein Beispiel gegeben für Wirkungen von Forschungsergebnissen, die in fachbezogenen Evaluationsverfahren kaum zur Kenntnis genommen werden, im Sinn der transdisziplinären Forschung aber ein wesentliches Ziel darstellen.

4.4     Übergeordnete Aspekte

4.4.1     Typisierungen in der transdisziplinären Forschung

Wegen der extrem großen fachlichen, methodischen und prozessualen Vielfalt der Projekte lassen die Projektauswertungen in Evalunet auch den Versuch gerechtfertigt - wenn nicht gar zwingend - erscheinen, mögliche Typisierungen von Projekten, Akteuren und Ergebnischarakteren zu finden. Die Suche nach Kriterien und Methoden der Evaluation so komplexer Forschungsgebilde kann möglicherweise nur dann erfolgreich sein, wenn quasi Cluster von Forschungstypen gefunden werden, für die übereinstimmende Erfolgskriterien gelten können.

Die Typisierung, so der bisherige Auswertungsstand in Evalunet, kann verschiedene Aspekte betreffen: 

• Typen der Projekt-"Konstruktion": Hier sind bspw. als Unterscheidungsmerkmale die Fokussierung auf Wissenschaft oder Praxis, die Art der Praxisanbindung, die im Forschungsprozess angewendeten Integrationskonzepte sowie auch die angemessene Form der Projektleitung zu nennen. 
• Typen von Praxispartnern: Ihre Unterscheidung ist eng geknüpft an die Aufgabenstellung des Projekts und die Frage, welche Leistungen des Wissenstransfers sie zwischen Projekt und ihrem Handlungsfeld erbringen sollen. 
• Typen von angestrebten Ergebnissen und Produkten: Sie sollten in der Publikationsplanung so angelegt werden, dass sie zum Projekttyp und zum Typ des Praxispartners passen.

Die Interdependenzen zwischen diesen Typisierungen sind offensichtlich. Es mag die Arbeit erleichtern, wenn man sich in jeder Projektphase bewusst ist, ob man eher analytisch-deskriptives Systemwissen, normatives Zielwissen oder/und regulativ-strategisches Transformationswissen erarbeitet.

Letztlich muss trotz solcher Bemühungen um eine gewisse "Ordnung" in der transdisziplinären Forschung dennoch die Möglichkeit offen bleiben für die Erkenntnis, dass Typisierungen möglicherweise die notwendige Selbstreflexivität und die prozessuale Entwicklung in einem Projekt und auch deren Berücksichtigung bei seiner Evaluation behindern könnten.

4.4.2     Selbstevaluation, Dokumentation des Forschungsprozesses

Grundsätzlich verlangen die komplizierten Arbeitsweisen in der transdisziplinären Forschung einen sorgsam und bewusst dokumentierten Umgang mit Erfolgen, Problemen und Irrwegen in der Methodik. Iterationsverfahren können auch als Schritte der Selbstevaluation genutzt werden.

4.4.3     Zeitliche Perspektiven

Transdisziplinäre Forschung kann sich u. a. dadurch auszeichnen, dass Forschungsergebnisse sich in der "Lebenswelt" oder im Handlungsfeld eines Praxispartners manifestieren. Daher wäre es folgerichtig, wenn eine Evaluation solcher Projekte auch diese Wirkungen einbezieht. Das bedeutet, dass möglicherweise längere Zeitspannen nach der Beendigung der eigentlichen Forschungsarbeit zu berücksichtigen sind, in denen die Wirkungen solcher Manifestationen zu beobachten wären.

Dieses grundsätzliche Problem bei der Evaluation der Wirkung transdisziplinärer Forschungsergebnisse wird von Krott (2002) so formuliert: "Evaluation has to accept that the long term effects are very important and cannot be predicted or checked within five-year periods. The evaluation must be aware of these limits and avoid to overestimate the short term effects ..."

5     Ausblick

Das Projekt befindet sich gegenwärtig noch in der Anfangsphase und ist auf 5 Jahre ausgelegt. Mit den weiteren Projektauswertungen werden die Indikatoren verifiziert, ergänzt und daraus schließlich Kriterien für Evaluation entwickelt. Außerdem werden am Ende des Vorhabens auch aus den Erfahrungen der Projektauswertungen Vorschläge für eine Evaluationsmethode hervorgehen.

Anmerkungen

[1] Ich danke meinen Kolleginnen und Kollegen der Evalunet-Projektgruppe Bettina Brohmann, Céline Loibl, Esther Hoffmann, Regine Rehaag, Engelbert Schramm und Jan-Peter Voß, die viel zu dieser Veröffentlichung beigetragen haben. Außerdem danke ich Thomas Jahn für Anregungen und die Durchsicht dieses Beitrags.

[2] Aus dem Ökoforum sind beteiligt: Institut für sozial-ökologische Forschung (Federführung), Öko-Institut - Institut für angewandte Ökologie, Institut für ökologische Wirtschaftsforschung, Katalyse - Institut für angewandte Umweltforschung, Österreichisches Ökologie-Institut für angewandte Umweltforschung.

[3] Unter dem Titel "Sozial-ökologische Forschung" zielt ein Schwerpunkt des Bundesministeriums für Bildung und Forschung (BMBF) auf die spezifische Förderung eines problem- und akteursorientierten Forschungstyps. Transdisziplinäre Arbeitsformen kommen den Anforderungen an die Erforschung der hier betrachteten gesellschaftlichen Transformationsprozesse entgegen. In diesem Kontext wird Evalunet durch das BMBF gefördert.

[4] Peer: "A person who has equal standing with another or others, as in rank, class, or age" (http://www.yourDictionary.com); also im Sinne von gleicher, ebenbürtiger Experte

[5] Dabei wird bspw. vom Projektleiter für jeden im Projekt erarbeiteten Text ein Pate bestimmt, der aus einem anderem Fach als der Autor kommt, das Ergebnis aus anderer Fachperspektive kommentiert und damit gleichzeitig die Verarbeitbarkeit des Textes für Fachfremde beurteilt. Zugleich werden Anschluss- und Integrationsfähigkeit der Beiträge erhöht (s. hierzu Bergmann, Jahn 1999).

Literatur

Balsiger, P.; Kötter, R.., 1996:
Disziplinenübergreifende Wissenschaftspraxis: Interdisziplinarität, Transdisziplinarität und partizipativer Ansatz,. Unveröffentlichtes Arbeitspapier. Erlangen (zitiert nach Mogalle 2001)

Becker, E., 2002:
Transformations of social and ecological Issues into Transdisciplinary Research. In: Unesco/Eolss Publishers (Eds.): Knowledge for Sustainable Development. An Insight into the Encyclopedia of Life Support Systems, Volume III. Paris, Oxford: Unesco Publishing/Eolss Publishers, S. 949-963

Bergmann, M.; Jahn, T., 1999:
Learning not only by doing - Erfahrungen eines interdisziplinären Forschungsverbundes am Beispiel von "CITY:mobil". In: Friedrichs, J., Hollaender, K.: Stadtökologische Forschung. Theorien und Anwendungen. Berlin: Analytica, S. 251-275

Bergmann, M.; Schramm, E.; Wehling, W., 1999:
Kritische Technikfolgenabschätzung und Handlungsfolgenabschätzung - TA-orientierte Bewertungsverfahren zwischen stadtökologischer Forschung und kommunaler Praxis. In: Friedrichs, J., Hollaender, K.: Stadtökologische Forschung. Theorien und Anwendungen. Berlin: Analytica, S. 443-463

Brand, K.W. (Hrsg.), 2000:
Nachhaltige Entwicklung und Transdisziplinarität. Berlin: Analytica

Defila, R.; Di Giulio, A., 1999:
Evaluationskriterien für inter- und transdisziplinäre Forschung. Projektbericht. Schwerpunktprogramm Umwelt Schweiz. Panorama, "Transdisziplinarität evaluieren - aber wie?" Sondernummer 99. Bern: Interfakultäre Koordinationsstelle für Allgemeine Ökologie

Gibbons, M.; Limoges, C.; Nowotny, H.; Schwartzman, S.; Scott, P.; Trow, M., 1994:
The New Production of Knowledge. The Dynamics of Science and Research in Contemporary Societies. London: Sage Publications

Häberli, R., Grossenbacher-Mansuy, W., 1998:
Transdisziplinarität zwischen Förderung und Überforderung. GAIA 7(3). Baden-Baden: Nomos, S. 196-213.

Hirsch Hadorn, G.; Maier, S.; Wölfing Kast, S., 2002:
Transdisziplinäre Forschung in Aktion. Optionen und Restriktionen nachhaltiger Ernährung. Zürich: vdf Hochschulverlag

Hirsch Hadorn, G.; Hungerbühler, K.; Koller, T., 1996/1997:
Transdisziplinäre Forschung - was ist damit gemeint? ETH intern, No. 9/96 u. 97, S. 6-7

Jahn, T., 2003 (im Erscheinen):
Sozial-ökologische Forschung - Ein neuer Forschungstyp in der Nachhaltigkeitsforschung. In: Linne, G.; Schwarz, M.: Handbuch Nachhaltige Entwicklung. Wie ist nachhaltiges Wirtschaften machbar? Opladen

Krott, M., 2002:
Evaluation of Transdisciplinary Research. In: Encyclopedia of Life Support Systems (EOLSS), Vol. 3, Chapter 19. "Technology Information and Systems Management Resources". Oxford: Eolss Publishers, [http://www.eolss.net]. Zitate nach dem Manuskript von 2001

Krott, M., 1999:
Qualität durch Controlling. Fallbeispiel: Österreichische Kulturlandschaftsforschung - Einsatzoptionen für F&E - Einrichtungen. Wissenschaftsmanagement 5(3), S. 24-32

Krott, M., 1997:
Evaluierung als Instrument der Forschungspolitik. Alternative Verfahren am Beispiel interdisziplinärer Projekte. SWS-Rundschau, 37(3), S. 269-283

Loibl, M.C., 2001:
Arbeitserfahrungen inter- und transdisziplinärer Forschungsteams. Schlüsselpassagen und Schlussfolgerungen aus 60 Interviews mit ProjektleiterInnen der Österreichischen Kulturlandschaftsforschung. Wien: Österreichisches Ökologie Institut

Mittelstraß, J., 1998:
Ein Prinzip fasst Fuß. GAIA, 1/98. Baden-Baden: Nomos, S. 1-2

Mogalle, M., 2001:
Management transdisziplinärer Forschungsprozesse. Basel: Birkhäuser

Nowotny, H., 2000:
Re-thinking Science: From Reliable Knowledge to Socially Robust Knowledge. Unveröffentlichtes Vortragsmanuskript anlässlich eines am 3.11.2000 gehaltenen Symposiums im Rahmen von "AGORA: Arbeit - Wissen - Bindung" (Wissenschaftskolleg)

Nowotny, H., 1999:
The place of People in Our Knowledge. In: European Review 7, 2 (1999), S. 247-262

Nowotny, H., 1997:
Transdisziplinäre Wissensproduktion - eine Antwort auf die Wissensexplosion? In: Stadler, F. (Hrsg.) Wissenschaft als Kultur. Wien, New York: Springer, S. 177-195

Röbbecke, M.; Simon, D., 1999:
Zwischen Reputation und Markt. Ziele, Verfahren und Instrumente von (Selbst-)Evaluationen außeruniversitärer, öffentlicher Forschungseinrichtungen. Berlin: WZB papers P 99-002

Röbbecke, M.; Simon, D., 2001:
Reflexive Evaluation. Ziele, Verfahren und Instrumente der Bewertung von Forschungsinstituten. Berlin: edition sigma

Thompson-Klein, J., 1996:
Crossing Boundaries, Knowledge, Disciplinarities, and Interdisciplinarities. Charlottesville, London: University Press of Virginia

Thompson-Klein, J. et al. (eds.), 2001:
Transdisciplinarity: Joint Problem-Solving among Science, Technology and Society. An Effective Way for Managing Complexity. Basel, Boston, Berlin: Birkhäuser

Weingart, P., 1997:
Interdisziplinarität - Der paradoxe Diskurs. In: Ethik und Sozialwissenschaften 8, S. 521-529

Weingart, P., 1999:
Neue Formen der Wissensproduktion: Fakt, Fiktion und Mode. Karlsruhe: TA-Datenbank-Nachrichten, 8 (3/4 1999), S. 48-57

Weingart, P., 2001:
Die Stunde der Wahrheit? Zum Verhältnis der Wissenschaft zu Politik, Wirtschaft und Medien in der Wissensgesellschaft. Göttingen: Velbrück Wissenschaft

Dr. Matthias Bergmann
Projektleitung Evalunet
Wissenschaftskolleg zu Berlin
Wallotstr. 19, 14193 Berlin
Tel.: +49 30 89001-142
E-Mail: bergmannUwq4∂wiko-berlin de