Schwerpunktthema - Evaluation von Forschung

von Reinhard Hüttl [1] , Mitglied des Wissenschaftsrates

Als Einrichtung der Politikberatung von Bund und Ländern in Fragen der Wissenschaftspolitik führt der Wissenschaftsrat seit Beginn der 80er Jahre Evaluationen von Forschungsinstituten durch. Dabei ging es von Anfang an und in den letzten Jahren deutlich zunehmend auch um Institute mit Beratungsaufgaben, speziell in der Politikberatung. Die Frage, ob solche Institute grundsätzlich an den gleichen Evaluationskriterien wie klassische Forschungsinstitute zu messen sind oder ob Kriterien und Verfahren den Besonderheiten politikberatender Forschung entsprechend zu modifizieren sind, hat die Evaluationen durch den Wissenschaftsrat von Anfang an begleitet. Zentral ist aus seiner Sicht der in allen Fällen bestätigte Grundsatz, dass qualitativ hochwertige und wissenschaftlich basierte Beratungsleistungen auf Dauer nur dann erbracht werden können, wenn sie auf einem angemessenen Anteil eigener qualifizierter Forschung beruhen. Bei Instituten mit einem hohen Anteil an Beratungsaufgaben sind daher grundsätzlich ebenfalls die für die Evaluation von Forschungsleistungen notwendigen Kriterien und Verfahrensweisen anzulegen, sie sind aber den überwiegend andersartigen Aufgaben entsprechend anzupassen und gegebenenfalls zu ergänzen.

1     Einleitung

In modernen Industriegesellschaften ist Wissenschaft ein selbstverständlicher und wichtiger Teil der Gesellschaft, der bedeutsame Beiträge zur Lösung gesellschaftlicher Probleme leistet und hierfür zunehmend Mittel in Anspruch nimmt. Erfolgreiche, international wettbewerbsfähige Forschung erfordert komplexe leistungsfähige Institutionen, die auf eine kontinuierliche Unterstützung der Gesellschaft angewiesen sind und von denen im Gegenzug Rechenschaft über den gesellschaftlichen Nutzen ihrer Tätigkeit und Ergebnisse erwartet wird. Auch der vielfach zu beobachtende teilweise Rückzug des Staates aus der Steuerung von Wissenschaft und Forschung hat dazu beigetragen, dass der Druck zu Rechenschaftslegung und Wettbewerb zugenommen hat.

In diesem Kontext hat Evaluation als Instrument der Herstellung von Leistungstransparenz und der Qualitätssicherung in der Wissenschaft in den letzten Jahrzehnten in allen Industriestaaten einen steilen Aufstieg genommen (vgl. Daniel 2001). Ging es zunächst primär und fast ausschließlich um die ex ante-Bewertung von Forschungsvorhaben einzelner Wissenschaftler oder kleinerer Gruppen von Wissenschaftlern durch hochrangige Fachvertreter (peers) im Kontext der Vergabe von Forschungsmitteln, so ist seit den 80er Jahren zunehmend die ex post-Evaluation der Leistungsfähigkeit und Ergebnisse im Rahmen von Forschungsprogrammen, Forschungsinstituten und auch von Förderinstitutionen in den Vordergrund getreten.

2     Entwicklung und Erprobung des Evaluationsverfahrens des Wissenschaftsrates

Der Wissenschaftsrat hat als Einrichtung der Politikberatung von Bund und Ländern in Fragen der Wissenschaftspolitik diese Entwicklung sehr früh aufgegriffen und mitgestaltet. Hatte er noch in den 1975 veröffentlichten "Empfehlungen zu Organisation, Planung und Förderung der Forschung" unter dem Stichwort Bewertung von Forschung ausschließlich die Instrumente der klassischen ex ante-Bewertung individueller Forschungsvorhaben, vor allem der Deutschen Forschungsgemeinschaft, dargestellt und gewürdigt, so gaben bereits wenige Jahre später (1975) die Aufträge von Bund und Ländern an den Wissenschaftsrat zur sektionsweisen Begutachtung der gemeinsam nach Artikel 91b Grundgesetz geförderten wissenschaftlichen Einrichtungen (Blaue Liste) den Anstoß zur Entwicklung eines in Deutschland seinerzeit noch neuartigen Verfahrens zur ex post-Bewertung von wissenschaftlichen Leistungen. Die Heterogenität dieser Einrichtungen - klassische Forschungsinstitute, Institute mit Serviceaufgaben für die Forschung, Institute mit Beratungsaufgaben - erforderte von Anfang an flexible, den unterschiedlichen wissenschaftlichen Profilen dieser Einrichtungen so weit wie möglich Rechnung tragende Kriterien und Verfahrensweisen. Das in dieser Zeit erarbeitete, ein klares Schwergewicht auf Bewertung wissenschaftlicher Qualität durch peer review setzende Verfahren ist bis heute der Kern des Evaluationsverfahrens des Wissenschaftsrates geblieben.

Bei der Begutachtung der Einrichtungen der Blauen Liste mit Aufgabenschwerpunkten im Service für die Forschung (u. a. zentrale Fachbibliotheken, Fachinformationszentren) oder in der Politikberatung (u. a. Wirtschaftsforschungsinstitute) wurde im Zuge des Verfahrens der bis heute für das Evaluationsverfahren des Wissenschaftsrates zentrale Grundsatz entwickelt, dass qualitativ hochwertige, wissenschaftlich basierte Service- und Beratungsleistungen auf Dauer nur dann erbracht werden können, wenn sie auf einem angemessenen Anteil eigener, möglichst service- oder beratungsbezogener Forschung beruhen. Dieser Grundsatz wurde bei der Begutachtung von Instituten mit Aufgaben in der Politikberatung konkret so angewendet, dass zur Prüfung der wissenschaftlichen Fundierung im Prinzip die Kriterien für die Beurteilung von Forschungsleistungen angelegt wurden, jedoch nicht mit der gleichen Stringenz wie bei klassischen Forschungsinstituten. So wurde z. B. bei der Evaluation der Wirtschaftsforschungsinstitute, die in starkem Maße in die kontinuierliche Konjunktur- und Strukturberichterstattung für die Wirtschafts- und Finanzministerien des Bundes und der Länder einbezogen sind, akzeptiert, dass solche Institute auf aktuelle Entwicklungen rasch reagieren müssen und deshalb z. B. Publikationen in internationalen referierten Fachzeitschriften nicht in gleicher Weise zu fordern sind wie bei klassischen Forschungsinstituten.

Diese "erste Runde" in der Begutachtung der Einrichtungen der Blauen Liste, damals noch 46 Einrichtungen, zog sich aufgrund der sektionsweisen Auftragserteilung und Bearbeitung über einen vergleichsweise langen Zeitraum (1980 bis 1995) hin (vgl. Wissenschaftsrat 1980ff). Die Empfehlungen, die nur in zwei Fällen so kritisch ausfielen, dass die betroffenen Institute geschlossen wurden bzw. die anteilige Bundesfinanzierung verloren, wurden von den Instituten und ihren Trägern weitgehend akzeptiert, wenngleich - wie sich später zeigen sollte - in vielen Fällen bei weitem nicht immer beachtet, geschweige denn umgesetzt.

Eine national und international viel beachtete Bewährungsprobe hatte das Evaluationsverfahren des Wissenschaftsrates im Zuge des deutschen Einigungsprozesses (1989/1990) zu bestehen. Im Auftrag der damaligen Regierungen der Bundesrepublik Deutschland und der Deutschen Demokratischen Republik waren innerhalb von maximal einem Jahr die zahlreichen Institute der ehemaligen Akademie der Wissenschaften, der Akademie der Landbauwissenschaften und der Bauakademie zu evaluieren. Dass dieser Auftrag mit weitgehend akzeptierten Ergebnissen in der vorgesehenen Zeit erfüllt werden konnte, war nicht zuletzt dem bewährten Evaluationsverfahren des Wissenschaftsrates geschuldet, das es ermöglichte, mit der notwendigen Flexibilität auf die singulären Bedingungen dieses Evaluationsauftrags zu reagieren (vgl. Wissenschaftsrat 1992).

Überprüft und weiterentwickelt wurde das Evaluationsverfahren des Wissenschaftsrates im Zuge der von Bund und Ländern erbetenen zweiten Evaluierungsrunde der nach der deutschen Einigung fast verdoppelten Blauen Liste in den Jahren 1995 bis 2000 (vgl. Wissenschaftsrat 1996ff). Mit Blick auf die für einige politikberatende Wirtschaftsforschungsinstitute sehr kritisch ausgefallenen Evaluationsergebnisse und der von deren Trägern in Bund und Ländern aus politischen Überlegungen vehement in Zweifel gezogenen Angemessenheit der Kriterien und Verfahrensweisen des Wissenschaftsrates wurde das Evaluationsverfahren einer kritischen Bewertung im Rahmen einer eigens zu diesem Zweck eingesetzten Arbeitsgruppe unterzogen. Im Ergebnis wurden die oben dargestellten Verfahrensgrundsätze bestätigt. Bestätigt wurde vor allem (vgl. Wissenschaftsrat 1996ff, Bd. III, S. 7ff und 29ff), dass das Kriterium der wissenschaftlichen Qualität als Basisvoraussetzung für die wissenschaftspolitischen Kriterien der überregionalen Bedeutung und des gesamtstaatlichen wissenschaftspolitischen Interesses zu behandeln ist und die Bewertung der wissenschaftlichen Qualität den in der Arbeit der politikberatenden Wirtschaftsforschungsinstitute vorherrschenden Typus der angewandten und empirischen Forschung einschließt.

Zusätzliche Erläuterungen und Ergänzungen wurden für die Kriterien Publikationen und Drittmittel gegeben. Mit Blick auf die Publikationen wurde darauf hingewiesen, dass im Interesse der Aktualität der Veröffentlichungen der Wirtschaftsforschungsinstitute referierte Zeitschriften mit ihrem langen Begutachtungsvorlauf und ihrer häufig stärker theoretischen Orientierung nur begrenzt in Betracht kommen. Bekräftigt wurde aber der Grundsatz, dass politikberatende Institute ihre Veröffentlichungen so publizieren sollten, dass sie dem wissenschaftlichen Diskurs und damit einer Qualitätskontrolle sowie der öffentlichen Diskussion zugänglich sind. Bezüglich der Drittmittel wurde die Erwartung formuliert, dass Forschungsinstitute vom Typus der Wirtschaftsforschungsinstitute in der Blauen Liste zu einem nicht unerheblichen Teil auch solche Mittel einwerben, die in Verfahren intensiver Qualitätskontrolle, vor allem der DFG, vergeben werden. Schließlich wurde hervorgehoben, dass qualifizierte wirtschaftspolitische Beratung den Kriterien (a) der Qualität der wissenschaftlichen Fundierung, (b) der Unabhängigkeit und (c) der Transparenz der Beratungsprozeduren entsprechen müsse. In seiner übergreifenden "Stellungnahme zum Abschluss der Bewertung der Einrichtungen der Blauen Liste" hat der Wissenschaftsrat zusammenfassend festgestellt, dass wissenschaftliche Politikberatung "...fachlich qualifiziert und auf der Grundlage guter wissenschaftlicher Arbeit" (vgl. Wissenschaftsrat 1996ff, Bd. XII, S. 23) zu erbringen ist.

Nach Abschluss der zweiten Evaluationsrunde der Blauen Liste hat der Wissenschaftsrat einen Evaluationsausschuss eingesetzt, der als Steuerungsorgan für Evaluationsaufgaben einschließlich Methodenfragen fungiert und aufgabenbezogen Bewertungsgruppen einsetzt. Zum Beginn seiner Tätigkeit hat der Ausschuss das über zwei Jahrzehnte entwickelte und erprobte Evaluationsverfahren des Wissenschaftsrates erneut einer kritischen Revision unterzogen und das Ergebnis in einem vom Wissenschaftsrat im Juli 2002 veröffentlichten kurzen Papier zusammengefasst (vgl. Wissenschaftsrat 2002).

3     Grundzüge des Evaluationsverfahrens des Wissenschaftsrates

Generell ist das Evaluationsverfahren des Wissenschaftsrates so angelegt, dass Stärken und Schwächen identifiziert und Empfehlungen zur Behebung von Schwächen und Belohnung von Stärken gegeben werden können. Im Zentrum steht die Einschätzung der Qualität der wissenschaftlichen Arbeit und bei unzureichenden wissenschaftlichen Leistungen behält sich der Wissenschaftsrat vor, auch die Beendigung der Förderung zu empfehlen. Evaluationen von wissenschaftlichen Einrichtungen müssen grundsätzlich ergebnisoffen sein.

Der Wissenschaftsrat geht bei der Evaluation wissenschaftlicher Einrichtungen von folgenden Kriterien aus, die je nach Profil des zu bewertenden Instituts ausgewählt bzw. neu gewichtet werden müssen:

• Forschungsprogramm: u. a. Kohärenz, Schwerpunktbildung, innovative Ansätze, überzeugende mittelfristige Perspektive, Integration in die Forschungslandschaft; 
• Veröffentlichungen, Patente: bei naturwissenschaftlichen, lebenswissenschaftlichen sowie wirtschafts- und sozialwissenschaftlichen Instituten vor allem Aufsätze in referierten Fachzeitschriften; in den Geisteswissenschaften ein überzeugendes Verhältnis von Monographien, Aufsätzen in referierten Fachzeitschriften und anderen Beiträgen, z. B. zu Sammelbänden; in den Ingenieurwissenschaften auch Patente; Einladungen zu wichtigen nationalen und internationalen Konferenzen, Ausrichtung solcher Fachtagungen;
• Qualitätskontrolle: u. a. Einwerbung von Drittmitteln, vor allem solcher, die in Verfahren intensiver Qualitätskontrolle vergeben werden; Wissenschaftlicher Beirat; externe Qualitätskontrolle; Sicherung personeller Qualität und Flexibilität, u. a. berufungsähnliche Verfahren für Leitungspersonal, Weiterqualifizierung, befristete Besetzung von Stellen; 
• Kooperation: vor allem mit Hochschulen, gemeinsame Berufungen, Engagement in Lehre und Nachwuchsförderung, Rufe auf Professuren, Forschungsaufenthalte u. ä.; 
• Praxisorientierung: u. a. Transferleistungen, Schutzrechte und Patente, Ausgründungen.

Bei der Beurteilung von politikberatenden Forschungsinstituten ist in der Sicht des Wissenschaftsrates nach wie vor ein angemessener Anteil an eigenständiger Forschungsleistung notwendig, für deren Beurteilung die genannten Kriterien - in entsprechender Gewichtung - anzulegen sind. Für die Bewertung von Beratungsleistungen sind zusätzlich zu berücksichtigen:

• Qualität der wissenschaftlichen Fundierung durch eigene Forschung und/oder Aufarbeitung aktuellen Wissens;
• Politische Unabhängigkeit;
• Überzeugende Beratungsstrategien und transparente Prozeduren;
• Erreichen der Adressaten.

Das Gutachterteam in den Bewertungsgruppen wird überwiegend im Zusammenwirken des/der Vorsitzenden der Bewertungsgruppe mit Fachvertretern oder fachnahen Mitgliedern der Wissenschaftlichen Kommission sowie der Geschäftsstelle gebildet. Dabei kommt es darauf an, zusätzlich zu Mitgliedern des Wissenschaftsrates und des Evaluationsausschusses (Wissenschaftler und Staatsvertreter) vor allem hochrangige externe Sachverständige aus dem In- und Ausland für die jeweiligen Arbeitsgebiete der zu evaluierenden Einrichtung (peers) zu gewinnen. Entsprechend dem Grundsatz, dass Evaluationsverfahren von allen Beteiligten als angemessen und fair akzeptiert werden, muss gewährleistet sein, dass peers in ihrem Verhältnis zu der zu evaluierenden Einrichtung nicht befangen sind. Die Gutachter nehmen ihre Tätigkeit grundsätzlich ehrenamtlich wahr.

Auf der Grundlage der Beurteilung der Qualität der wissenschaftlichen Arbeit durch die Bewertungsgruppe geben der Evaluationsausschuss und nachfolgend der Wissenschaftsrat aus übergreifender und vergleichender Sicht eine wissenschaftspolitische Stellungnahme ab, die z. B. bei gemeinsam von Bund und Ländern finanzierten Einrichtungen sich dazu äußert, ob die überregionale Bedeutung und das gesamtstaatliche wissenschaftspolitische Interesse an der Förderung der Einrichtung zu bejahen ist oder nicht. In diesem zweistufigen Verfahren, das mit einer konkreten Empfehlung zur Weiterförderung oder Nichtweiterförderung abschließt, kann es vorkommen und kommt es nicht selten vor, dass die wissenschaftspolitische Stellungnahme unter übergreifenden und vergleichenden Gesichtspunkten zu einer kritischeren Sicht der Arbeit eines Instituts gelangt als das fachliche Votum der Bewertungsgruppe. Dies ist in der wissenschaftspolitischen Stellungnahme nachvollziehbar zu begründen.

4     Erfahrungen

Auf der Grundlage dieses Verfahrens hat der Wissenschaftsrat in den Jahren 2001 und 2002 eine Reihe von wissenschaftlichen Einrichtungen evaluiert, unter anderem auch Forschungsinstitute mit Aufgaben in der Politikberatung. Hierzu gehörten u. a. die im Wissenschaftszentrum Nordrhein-Westfalen zusammengefassten Institute für Arbeit und Technik (IAT), Gelsenkirchen, und das Wuppertal Institut für Klima, Umwelt, Energie (WI) sowie das Institut für Friedensforschung und Sicherheitspolitik (IFSH) an der Universität Hamburg und die Akademie für Technikfolgenabschätzung in Baden-Württemberg.

Die Stellungnahmen fielen insgesamt mehr oder weniger kritisch aus. Die Gründe hierfür lagen überwiegend in der schwachen wissenschaftlichen Fundierung der Beratung, ablesbar an Defiziten bei den Publikationen, in der Drittmitteleinwerbung und in der Kooperation mit Hochschulen. Im Zusammenhang mit den für eine Reihe von politikberatenden Forschungsinstituten der Blauen Liste ebenfalls konstatierten kritischen Evaluationsergebnissen ist der Eindruck nicht von der Hand zu weisen, dass Politikberatung in Deutschland nicht selten auf einer schwachen wissenschaftlichen Grundlage steht. Dies hängt offensichtlich nicht zuletzt auch damit zusammen, dass die Adressaten von Beratung nur allzu häufig der politischen Nützlichkeit den Vorrang vor der Qualität von Beratungsleistungen geben.

Nach den Erfahrungen des Wissenschaftsrates gehört die Evaluation politikberatender wissenschaftlicher Institute zu den schwierigsten und im Verhältnis zum Auftraggeber konfliktträchtigsten Evaluationsaufgaben. Hier besteht nicht selten die Gefahr, dass Evaluation zur Legitimierung mehr oder weniger feststehender politischer Entscheidungen benutzt und letztlich missbraucht wird. Der Wissenschaftsrat hat ein Instrumentarium entwickelt, das dies verhindern soll. Hierzu gehören u.a. Gespräche im Vorfeld mit dem Auftraggeber und die Möglichkeit, gegebenenfalls Evaluationsaufträge abzulehnen oder laufende Verfahren abzubrechen.

Anmerkung

[1] Prof. Dr. Reinhard Hüttl ist seit Februar 2000 Mitglied des Wissenschaftsrates, Vorsitzender der Wissenschaftlichen Kommission und des Evaluationsausschusses des Wissenschaftsrates Internetadresse des Wissenschaftsrats, wo die meisten Dokumente vorgehalten werden: http://www.wissenschaftsrat.de

Literatur

Daniel, H.-D., 2001:
Wissenschaftsevaluation - Neuere Entwicklungen und heutiger Stand der Forschungs- und Hochschulevaluation in ausgewählten Ländern. Bern: CEST Center for Science and Technology Studies (Februar 2001)

Wissenschaftsrat, 1975:
Empfehlungen zu Organisation, Planung und Förderung der Forschung. Bonn: Bundesdruckerei

Wissenschaftsrat, 1980ff:
Stellungnahmen zu Forschungseinrichtungen der Blauen Liste (8 Bände). Köln

Wissenschaftsrat, 1992:
Stellungnahmen zu den außeruniversitären Forschungseinrichtungen in den neuen Ländern und in Berlin - Allgemeiner Teil - sowie 9 weitere Bände. Köln

Wissenschaftsrat, 1996ff:
Stellungnahmen zu Instituten der Blauen Liste, Bd. I-XII. Köln

Wissenschaftsrat, 2002:
Aufgaben, Kriterien und Verfahren des Evaluationsausschusses des Wissenschaftsrates. Berlin, 12. Juli 2002, Drs. 5375/02 (the paper is also available in English: "Tasks, Criteria and Procedures of the Wissenschaftsrat's Evaluation Committee")

Professor Dr. Reinhard Hüttl
Professor für Bodenschutz und Rekultivierung an der
Brandenburgischen Technischen Universität Cottbus
Universitätsplatz 3-4, 03044 Cottbus
Tel.: +49 355 692117
E-Mail: huettlFzk7∂umwelt tu-cottbus de