TA-relevante Bücher und Tagungsberichte

"Mit Hilfe von Wirkungsanalysen wurde versucht, Bilanz zu ziehen, in welchem Maße politische Absicht, eingesetzte Mittel und schließlich erzielte Wirkungen im Einklang gewesen seien. An der Aussichtslosigkeit einer überzeugenden Erfolgs- oder Kosten / Nutzen-Messung und an den immer länger werdenden Kriterienlisten spiegelt sich die behauptete Theorielosigkeit." (Helmar Krupp, 1993, S. 331)

1. Der Auftrag

Auf die klare Frage, was staatliche Maßnahmen in den verschiedenen Politikbereichen "bewirken", gibt es selten eine klare Antwort - und wenn, dann hieße sie wohl "Nichts"! Bei unternehmerischen Entscheidungen verhält es sich übrigens kaum anders. Was also taugt eine Forschung, die solche Wirkungen abschätzt und bewertet - was taugt die Evaluationsforschung? Auch auf diese Frage, so können wir vermuten, lautet die Antwort: Es kommt darauf an!

Zum Beispiel auf den Politikbereich, auf den Typ staatlicher Maßnahmen und auf die Klassen jeweiliger Wirkungen und Folgen, die interessieren. 1992 erhielt das Fraunhofer-Institut für Systemtechnik und Innovationsforschung (ISI) vom BMBF den Auftrag, "Vorschläge zum Ausbau des methodischen Instrumentariums und des Managements von Programmevaluation auf der Grundlage einer vergleichenden Analyse und Bewertung von Methoden und Ergebnissen vorliegender Programmevaluation des BMBF seit 1985 zu unterbreiten" (2). Nun liegt das Ergebnis dieser Meta-Evaluation öffentlich vor (Kuhlmann / Holland 1995; Seitenverweise in Klammern). Offenbar um die Leser von vornherein zu jener Bescheidenheit der Erwartungen zu veranlassen, zu der die Autoren bereits gefunden haben, ist dem Werk ein Motto aus Musils "Mann ohne Eigenschaften" vorangestellt. Danach droht jenen, die sich mit dem Geflecht gesellschaftlicher Innovationsentwicklung näher befassen, ein riesiger Apparat von Gesetzen und Beziehungen, von denen man die allerwenigsten kenne; ein Netzwerk, dessen ganze Zusammensetzung überhaupt noch kein Meinsch entwirrt habe.

2. Der Aufbau

Das vorliegende Werk richtet - keineswegs "im Zorn" - zunächst seinen "Blick zurück" auf den Stand der internationalen Evaluationsforschung und auf Erfahrungen mit der Evaluationspraxis im Ausland (Kapitel 2) sowie auf die Evaluationspraxis des BMBF (Kapitel 3). Im letztgenannten Kapitel haben wir die empirische Basis der Untersuchung vor uns. Sie enthält neben einer querschnittartigen Charakterisierung der dokumentierten Studien nach einem Kriteriensatz (35) die längsschnittartige Analyse in neuen Tätigkeitsgebieten des BMBF (Gesundheitsforschung, KMU-Kooperation, Lasertechnik, Dünnschichttechnologie, Biotechnologie, technologieorientierte Unternehmensgründung).

Nach einem Resümee der empirischen Analysen richtet sich auftragsgemäß der "Blick nach vorn" und versucht, Umrisse einer künftigen Evaluationspraxis zu beschreiben (Kapitel 4). Diese "Umrisse" wollen als strukturierender Beitrag zur Diskussion unter Fachleuten verstanden werden und nicht etwa als Gebrauchsanweisung nach der Devise "So evaluieren Sie schnell und gut!" (9).

Schließlich sind der Arbeit zwei ausländische Fallstudien zur Evaluation der Forschungs- und Technologiepolitik in den USA und Kanada sowie in Großbritannien beigefügt (Kapitel 5), denen schon deshalb Gewicht zukommt, weil die entsprechende Praxis in den genannten Ländern auf eine längere Entwicklung zurückblicken kann als in Deutschland (22 ff.).

3. Das Problem

Nun ist auch in Deutschland die Idee nicht ganz neu, staatliche Maßnahmen (Programme wie ihre Instrumentierung mittels finanzieller Förderung und Rechtssetzung) sowohl ex ante zu "planen", während ihrer Umsetzung zu begleiten (Implementationsforschung) und ex post zu evaluieren. Zahlreiche Konzepte wissenschaftlicher Politikberatung haben hierzu seit Ende der sechziger Jahre ihren Beitrag zu liefern versucht. Das geradezu sprichwörtliche Ende der Planungseuphorie wurde einerseits durch die enttäuschenden Ergebnisse solcher Verwissenschaftlichungsbemühungen mitverursacht und zwang diese andererseits zu mehr Reflexivität im Hinblick auf das komplexe gesellschaftliche Umfeld, in dem sie operieren.

Staatliche Auftraggeber, so weiß es auch die Rechtswirksamkeitsforschung, stellen eine riskante Frage, wenn sie die Wirksamkeit ihrer Maßnahmen zu erforschen in Auftrag geben. Sie riskieren nämlich die Rückfrage, was eigentlich beabsichtigt gewesen sei und welche nicht-intendierten Folgen in die Untersuchung einzubeziehen seien. über die unmittelbaren Ziele wie Nebenfolgen der Programme hinaus geht es aber auch um den Bewertungsrahmen, innerhalb dessen die zu untersuchenden Maßnahmen vielleicht nur eine Möglichkeit innerhalb mehrerer Alternativen zur Verwirklichung von Oberzielen darstellen.

Für die staatliche Förderung von Technologieentwicklung scheint sich das Problem jedoch einfach fassen zu lassen. Auffallend einstimmig steht am Anfang meist ein ökonomisches Glaubensbekenntnis: der Zwang zur Planung von Ausgaben sowie zur überprüfung ihrer Effektivität und Effizienz gehe von der Begrenztheit der finanziellen Ressourcen aus. Dies hat oft den Versuch zur Folge, "Prioritätensetzungen" (1) oder heute bescheidener: Auswahlentscheidungen letztlich auf ökonomische Kriterien zurückzuführen und deren Wirksamkeit an eben solchen zu bemessen (vgl. schon Slemeyer 1979). Unverdrossen wird auch 1995 eingeleitet: "Wissenschaft und Forschung müssen beweisen, daß sich die Investitionen in sie lohnen" (Kuhlmann / Holland, 1; vgl. auch Chabbal 1988, Barker 1994). Besonders beliebt scheinen nicht zufällig Bewertungskriterien wie "value for money" (Großbritannien) oder "added value" (Europäische Gemeinschaft) zu sein, von denen jedoch niemand weiß, was sie bedeuten sollen. Schon der Kern der Evaluationsrhetorik spiegelt so zweierlei:

- einmal die beklagte Unklarheit von Programmzielen und Bewertungskriterien, mindestens aber die Schwierigkeit ihrer Operationalisierung (17, 212);

- zweitens die Erfahrung der Evaluationspraxis, daß es viel leichter ist zu sagen, was nicht geht, als tatsächlich Wirkungen zu bestimmen.

Schon in den sechziger Jahren äußerte Niklas Luhmann die Vermutung, es sei wahrscheinlich unwirtschaftlich, wenn der Staat versuche, wirtschaftlich effizient zu handeln. Vier in den siebziger Jahren vom BMBWi veranlaßte Studien zur wissenschaftlichen Fundierung einer Prioritätenplanung in der Forschungspolitik kamen zu entsprechend skeptischen Ergebnissen (Slemeyer 1979). Auch die Forschungsmanagement-Literatur dieser Jahre ist voller Hinweise auf spezifische Probleme, die ökonomische Analysen mit dem Bereich von Forschung und Entwicklung haben. Dennoch erfreuen sich ökonomische Floskeln größter politischer Beliebtheit und lassen sich auch durch die immer wieder erneuerte Feststellung nicht beirren, daß ökonomische Wirkungen nur selten untersucht werden und daß dieses nicht zuletzt seinen Grund in fehlenden theoretischen Ansätzen und erprobten Methoden habe (Kuhlmann/Holland, 225 und 20; vgl. auch Chabbal 1988).

Dazu paßt es, wenn die Autoren der Meta-Evaluation vermerken, daß die politischen Annahmen selten geprüft werden, die der Formulierung von Förderungsprogrammen zugrundeliegen. (219). Nebenfolge dieses Umstands sind dann "Fragestellungen geringer Reichweite", etwa der Art, ob die intendierten Adressaten eines Programms und seine tatsächlichen Nutzer wirklich übereinstimmen. Der Grund dafür scheint auf der Hand zu liegen. Standardannahmen wie die, daß eine breite Streuung neuer Technologien zu ökonomischem Wachstum und Sicherung / Vermehrung der Arbeitsplätze führt (96), können bei näherer Betrachtung keineswegs als unbedingt gültig angesehen werden (97, 103). Auffällig in diesem Zusammenhang ist, daß sich die Autoren der vorliegenden Untersuchung bei der Erläuterung der "ökonomischen Wirkungsdimension" (225) kaum auf explizit ökonomische Kategorien berufen. Die Feststellung neuer Produkte und Prozesse, ihrer Diffusion und Ausstrahlung oder auch der Wettbewerbssituation bestimmter (geförderter und nicht-geförderter) Unternehmen kann allenfalls indikativen Charakter haben und bedarf kritischer Interpretation im Hinblick auf die unterstellten Annahmen.

Und gerade hier liegt nun ein zentraler Mangel der vorliegenden Untersuchung.

Sie läßt jene eingangs als notwendig postulierte Reflexivität von Evaluationsforschung großenteils vermissen und läuft so Gefahr, selbst Bestandteil eines politischen "double talk" zu werden. Eines double talk, bei dem alle Beteiligten wissen, daß die ausgesprochenen Ziele nicht verwirklicht werden können oder aber deren Verwirklichung nicht überprüft werden kann oder soll, bei dem aber entsprechende Untersuchungen dennoch immer wieder in Auftrag gegeben werden. Das ist sicher gut für Auftragnehmer, die voller berechtigten Stolzes ihren gutgefüllten Werkzeugkasten vorzeigen können (211 ff.), trägt aber weder zur Klärung der praktischen Möglichkeiten noch der politischen Erfordernisse von Evaluationsforschung bei.

Zur Illustration sei nur auf eine zentrale Paradoxie der vorliegenden Studie hingewiesen. Die Evaluation bisheriger Evaluationen im Dienste des BMBF betont gleich mehrfach, daß ihre rückblickenden Analysen "nicht der Bewertung einzelner Evaluationsstudien" (31, Hervorhebung durch die Autoren!) dienten. Dies bringe niemandem einen Nutzen. Konsequent bleibt das Kategorienschema zur Erfassung der untersuchten Studien (35) rein deskriptiv. Gleichwohl soll die "Auswertung" Lernprozesse auslösen und für die Zukunft den "Nutzen" solcher Studien verbessern helfen (9 f.). Wie aber kommt eine Evaluation ohne Bewertungskriterien aus; woran orientieren sich Nutzenzuschreibung und Lernprozeß??

Man kann nur hoffen, daß eine solche Evaluationsforschung sich nicht die Gepflogenheiten ihrer Auftraggeber aneignet, auf "Flexibilität" und "moving targets" setzt (197 f.) und so mit lauter "intelligenten" Entscheidungsprozessen vergessen macht, was eigentlich die Frage war, auf die geantwortet wird. In der Praxis nämlich, das wissen auch die Autoren, geht es bei solchen Entscheidungen häufig nur um die Fortschreibung einmal etablierter Programme und um deren Rechtfertigung gegenüber konkurrierenden Begehrlichkeiten (25, 27; vgl. auch Barker 1994). Die Legitimation einmal gefundener "Ziele" erscheint als "ständige Herausforderung" (221), aber an einer Kritik der Ziele - etwa im Licht von Bedarfsartikulationen aus der Gesellschaft - sowie an einer Untersuchung problematischer Nebenfolgen besteht in der Regel wenig Interesse (21; 225). Dazu paßt, daß strategischen Zielformulierungen ex ante selten ex post-Evaluationen folgen (209).

4. Evaluationsforschung - Teil der Lösung oder Teil des Problems?

Obwohl die Autoren der Meta-Evaluation vorbeugend erklären, "die" Evaluationsforschung gebe es gar nicht, sondern die Praxis sei so vielfältig wie die Fragestellungen (197), haben sie an der Einheit der Differenzierungen wenig Zweifel. Sie haben dieser Einheit nicht nur ein ganzes Buch gewidmet, sondern trotz entgegenstehendem Anschein auch relativ klare Referenzen dafür, was Evaluationsforschung sein soll (Kapitel 4). Im Hinblick auf ihren Nutzen sagen die Autoren allerdings wenig mehr, als daß die Evaluationsforschung zur "Rationalisierung" der Technologiepolitik beitragen solle. Gewarnt wird andererseits energisch vor einer überschätzung ihres Potentials: "Evaluationsstudien als 'mächtiges Steuerwerkzeug' zu betrachten, hieße die Steuerbarkeit forschungs- und technologiepolitischer Entscheidungsprozesse zu überschätzen" (2). Da die Unwahrscheinlichkeit einer "Steuerung" politischer Entscheidungsprozesse durch wissenschaftliche Politikberatung wohl nur noch übertroffen wird durch die Unwahrscheinlichkeit einer politischen "Steuerung" des gesellschaftlichen Innovationsprozesses selbst (241), muß die hier abgewendete Gefahr doch denkbar gering erscheinen. Die Sorge der Autoren erinnert auf rührende Weise an das Wedeln des Schwanzes mit dem Hund angesichts einer unbeirrt vorbeiziehenden Karawane.

Womit wir bei der von Krupp angesprochenen "Theorielosigkeit" der Evaluationsforschung wären. Nicht nur läßt die vorliegende Studie eine angemessene Reflexion auf die praktischen Bedingungen ihres Anliegens vermissen. Sie stellt auch mit entwaffnender Offenheit fest, daß die Evaluationsstudien - notabene nach 20 Jahren! - "unzureichend verknüpft mit relevanten theoretischen Arbeiten" aus den Bereichen Wissenschaftsforschung, Innovationsforschung, Technikfolgenabschätzung, ökonomie, Politikwissenschaft und Verwaltungswissenschaft / Organisationstheorie seien (240 f.).

Das wird, so muß man befürchten, auch in der "umrissenen" Zukunft so bleiben. Denn die Behebung des Mangels wird wohl kaum von den Auftraggebern angestoßen werden, sondern steht allenfalls von den ins Auge gefaßten "Fachleuten" zu erwarten. Wenn aber nicht einmal in einer Meta-Evaluation sichtbar wird, zu welchen Defiziten der Evaluationspraxis die angezeigten "Lücken" geführt haben, muß man auch diese Hoffnung fahren lassen. Da bringt den Autoren selbst der abschließende - und berechtigte - Hinweis auf die erforderlichen Fördermittel wenig Entlastung.
(Fritz Gloede/AFAS)

Bibliographische Angaben:

Kuhlmann, St.; Holland, D.: Evaluation von Technologiepolitik in Deutschland. Konzepte, Anwendung, Perspektiven. Physica-Verlag: Heidelberg 1995
sowie:

Barker, K.: Strengthening the impact of R&D evaluation on policy making: methodological and organisational considerations, in: Science and Public Policy, Vol. 6, No. 6, Dec. 1994, pp. 405-413.

Chabbal, R.: Die Organisation der Forschungsbewertung in der Kommission der Europäischen Gemeinschaften, WFKS-EWG-EAG Brüssel/Luxemburg 1988.

Krupp, H.: Europäische Technikpolitik in der globalen Schumpeter-Dynamik. In: Süß, W., Becher, G. (Hrsg.), Politik und Technologieentwicklung in Europa, Berlin 1993, S. 329-353.

Slemeyer, H.: Forschungsprioritäten. Prioritätenplanung - Möglichkeiten und Grenzen, in: Wissenschaftsrecht, Wissenschaftsverwaltung, Wissenschaftsförderung - Sonderheft: Die Rolle der Forschung in wissenschaftlichen Hochschulen. Mohr: Tübingen, März 1979.