Schwerpunktthema - Evaluation von Forschung

von Walter Grossenbacher-Mansuy und Sergio Bellucci, TA-SWISS, Bern, und Sami Kanaan, evaluanda, Genf

Die Qualitätsprüfung von Arbeiten einzelner Wissenschafter/-innen ist schon seit langem eine Selbstverständlichkeit. Im Vergleich dazu ist die Evaluation von wissenschaftlichen Institutionen ein neues Phänomen. Die Zeiten, in denen öffentliche Institutionen auf blindes Vertrauen seitens der Geldgeber zählen konnten, sind vorbei. Dies ist einer der Gründe, weshalb Evaluationen - auch für TA-Institutionen - an Bedeutung gewinnen. Das Schweizerische Zentrum für Technologiefolgen-Abschätzung TA-SWISS beauftragte 2002 das Unternehmen evaluanda mit der Durchführung einer umfassenden, partizipativ durchgeführten Evaluation. Evaluierende und Evaluierte schildern Inhalt, Zweck, Methode und die wichtigsten Ergebnisse dieses Unterfangens.

1     Einleitung

Ende 2001 beschloss das Leitungsgremium des Zentrums für Technologiefolgen-Abschätzung TA-SWISS, eine Evaluation der eigenen Aktivitäten durchzuführen. Dies ist nach 1995 bereits das zweite Mal, dass eine externe, unabhängige Stelle die Tätigkeiten, Strukturen und Abläufe von TA-SWISS unter die Lupe nimmt. Ziel der aktuellen Evaluation war es, eine Bilanz für die Periode 1996-2001 zu ziehen und daraus Empfehlungen für die Zukunft abzuleiten. Insbesondere geht es den Verantwortlichen von TA-SWISS um eine fortlaufende Verbesserung der Verfahrensweisen und der Umsetzung der Resultate. Für die Institution TA-SWISS, die durch die öffentliche Hand getragen wird, ist eine periodische, unabhängige Beurteilung von außen unverzichtbar. Nur mittels Transparenz kann es gelingen, das Vertrauen der Politiker/-innen und der Öffentlichkeit zu gewinnen. Die in diesem Jahr anstehenden Debatten um die zukünftige Forschungsfinanzierung im Schweizerischen Parlament waren eine zusätzliche Motivation, diese Evaluation durchzuführen.

2     Sinn und Zweck einer Evaluation - die Sicht der Evaluatoren

Die Gründe, warum eine Institution wie TA-SWISS sich einer Evaluation unterziehen möchte, wurden durch die TA-SWISS im einleitenden Abschnitt dargestellt. Es tauchen Begriffe wie Bilanz, Empfehlungen für die Zukunft, Verbesserung, Transparenz, Vertrauen usw. auf. Dazu kommt die Idee, dass eine solche Evaluation durch eine "externe, unabhängige Stelle" durchgeführt werden sollte. Aufgrund dieser überzeugten und offensiven Stellungnahme könnte man meinen, es stellt sich gar keine Frage mehr über Sinn und Zweck der Evaluation. Oder vielleicht doch?

Die Grundbegriffe der Evaluation im öffentlichen Sektor sind in den 60er Jahren des letzten Jahrhunderts entstanden und seither eingehend diskutiert, angewendet, differenziert und verbessert worden. Trotzdem ist die Erkenntnis, dass die Evaluation eine "normale" Tätigkeit sei, die zu den regelmäßigen Pflichten einer öffentlichen Institution gehört, noch relativ neu. Gerade im wissenschaftlichen Bereich herrscht heute noch oft ein Paradox: Evaluation der wissenschaftlichen Arbeit an sich ist in verschiedenen Formen (Publikationen, "Peer Reviews", Dissertationen, Habilitationen, Bewilligung von Forschungsgeldern usw.) als integrierte Dimension einer wissenschaftlichen Karriere unabdingbar und weitgehend akzeptiert, also vor allem für individuelle wissenschaftliche Arbeit. Dass man auch Institutionen insgesamt, bezüglich der Erfüllung von impliziten oder expliziten Erwartungen oder gar von Effizienzkriterien, evaluieren kann und sollte, ist noch keine gewohnte und weit verbreitete Vorstellung. Das interessanteste Beispiel für diese Entwicklung sind die Hochschulen, vor allem die klassischen Universitäten, die bis vor kurzem nicht so recht wussten, warum die Lehre oder das strategische Management evaluiert werden sollen, und wenn schon, wie und wofür. Jedermann weiß doch, welche Universitäten gut sind, und warum! Genau dort liegt einer der Kernpunkte in dieser Diskussion: implizite, selbstverständliche Legitimation genügt heute nicht mehr. Es ist eine Tatsache, dass während langer Zeit manche öffentliche Institutionen, wie Universitäten, auf eine Art automatisches Vertrauen zählen konnten. Es schien nicht notwendig, Qualität, Zweckmäßigkeit oder Wirkung zu belegen und die dafür eingesetzten Ressourcen zu rechtfertigen. Zunehmend müssen aber solche Institutionen davon ausgehen, dass es dieses automatische Vertrauen nicht mehr gibt, und dass sie zur Rechenschaft gezogen werden. Die Motivationen für diesen Evaluationseifer mögen nicht immer sehr differenziert oder überzeugend ausfallen, trotzdem kann diese Nachfrage nicht einfach vom Tisch gewischt werden. Dieses Hinterfragen kann auch eigenen Zwecken (Überprüfung der Strategie und Bestreben zur Verbesserung der Abläufe) dienen. Oft sind aber externe Ziele und Erwartungen prioritär (Bestätigung oder Erhöhung der Glaubwürdigkeit und des Vertrauens bei Zielgruppen, Partnern, Auftraggebern, Geldgebern usw.). Die Frage heute ist nicht mehr, ob man evaluieren soll, sondern wofür und wie.

Die vier zentralen Fragen jeder Evaluation

TA-SWISS ist eine öffentliche, aber sehr autonome Institution, die im Rahmen eines gesetzlichen Auftrags und mittels öffentlicher, vom Parlament erteilten Ressourcen arbeitet (vgl. Abb. 1).

Der Schweizerische Bundesrat ernennt die Mitglieder des Schweizerischen Wissenschafts- und Technologierates (SWTR). Zudem genehmigt er das Reglement des SWTR und des angegliederten Zentrums für Technologiefolgen-Abschätzung TA-SWISS. Der Schweizerische Wissenschafts- und Technologierat (SWTR) ist das beratende Organ des Bundesrates für Fragen zu Bildung, Forschung und Technologie. Der SWTR wählt die Mitglieder des TA-SWISS Leitungsausschusses. Administrativ ist der SWTR und das angegliederte Zentrum für Technologiefolgen-Abschätzung TA-SWISS dem Eidgenössischen Departement des Innern (EDI) zugeordnet. Der SWTR arbeitet auch eng mit dem Eidgenössischen Volkswirtschaftsdepartement (EDV) zusammen. Das Zentrum für Technologiefolgen-Abschätzung TA-SWISS ist dem SWTR angegliedert. TA-SWISS arbeitet unabhängig und auf der Grundlage von zweijährigen Mandaten, welche durch den SWTR nach Konsultation des EDI erstellt werden. Der Präsident des SWTR, das EDI und das EVD können TA-SWISS spezifische Aufträge erteilen. TA-SWISS ist für die Resultate seiner Arbeiten selbst verantwortlich und informiert selbständig über die durchgeführten Studien und partizipativen Verfahren. Der TA-SWISS Leitungsausschuss bestimmt die thematische Ausrichtung und stellt die Verbindung zur Politik und den betroffenen Organisationen sicher. Das Gremium setzt sich zusammen aus Vertreterinnen und Vertretern der wichtigsten Adressatengruppen. Dazu gehören Mitglieder des Parlaments, Vertreterinnen und Vertreter der Wissenschafts- und Technologiepolitik, der Bundesverwaltung, der Wissenschaft und von an TA-Fragen interessierten Nichtverwaltungsorganisationen. Diese entscheiden über die Durchführung von Projekten und die Annahme der Schlussberichte. Die TA-SWISS Geschäftsstelle erfüllt die operativen Aufgaben und handelt gemäß den Entscheiden des TA-SWISS Leitungsausschusses. Die inhaltlichen Schwerpunkte liegen gegenwärtig in den Bereichen "Biotechnologie und Medizin", "Informationsgesellschaft" und "Mobile Gesellschaft". Dazu führt TA-SWISS wissenschaftliche Studien durch und organisiert Mitwirkungsverfahren mit Bürgerinnen und Bürgern. Der Geschäftsführer ist für den Einsatz der finanziellen und personellen Mittel und für die Personalführung verantwortlich.

Abb. 1: Organigramm der TA-SWISS

Wie andere TA-Institutionen, steht TA-SWISS an einer Art Schnittstelle zwischen zahlreichen Kreisen, die in verschiedenen Rollen mit TA-SWISS in Wechselwirkung stehen, als Partner, Zielgruppen, Zulieferer, Geldgeber, Beobachter, usw. Auch wenn TA-SWISS sich nicht als allgemeiner Vermittler für Technologiefragen in der Gesellschaft versteht, ist TA-SWISS von seiner Anerkennung und seiner Glaubwürdigkeit gegenüber der Außenwelt abhängig. Deswegen sind klare Perspektiven über die Strategien und die Methoden unabdingbar und eine der Voraussetzungen dazu ist eine periodische Evaluation. Die letzte Evaluation von TA-SWISS geschah, wie bereits erwähnt, 1996 in Form eines "Peer Review" durch ausländische TA-Spezialisten.

Unter dem Begriff "Evaluation" können sich sehr heterogene Ansätze im Hinblick darauf verbergen, wie sie eingelöst wird; aber entscheidend sind immer die folgenden vier Aspekte: Inhalt, Ziel, Durchführung und Verwendung.

1.     Was ist der Inhalt oder das Objekt der Evaluation?

Es muss im Voraus definiert werden, ob man eine Evaluation der Wirkungen der betroffenen Institution, insbesondere im Vergleich zu deren Zielen und Auftrag, oder eine Evaluation der Umsetzungsprozesse und der Abläufe, oder auch eine Evaluation der Zweckmäßigkeit der Institution im Vergleich zu den Bedürfnissen und zum Umfeld, vornehmen will.

Selbstverständlich lassen sich diese verschiedenen Varianten beliebig differenzieren, nuancieren und kombinieren, aber diese Frage muss im Voraus geklärt werden, weil damit auch der Bezugsrahmen der Evaluation definiert wird: Was wird evaluiert, in Bezug auf welche Dimensionen?

2.     Wem soll sie dienen? Was ist das Ziel der Evaluation?

Hier geht es vor allem um den Schlussadressat der Evaluation: Ist dies vor allem die evaluierte Institution selber, die somit eine Evaluation zwecks eigener Bedürfnisse umsetzt, oder sind es externe Akteure, wie zum Beispiel der formale Auftraggeber (Behörden)? Diese Frage ist oft mit derjenigen verbunden, wer den ursprünglichen Impuls zur Lancierung einer Evaluation gibt. Die Antwort auf diese Frage hat nicht unbedingt substanzielle Auswirkungen auf die Umsetzung der Evaluation, aber doch auf deren Schwerpunkte und auf deren Ausrichtung. Muss die Institution Rechenschaft ablegen? Im Englischen spricht man dann von einer "accountability-oriented evaluation", ursprünglich oft als Gegensatz zur "improvement-oriented evaluation" dargestellt, die den eigenen Bedürfnissen der Institution dient. Heutzutage geht man davon aus, dass es diesen Gegensatz gar nicht geben sollte, weil eine dynamische und verantwortungsbewusste Institution direkt daran Interesse hat, regelmäßig Bilanz zu ziehen und Verbesserungen anzustreben, sowohl für eigene als auch für externe Zwecke.

3.     Wie soll die Evaluation umgesetzt werden?

Es gibt zahlreiche methodische Ansätze und Instrumente zur Durchführung einer Evaluation. Grundsätzlich steht fest, dass eine aktive Teilnahme der evaluierten Institution, unter Beteiligung der Mitarbeiter, sehr sinnvoll ist. Dies kann in Form einer Selbstevaluation geschehen, wobei ein im Voraus vorbereitetes Raster verwendet werden kann. Eine Analyse der Stärken, Schwächen, Chancen und Risiken (sog. SWOT: Strengths, Weaknesses, Opportunities and Threats-Analysis) ist oft sehr wirksam, um den analytischen Teil der Selbstevaluation zu strukturieren. Dazu kommen in den meisten Fällen dokumentarische und bibliografische Analysen, qualitative Gruppengespräche (bilateral oder in Gruppen) oder quantitative Umfragen, um Meinungen inner- und außerhalb der Institution einzuholen.

Jedenfalls macht es fast immer Sinn, die Führungsrolle in der Evaluation einem externen, unabhängigen Institut anzuvertrauen. Die dazu notwendigen Kompetenzen können durchaus auch innerhalb der evaluierten Institution verfügbar sein, aber es geht vor allem darum, die Unabhängigkeit der Evaluation gegenüber Partnern und Auftragebern der Institution zu "garantieren" und die notwendige kritische Distanz zu wahren.

Zur heiklen Frage nach den Indikatoren, anhand welcher die Institution evaluiert werden soll, gibt es keine eindeutige Antwort. Gerade im Bereich der TA lässt sich die Tätigkeit kaum aufgrund eindeutiger, statistisch auswertbarer Erfolgsindikatoren messen. Die Evaluation läuft meistens auf qualitativer Ebene, anhand eines Vergleichs zwischen den Zielen, Strategien und Abläufen der Institution einerseits, und den dokumentierten und/oder wahrgenommenen Ergebnissen andererseits. Die evaluierte Institution verfügt manchmal selbst über vordefinierte Erfolgsindikatoren im Sinne von Zielvorgaben, oder man kann Vergleiche zwischen ähnlichen Institutionen vornehmen, inklusive gegenseitiger Begutachtungen ("Peer Reviews") oder durch den Einsatz von "Benchmarks" (Durchschnittswerte in einer Gruppe von ähnlichen Institutionen, die zu übertreffen wären). Eine dabei oft unterschätzte wichtige Frage ist zu klären, ob die Institution selbst über Mechanismen verfügt, um laufend ihre Umsetzungsabläufe und ihre Resultate zu überprüfen.

4.     Wie sollen die Resultate der Evaluation verwendet werden?

Die Arbeit endet nicht mit der Abgabe eines Evaluationsberichts - ganz im Gegenteil. Evaluationen sind zeitlich aufwändig und verursachen nicht vernachlässigbare direkte und indirekte Kosten. Es wäre deshalb Verschwendung, wenn deren Resultate nicht genutzt würden. Die evaluierte Institution und der externe Auftrag-/Geldgeber, falls er betroffen ist, dürfen sich also die Mühe nicht sparen, zu den Resultaten der Evaluation Stellung zu nehmen und konkrete Maßnahmen zu erarbeiten und umzusetzen. Idealerweise gehört dann die Evaluation zur Kultur dieser Institution, ist Bestandteil von dessen Management, und trägt dazu bei, dass diese Institution zu einer "lernenden Organisation" wird, die auf dynamische und kontinuierliche Weise ihre Tätigkeiten hinterfragt und laufend nach Verbesserungen sucht.

Was ist eine "gute" Evaluation?

Es gibt kein Kochrezept, welches das Gelingen einer Evaluation garantiert. Nicht nur müssen deren Ziele und Erwartungen genau definiert werden, anhand der oben erwähnten vier Fragen. Eine gute Evaluation bietet am Schluss brauchbare Entscheidungs- und Verbesserungsgrundlagen, vor allem für die evaluierte Institution selber, möglicherweise auch für deren Auftrag- oder Geldgeber. Aber Evaluationen führen selten zu eindeutigen, objektiven Resultaten, die ohne weiteres angewendet werden können. Es gibt immer Interpretationsspielraum. Dazu kommt, dass eine Evaluation selten in einem neutralen und statischen Umfeld geschieht. Sie ist ein mehrdimensionales Werkzeug, das politische Elemente enthalten kann und das für ganz bestimmte Zwecke instrumentalisiert werden kann. Man darf sich also auch nicht zu viel von einer Evaluation erhoffen.

Dies gilt umso mehr für TA-Institutionen, die an der Schnittstelle zwischen Wissenschaft, Politik und Wirtschaft liegen, und somit in spannungsreichen Feldern handeln. Eine Evaluation muss also erst recht sorgfältig aufgebaut und angewendet werden, damit deren Ergebnisse möglichst akzeptiert werden können.

3     Ablauf der Evaluation von TA-SWISS

Die Evaluation von TA-SWISS umfasste sämtliche Tätigkeiten der Institution zwischen 1996 und 2001: Konzeption und Strategie, Verfahrensweisen und Ressourcen, "outputs" und Auswirkungen der Ergebnisse. Das Evaluationsverfahren dauerte rund zehn Monate und wurde im Oktober 2002 abgeschlossen. Zunächst stellte das Genfer Unternehmen evaluanda der TA-SWISS Geschäftsstelle die Aufgabe, eine vertiefte Selbstevaluation ihrer Tätigkeiten vorzunehmen. Diese Selbstevaluation wurde zwei ausländischen Experten, Lars Klüver (Direktor des Danish Board of Technology) und Armin Grunwald (Direktor des Büros für Technikfolgen-Abschätzung beim Deutschen Bundestag/TAB) zur Beurteilung vorgelegt. Der Selbstevaluationsbericht bildete eine wichtige Grundlage der Evaluation. Außerdem analysierte evaluanda eine Reihe von Dokumenten und führte eine schriftliche Umfrage bei rund zweihundert Adressaten und Partnern von TA-SWISS durch. Vertieft evaluiert wurden zusätzlich drei Projekte aus der jüngeren Vergangenheit in Form von Fallstudien. Dabei handelte es sich um die TA-Studien "Xenotransplantation" und "Der gläserne Kunde" sowie um das PubliForum "Gentechnik und Ernährung". Schließlich diskutierten die Mitglieder des TA-SWISS Leitungsausschusses den Selbstevaluationsbericht und die Rückmeldungen der ausländischen TA-Fachleute.

Der Evaluationsbericht wurde im Januar 2003 vorgelegt und vom Leitungsausschuss genehmigt (vgl. ZTA, evaluanda 2003).

4     TA-SWISS Selbstevaluation

Zusammen mit dem Präsidenten des Leitungsausschusses erstellte die Geschäftsstelle den bereits erwähnten Selbstevaluationsbericht. Ausgehend von den wichtigsten Ergebnissen der ersten Evaluation 1995 nimmt darin die TA-SWISS Geschäftsstelle eine selbstkritische Lagebeurteilung vor. Dazu gehören das Hinterfragen der strategischen und operationellen Ziele des Zentrums für Technologiefolgen-Abschätzung ebenso wie die vertiefte Analyse der Entscheidungs- und Arbeitsabläufe. Eine Zusammenstellung der wichtigsten "outputs" und "impacts" zwischen 1996 bis 2001 sowie eine Analyse der Stärken, Schwächen, Chancen und Risiken runden die Selbstanalyse ab.

Klärung der Adressaten

Eine im Zusammenhang mit der Selbstevaluation aufgeworfene Frage ist diejenige nach den wichtigsten "Kunden" von TA-SWISS. Sind dies die Politiker/innen oder etwa die Medien? Oder sind es Vertreter/innen der Industrie, der Verwaltung, der Wissenschaft oder von Nichtregierungsorganisationen?

Die TA-SWISS Geschäftsstelle kommt zum Schluss, dass sie sich bei ihren Tätigkeiten nicht nach den Bedürfnissen einzelner gesellschaftlicher Gruppen zu richten hat, sondern danach, was für eine breite Öffentlichkeit und demnach auch für das Parlament in naher und mittlerer Zukunft von Bedeutung und Gewicht sein wird. Das heißt, TA-SWISS muss sich sowohl bei der Wahl der Themen als auch bei der Aufbereitung und Publikation der Ergebnisse auf den eigentlichen Auftrag zurückbesinnen. Dieser beinhaltet: 

• Wahl von kontroversen Themen mit großer Ausstrahlung und Bedeutung für die Öffentlichkeit,
• zuverlässige und unabhängige Arbeit,
• Aufzeigen von allfälligem politischem Handlungsbedarf, von Optionen und Alternativen,
• Veröffentlichung der Ergebnisse in verständlicher und leicht fassbarer Form.

Es ist dann die Aufgabe der verschiedenen Gruppen der Gesellschaft, aus den Ergebnissen der Technologiefolgen-Abschätzung das ihnen Nützliche herauszunehmen und Anregungen für weitere Themen zu geben (zur Ermittlung der Zielkonformität des Auftrags vgl. auch die Veröffentlichung von E. Kowalski, Mitglied des Leitungsausschusses, 2002).

5     Charakterisierung der Evaluation von TA-SWISS - die Sicht der Evaluatoren

Wenn man die Evaluation von TA-SWISS im Zusammenhang mit den oben aufgelisteten Fragen zu situieren versucht (Inhalt / Zweck und Adressat / Methode / Verwendung), dann kann diese Evaluation wie folgt charakterisiert werden:

Inhalt

TA-SWISS wollte eine Gesamtevaluation, die alle Aspekte abdeckt, d. h. sowohl die Art und Weise, wie Resultate erreicht werden (Abläufe und Aktivitäten), als auch deren Wirkungen und Zweckmäßigkeit (sofern evaluierbar). Dazu kam eine strategische Komponente bezüglich der mittelfristigen Perspektiven von TA-SWISS. Das "Objekt" der Evaluation war also das Zentrum für Technologiefolgen-Abschätzung (ZTA), wie es bis Sommer 2002 hieß, und der Bezugsrahmen war durch den gesetzlichen Auftrag und durch den zweijährigen Leistungsvertrag zwischen dem Schweizerischen Wissenschaft- und Technologierat (SWTR) und dem ZTA gegeben.

Zweck und Adressat

Die Evaluation bildete eine logische Komponente des erwähnten Leistungsvertrages mit dem SWTR, aber auch eine willkommene Gelegenheit, nach ein paar Jahren der organisationellen Weiterentwicklung einmal eine Bilanz zu ziehen und Grundlagen für kommende strategische Weichenstellungen zu erarbeiten. Den Auftrag zur Evaluation erteilte der leitende Ausschuss von TA-SWISS, der auch erster Adressat war. Es war aber von Beginn an klar, dass auch die Institutionen, von denen TA-SWISS direkt abhängig ist (SWTR), und diejenigen, die wichtige Partner und Zielgruppen sind (insbesondere das Parlament) auch zu den wichtigen Adressaten gehören.

Methode

Die Durchführung der Evaluation wurde in diesem Beitrag von der TA-SWISS im Abschnitt 3 schon dargestellt. Wichtig dabei zu betonen ist der partizipative Ansatz, d. h. die aktive Beteiligung der TA-SWISS-Kerngruppe (Geschäftsstelle, aber auch leitender Ausschuss) am gesamten Evaluationsprozess. Dies bedeutet nicht, dass dabei die Unabhängigkeit und die kritische Dimension der externen Evaluation verloren gehen. Alle Evaluationsschritte (mit Ausnahme des Selbstevaluationsberichtes) wurden von evaluanda völlig unabhängig durchgeführt, inklusive Schlussanalyse. TA-SWISS konnte zum Entwurf des Schlussberichtes Stellung nehmen und Änderungswünsche äußern, letztendlich haben die Evaluatoren ihre Ergebnisse und Ansichten jedoch nicht modifiziert oder Änderungswünsche abgeschwächt.

Verwendung

Die Evaluation stand nicht nur im Licht einer Bilanz nach fünf Jahren organisationeller Weiterentwicklung, sondern auch im Umfeld der Erneuerung der Finanzierung des ganzen Wissenschafts- und Hochschulbetriebes in der Schweiz für die nächste Vierjahres-Periode, dies unter schwierig gewordenen finanziellen Rahmenbedingungen. Dazu kommen Abgrenzungs- und Koordinationsfragen im Zusammenhang mit ähnlichen Initiativen und Projekten.

Die TA-SWISS Geschäftsstelle hat eine substanzielle Stellungnahme zum Evaluationsbericht verabschiedet, die aus drei wichtigen Elementen besteht: ein Rückblick auf den Evaluationsprozess an sich, ein detaillierter Kommentar zu den Empfehlungen, die von den Evaluatoren abgegeben wurden, sowie ein Maßnahmenkatalog. Diese Stellungnahme wurde dem leitenden Ausschuss vorgestellt und von diesem auch bestätigt.

6     Bilanz aus der Sicht der Evaluatoren

Welche Bilanz kann aus der Evaluation von TA-SWISS gezogen werden? Die inhaltlichen Empfehlungen werden weiter unten (Abschnitt 7) von den Betroffenen, d. h. der TA SWISS, zusammengefasst. Die wichtigste Botschaft der Evaluatoren, die durch die verschiedenen Datenquellen bestätigt wird, ist, dass TA-SWISS angesichts der bescheidenen Ressourcen und der steigenden Nachfrage sich in den letzten Jahren sehr gut entwickelt hat, und dies mit einem beträchtlichen qualitativen und quantitativen Wachstum. Es handelt sich also um eine sehr produktive Institution, die zugleich innovativ und zuverlässig arbeitet. Verbesserungsmöglichkeiten kann man zwar immer identifizieren und umsetzen, aber das Potenzial ist im Rahmen der bestehenden Ressourcen eher gering. Die Zukunft liegt also eher in der Erarbeitung von verschiedenen Entwicklungsszenarien, und gerade auf dieser strategischen Ebene muss die TA-SWISS jetzt aktiv werden: ein Leitbild und eine (flexible) Mehrjahresplanung erarbeiten, im Rahmen derer verschiedene Optionen in Erwägung gezogen werden müssen, zum Beispiel über den Stellenwert der partizipativen Methoden oder die Kapazität, kontinuierliche Folgearbeit für die Projekte zu leisten.

Was die Auswirkungen der Evaluation auf das Umfeld von TA-SWISS anbelangt, dürfen diese natürlich nicht überschätzt werden. Die positiven Ergebnisse, die auch eine klare Aussage zugunsten einer deutlichen Erhöhung der Ressourcen enthalten, werden die Strategien der TA-SWISS-Leitung natürlich in verschiedenen Weisen unterstützen, aber wie die Erfahrung zeigt, ergeben sich keine direkt buchbaren Gewinne daraus. Genauso sicher ist, dass der Verzicht auf diese Evaluation negative Auswirkungen gehabt hätte.

In methodologischer Hinsicht hat sich das Evaluationsdesign insgesamt bewährt. Es wäre interessant gewesen, die schriftliche/elektronische Umfrage bei einer größeren Gruppe durchzuführen, aber es war nicht möglich, geeignete Zielgruppen zu identifizieren. Dazu wurde auch empfohlen, das Beziehungsnetz, sowohl im engeren als auch im breiteren Kreis, systematischer und aktiver zu pflegen. Das Gewicht, das auf die Selbstevaluation gelegt wurde, hat sich gelohnt, nicht zuletzt wegen der internen Dynamik, die es in der Geschäftsstelle ausgelöst hat. Die erwähnte Stellungnahme der Geschäftsstelle zum Evaluationsbericht, auch wenn sie zum Teil etwas defensiv formuliert ist, stellt eine willkommene Fortsetzung dieser Dynamik dar und kann durchaus als beispielhaft bezeichnet werden. Es zeigt, dass die Betroffenen diese Evaluation, die viel Zeit gekostet hat, soweit wie möglich nützen wollen, was den Grundstein einer modernen Management-Kultur bildet. Es wäre sinnvoll, wenn die Geschäftsstelle die Umsetzung des Maßnahmenkatalogs laufend überprüfen und die notwendigen Anpassungen vornehmen würde.

Die größte Schwierigkeit bei der Evaluation einer TA-Institution ist sicher die Evaluation der Wirkung: direkt messbar ist die Wirkung sicher nicht. Man kann höchstens indirekt den Ruf, die Anerkennung und die Glaubwürdigkeit bei verschiedenen Partner- und Zielgruppen untersuchen, z. B. bei Parlamentariern oder Bundeshaus-Journalisten. In Einzelfällen lässt sich zum Beispiel beweisen, dass ein TA-Projekt die parlamentarischen Beratungen über ein bestimmtes Gesetz beeinflussen konnte. Trotzdem lohnt es sich, diese Frage zu stellen und damit einen laufenden Prozess auszulösen, im Rahmen dessen regelmäßig der Zusammenhang zwischen Zielen, Methoden, Ressourcen und Ergebnissen hinterfragt wird. Die Bemühungen, die rund um diese Frage entfaltet werden, sind also wichtiger als die Antwort dazu, die es direkt gar nicht gibt.

7     Bilanz aus der Sicht der Evaluierten

Das Team von TA-SWISS hat in mehrfacher Hinsicht von der Durchführung der Evaluation profitiert. Zwar ist der dazu notwendige Arbeitsaufwand nicht zu unterschätzen. Neben der Bereitstellung all der Unterlagen für die Evaluierenden fällt vor allem die Erstellung des Selbstevaluationsberichtes ins Gewicht. Dennoch lohnte sich der Aufwand. Dadurch, dass der Evaluationsprozess im gleichen Jahr stattfand wie das zehnjährige Jubiläum von TA-SWISS (vgl. Rey 2002), konnten die Ergebnisse direkt in die neue Positionierung der Marke TA-SWISS einfließen. Die drei Leitwerte, welche sich für die weitere Arbeit von TA-SWISS als zentral herausgestellt haben, lauten: unabhängig, transparent und vorausschauend. Auch die neue Kurzbezeichnung TA-SWISS für das Zentrum für Technologiefolgen-Abschätzung geht auf Diskussionen im Zusammenhang mit der Standortbestimmung zurück.

Im Weiteren gab die Evaluation den Anstoß dazu, die bereits schriftlich festgehaltenen Abläufe und Strukturen neu zu überdenken und anzupassen. So wurden gewisse Abläufe in der Projektbegleitung optimiert. Diese Anpassungen haben ihren Niederschlag in der neu überarbeiteten Fassung eines Arbeitsdokuments zu Akteuren und Abläufen bei Projekten des Zentrums für Technologiefolgen-Abschätzung gefunden (ZTA 2002).

Zusammenfassend zieht die Geschäftsstelle u. a. die folgenden Lehren aus der Evaluation 2002: 

• Erstellen einer Mehrjahresplanung, die "rollend" an die jeweiligen definierten Arbeitsthemen und geplanten Aktivitäten angepasst wird. 
• Verfassen eines Leitbildes von TA-SWISS. 
• Weiteres Präzisieren der Aufgaben und Kompetenzen von Begleitgruppen zu laufenden Studien und von Trägerschaften bei Mitwirkungsverfahren. 
• Optimieren der Vorgehensweisen zur Auswahl und Formulierung von neuen Themen.

Für die Zukunft stellt sich für TA-SWISS vor allem die Frage: Welche strategische Neuausrichtung wollen die Verantwortlichen vornehmen? Dies schließt eine Reihe von verschiedenen strategischen Optionen mit ein. So müssen neue Gleichgewichte gefunden und Prioritäten gesetzt werden. Welchen Anteil sollen partizipative Methoden gegenüber den wissenschaftlichen Studien einnehmen? Eine weitere Entscheidung betrifft das Verhältnis von Investitionen in laufend neue Themen und der Aktualisierung und Kommunikation von bereits bearbeiteten Projekten. Aber auch das Verhältnis zwischen einem "technology-driven"-Ansatz und einem "problem-driven"-TA-Ansatz muss in Zukunft bei TA-SWISS vermehrt diskutiert und bei Bedarf angepasst werden. Schließlich wird eine zentrale Frage sein, wie viele Mittel TA-SWISS in Zukunft zur Verfügung stehen werden. Die Evaluation 2002 hat gezeigt, dass zusätzliche Ressourcen angesichts des gegenwärtigen Leistungsausweises an sich notwendig und gerechtfertigt wären. Sollten aber in den nächsten Jahren nicht mehr Mittel zur Verfügung stehen, so wird sich die Frage der Prioritätensetzung noch akzentuierter stellen als heute.

Literatur

Kowalski, E., 2002:
Technology Assessment. Suche nach Handlungsoptionen in der technischen Zivilisation. Zürich: vdf Hochschulverlag an der ETH

Rey, L., 2002:
TA-SWISS: Von Null auf Hundert - Zehn Jahre TA-tkraft in der Schweiz. In: Technikfolgenabschätzung - Theorie und Praxis Nr. 3/4, 11. Jg. November, S. 98-102

ZTA - Zentrum für Technologiefolgen-Abschätzung (Hrsg.), 2002:
Portrait de TA-SWISS. Acteurs et déroulement des projets du Centre d'évaluation des choix technologiques. Berne. Octobre 2002
( http://www.ta-swiss.ch/www-support/reportlists/arbeitsdokumente_d.htm) (die deutsche Version wird ab Frühjahr 2003 verfügbar sein)

ZTA - Zentrum für Technologiefolgen-Abschätzung und evaluanda (Hrsg.), 2003:
Rapport d'évaluation 2002. Document complet. Bern (enthält u. a. Selbstevaluationsbericht und Stellungnahme der Geschäftsstelle).

Dr. Sergio Bellucci, Geschäftsführer
TA-SWISS
Birkenweg 61, CH-3003 Bern
Tel.: +41 31 3229966
E-Mail: sergio.bellucci∂swtr.admin.ch
Internet: http://www.ta-swiss.ch

Sami Kanaan
evaluanda
Bureau d'études et d'évaluations
Rue Hugo-de-Senger 3, CH-1205 Genève
Tel.: +41 22 7051150
E-Mail: kanaan∂evaluanda.ch
Internet: http://www.evaluanda.ch