Wissenschaftsgeleitete Wirkungsreflexion – Evaluation und Reflexion der Handlungspraxis

In diesem Beitrag soll es darum gehen, welche Rolle Evaluation für die Weiterentwicklung von Studium und Lehre spielen kann. Evaluation ist fester Bestandteil der Qualitätssicherung (QS), der Qualitätsentwicklung (QE) und des Qualitätsmanagements (QM) an Hochschulen. Ausgehend von den Reformprozessen der 1990er und 2000er Jahre lag der Fokus des Diskurses lange Zeit auf einer Managerialisierung der Hochschulen (Stichwort Governance-Reformen) sowie einer Harmonisierung von Studienstrukturen (Stichwort Bologna). In der QS/QM-Praxis kommt Evaluation dabei die Funktion zu einerseits eine Datengrundlage für eine ‚evidenzbasierte Steuerung‘ bereitzustellen und andererseits Konformität mit Vorgaben zu signalisieren und damit Legitimation gegenüber (externen) Stakeholdern herzustellen (Ditzel 2022).

Allerdings verschiebt sich aktuell im hochschulpolitischen Diskurs der Fokus. Die Bedeutung gesellschaftlicher Transformationsprozesse, wie sie z. B. in Megatrends wie Globalisierung, Digitalisierung, Klimawandel, demographischer Wandel, Wissensgesellschaft etc. zum Ausdruck kommen (vgl. z. B. Petersen/Steiner 2019; Wissenschaftsrat 2015), rückt zunehmend in den Vordergrund. Die Gesellschaft steht vor grundlegenden Veränderungen. Es stellt sich die Frage, wie mit diesen Veränderungen umzugehen ist und wie gesellschaftliche Entwicklungen reflektiert und gestaltet werden können. Der Wissenschaftsrat (2022) schreibt den Hochschulen dabei eine wichtige gesellschaftliche Funktion zu.

Die sich daraus ergebenden Herausforderungen für die Hochschulen werden auf sehr unterschiedlichen Ebenen diskutiert. Unter dem Begriff der ‚Future Skills‘ (Ehlers 2020) wird der Frage nachgegangen, welche Kompetenzen erforderlich sind, um die vielfältigen Veränderungen der Lebens- und Arbeitswelt zu bewältigen und zu gestalten. Befördert durch die Corona-Pandemie hat die Auseinandersetzung mit der Frage nach einer Digitalisierung des Lehrens und Lernens (Hochschulforum Digitalisierung 2021) an Dynamik gewonnen. Zunehmend wird auch über eine Flexibilisierung und Individualisierung des Studierens nachgedacht (Müller et al. 2019). Deutlich wird: die Gestaltung von Studium und Lehre steht vor großen Veränderungen.

Durch die gesellschaftlichen Veränderungen wird die Lebens- und Arbeitswelt zunehmend komplexer, unsicherer, widersprüchlicher und dynamischer. Aus übergeordneter Perspektive stellt sich die Frage, wie eine ‚Hochschulbildung der Zukunft‘ (Wassmer et al. 2023) organisational gerahmt werden kann, welche Formen der Steuerung also zukünftig benötigt werden und welche Rolle Evaluation dabei spielen kann. Je stärker der gesellschaftliche Wandel und die sich daraus verändernden Anforderungen an und Rahmenbedingungen für Hochschulen in den Fokus rücken, umso prekärer werden bislang übliche Konzeptionen von Evaluation als Grundlage einer evidenzbasierten Steuerung oder der Legitimation gegenüber definierten Vorgaben. Denn die Zukunft wird als weitgehend bekannt und planbar angenommen.

Wenn durch dynamische Prozesse oder unvollständiges Wissen Lösungsstrategien im Sinne fundiert ausgearbeiteter Pläne nur noch bedingt ex-ante entwickelt werden können, ist ein Handlungsmodus erforderlich, bei dem einerseits pragmatisch unterschiedliche Problemlösungen entwickelt und ausprobiert werden, andererseits aber prozessbegleitend eine fortwährende (möglichst strukturell abgesicherte und wissenschaftlich fundierte) Reflexion der Effekte erfolgt. Anknüpfend an Überlegungen zum ‚agilen‘ Management geht es weniger um ein planbasiertes, sondern um ein empirisches, schrittweise vorantastendes Vorgehen (Korn 2016). Evaluation kann die dabei erforderliche Reflexionsfunktion übernehmen.

Ausgehend von diesem Problemaufriss wird der Blick auf Evaluation im Bereich von Studium und Lehre gerichtet. Dabei geht es um die Frage, welche Rolle Evalu-ation spielen kann und soll, um einen ernstzunehmenden Beitrag zum Umgang mit einer komplexen, unsicheren und dynamischen Welt zu leisten. In Abschnitt 2 wer-den ausgehend von Erkenntnissen einer Forschung über QM an Hochschulen An-forderungen an die Ausgestaltung von Evaluation herausgearbeitet. In den Abschnitten 3 und 4 wird die Reflexionsfunktion von Evaluation organisations- und managementtheoretisch untermauert. Aus dieser Analyse werden in Abschnitt 5 konzeptionelle Eckpunkte sowie in Abschnitt 6 konkrete Gestaltungsdimensionen für eine als wissenschaftsgeleitete Wirkungsreflexion verstandene QE abgeleitet. In Abschnitt 7 werden die wesentlichen Argumente dieses Beitrags noch einmal zu-sammengefasst und Implikationen zur Gestaltung von Evaluation abgeleitet.

Die Institutionalisierung von Praktiken der QS und des QM wird kontrovers diskutiert. Abgesehen von einer generellen Kritik an der Managerialisierung von Hochschulen richtet sich die Kritik insbesondere auf drei Gestaltungsaspekte:

Erstens wird darauf hingewiesen, dass durch eine Fokussierung auf Instrumente wie Akkreditierung und Quality Audit die Verarbeitung von Legitimationsansprüchen im Vordergrund steht (Newton 2002; Steinhardt et al. 2018). Seit Jahren wird gefordert, die beiden Zwecke der QS und QE besser auszubalancieren bzw. stärker auf QE zu setzen (Danø/Stensaker 2007). Im Zuge der Entwicklung dialogorientierter Evaluationsverfahren wie ‚Teaching Analysis Poll‘ gewinnt die Verwendung von Evaluationsergebnissen als Feedbackinstrument an Bedeutung. Offen bleibt allerdings, was mit Reflexion gemeint ist. Wozu braucht es Reflexion? Was heißt Reflexion konkret? Was und wie kann reflektiert werden? (vgl. Abschnitt 4).

Zweitens zeigen Studien, dass gerade eine auf QS gerichtete Evaluation von Lehrenden eher skeptisch beurteilt (Stensaker 2007, S. 106) und als weitgehend von der eigenen Handlungspraxis des Lehrens und Lernens entkoppelt wahrgenommen (Stensaker 2011) wird. Schon lange wird im praxisorientierten Diskurs eine ‚hochschuladäquate‘ (Nickel 2008) oder ‚wissenschaftsadäquate‘ (Pohlenz/Oppermann 2010) Ausgestaltung des QM propagiert. In empirischen Forschungsarbeiten wird eine solche Bezugnahme auf den wissenschaftlichen Handlungskontext als ‚Kontextsensibilität‘ (Ditzel/Suwalski 2016) oder ‚Kontextualisierung‘ (Ditzel 2017) herausgearbeitet. Diese drückt sich z. B. in einer möglichst dezentralen Verortung von Evaluationsmaßnahmen, in einer partizipativen Gestaltung von Evaluationsinstrumenten und -verfahren aus oder darin, stärker auf Feedback, Reflexion bzw. Lernen und weniger auf Kontrolle abzuzielen.

Drittens wird der QS- und QM-Praxis ein fehlender Forschungsbezug attestiert. Es wird gefordert, die Evaluationsinstrumente wissenschaftlich zu fundieren (Schmidt 2010) sowie QS/QE/QM mit Blick auf eine stärkere Kontextualisierung als inhärente Bestandteile des Wissenschaftsbetriebs zu verstehen (Ditzel 2017a). Ansätze der Forschungsorientierung finden sich in Diskursen zum ‚Institutional Research‘ (Howard et al. 2012; Taylor et al. 2013) und zur ‚theoriegeleiteten Evaluation‘ (Pohlenz/Nieder-meier 2012; Wachsmuth/Hense 2016). Auch im Bereich der Hochschuldidaktik zeigen sich mit dem ‚Scholarship of Teaching and Learning‘ (Huber 2014) oder mit dem ‚Design Based Research‘ (Reinmann 2017) Ansätze, die Lehrpraxis forschend zu begleiten bzw. hochschuldidaktische Forschungs- und Entwicklungspraxis stärker zu verknüpfen (Bosse et al. 2019). Empirischen Erhebungen kommt dabei die Aufgabe zu, nicht nur die Lehrpraxis zu reflektieren, sondern auch neues Wissen zum Ablauf von Lernprozessen und zur Wirkung der Lehrpraxis zu generieren.

Im nächsten Schritt stellt sich die Frage, wie sich eine Evaluation von Studium und Lehre, die eng auf die Handlungspraxis des Lehrens und Lernens bezogen, auf Entwicklung ausgerichtet und als eine forschende Praxis begriffen wird (vgl. Abschnitt 2), organisational rahmen lässt. Denn wie einleitend herausgearbeitet, stoßen die Legitimations- und die Steuerungsfunktion angesichts der Komplexität, Unsicherheit und Dynamik des gesellschaftlichen Kontextes an ihre Grenzen.

Die Auseinandersetzung mit der organisationalen Rahmung führt zur Frage nach der Organisationsform der Hochschule. Im Diskurs zur Managerialisierung der Hochschulen werden die Autonomie der Expert*innen, die lose Kopplung der Organisationseinheiten sowie das ‚eigentümliche‘ Entscheidungsverhalten als Defizitbeschreibungen gelesen, die es zu überwinden gilt. Hochschulen sind – so die Annahme – an das ‚Vorbild‘ von Wirtschaftsunternehmen anzugleichen. Im organisationssoziologischen Diskurs haben Arbeiten zu den Metaphern der ‚Expertenorganisation‘ (Mintzberg 1983; Pellert 1999), ‚lose gekoppelter Systeme‘ (Weick 1976) und ‚organisierter Anarchien‘ (Cohen et al. 1972) hingegen dazu beigetragen, ein Verständnis dafür zu entwickeln, wie Organisieren in einer komplexen, unsicheren und mehrdeutigen Welt funktionieren kann. Nachdem sich beide Positionen lange unversöhnlich gegenüberstanden, setzt sich zunehmend die Erkenntnis durch, dass es sich bei Hochschulen um ‚multiple hybrid organizations‘ (Kleimann 2018) handelt. Es geht also nicht um ein Entweder-oder, sondern um ein Sowohl-als-auch beider Positionen.

Angesichts dieser Erkenntnis erscheint es nicht mehr plausibel, die spezifische Operationsweise als per se zu überwindendes Problem, sondern als Teil der Lösung zu begreifen. Diese Betrachtungsweise geht mit einer Neubewertung des zugrunde liegenden Problems einher, auf das eine solche Steuerungskonzeption eine Antwort verspricht. Das Problem, vor dem Hochschulen stehen, ist dann nicht mehr primär darin zu sehen, im Sinne von Accountability Legitimität gegenüber gesellschaftlichen Anforderungen herzustellen. Auch geht es dann nicht mehr primär darum, im Sinne eines engen Verständnisses von evidenzbasierter Steuerung Ziele zu definieren, ‚objektive‘ Daten zur Beschreibung der Qualität zu erheben und basierend auf dem Abgleich von Soll und Ist Entscheidungen zu treffen. Vielmehr gewinnt das Bewältigen einer immer komplexer, unsicherer, widersprüchlicher und dynamischer werdenden Welt an Bedeutung.

Organisationssoziologische Arbeiten helfen zu verstehen, wie Organisation und Management unter diesen Vorzeichen interpretiert werden können. Sie sensibilisieren dafür, dass es sich bei einer Intervention in ein soziales System wie eine Organisation oder eine Gruppe von Individuen um ein komplexes Unterfangen handelt. Einer deterministischen Intervention von außen im Sinne von Fremdsteuerung sind enge Grenzen gesetzt. Von Außen kann (wenn überhaupt) irritiert werden. Das System bestimmt selbst – im Sinne seiner autopoietischen Operationsweise (Luhmann 2000) bzw. im Sinne sozialer und kognitiver Deutungsprozesse (Weick 1995) –, ob und wie es auf Impulse von außen reagiert.

Erkennt man dieses ‚Primat der Selbstorganisation‘ (Willke 1989, S. 91) sozialer Systeme an, so stellt sich die Frage, welche Formen der Fremdsteuerung überhaupt funktionieren können. An die Stelle hierarchischer Formen der Steuerung treten laterale. Mit dem Konzept einer ‚dezentralen Kontextsteuerung‘ weist Willke (1989) auf die Bedeutung hin, dezentrale Intelligenzen für die Steuerung der Organisation zu nutzen, gemeinsame Orientierungsrahmen in partizipativen Prozessen auszuhandeln sowie die Reflexionsfähigkeit der Organisation zu stärken. Die Reflexionsfähigkeit bestimmt darüber, wie sehr es gelingt, Impulse von außen wahrzunehmen und produktiv zu verarbeiten. Daran anschließend lässt sich eine wesentliche Funktion von Evaluation darin sehen, Reflexions- und Lernprozesse zu fördern (Ditzel 2015).

Wenn die Reflexionsfähigkeit von derart hoher Bedeutung ist, stellt sich weiter die Frage, worauf sie sich beziehen kann bzw. soll. In klassischen Vorstellungen von Management geht es bei Reflexion um die Gegenüberstellung von Planung und Umsetzung bzw. von Soll und Ist. Mit Pietsch und Scherm (2004) lässt sich von ‚abweichungsorientierter Reflexion‘, mit Argyris und Schön (2018, S. 35ff.) von ‚Einschleifen-Lernen‘ sprechen. Reflexion bewegt sich dabei innerhalb existierender (und unhinterfragter) Denk- und Handlungsrahmen (Reinbacher 2015, S. 3), wie sie explizit in Zielen und Standards oder implizit in Werthaltungen verankert sind.

Eine andere Ebene wird durch eine ‚perspektivenorientierte Reflexion‘ bzw. ein ‚Zweischleifen-Lernen‘ adressiert. Hierbei geht es darum, die zugrundeliegenden handlungsleitenden Orientierungen, die ‚theories-in-use‘ (Argyris/Schön 2018), also die der Handlungspraxis zugrundeliegenden Zielvorstellungen, Konzepte, Denkmodelle oder Wirkannahmen zu hinterfragen. Es geht um ein Innehalten, um „die Aufmerksamkeit auf einen alternativen Bearbeitungsmodus zu lenken“ (Asselmeyer 2017, S. 128).

Ausgehend von Überlegungen zur ‚lernenden Organisation‘ (Argyris/Schön 2018; Senge 1990) kann Reflexion auf diese Weise zu einem für alle Akteure leitenden Hand-lungsmodus werden, der sie – ob Lehrende, Studierende, Akteure der zentralen und dezentralen Leitung oder unterstützender Aufgabenbereiche wie QM, Hochschuldidaktik, Studienberatung etc. – auf ihrem Weg hin zu ‚reflective practitioners‘ (Schön 1983) begleitet. Die Handelnden werden in die Lage versetzt, ihre eigene Praxis und die ihr zugrundeliegenden ‚theories-in-use‘ kritisch zu hinterfragen und weiterzuentwickeln. Reflexion wird als Momentum einer wissenschaftsadäquaten Managementpraxis nicht in Aktivitäten der QS oder QE ausgelagert, sondern als integraler Bestandteil der Handlungspraxis verstanden.

Die in den vorherigen Abschnitten herausgearbeiteten Erkenntnisse werden im Konzept einer wissenschaftsgeleiteten Wirkungsreflexion zusammengeführt (vgl. auch Ditzel 2019, 2020, 2023). Die Basis dafür bildet die Idee einer reflektierten Praxis bzw. eine Konzeptualisierung der Handelnden als reflektierende Praktiker*innen. In Weiterentwicklung des Konzepts einer lernenden Organisation und basierend auf einer grundlegenden Bezugnahme auf die spezifische Organisationsform von Hochschulen und den wissenschaftlichen Modus Operandi wird vorgeschlagen, diese Reflexion der Praxis als eine wissenschaftsgeleitete Reflexion zu begreifen. Das Profilmerkmal eines reflektierten und fundierten Umgangs mit Wissen, wie er an Hochschulen bislang primär für den Bereich der Forschung bedeutsam ist, lässt sich konsequent auf alle Leistungs- und Handlungsbereiche anwenden.

Während Kontrolle in klassischen Vorstellungen von Steuerung/Management/QM – verstanden als abweichungsorientierte Reflexion bzw. als Einschleifen-Lernen eng auf eine ex-ante Planung bezogen und als hierarchisches Instrument konzeptualisiert wird, rückt angesichts der eingeschränkten Planbarkeit/Determinierbarkeit sozialer Interaktionsprozesse Reflexion als Momentum von Management in den Fokus (Ditzel 2022, S. 89ff.). Eine solche Reflexion bezieht sich nicht nur auf einen Soll-Ist-Abgleich, sondern im Sinne einer perspektivenorientierten Reflexion bzw. eines Zweischleifen-Lernens auch oder gerade auf das Hinterfragen der theories-in-use.

Um die Selbstorganisation der Handelnden anzuerkennen und die Selbstreflexionsfähigkeit zu fördern, stellt sich eine das eigene Denken und Handeln hinterfragende Haltung nicht als etwas von der Handlungspraxis in QS/QM/QE-Prozessen entkoppelt, sondern in die lokale Handlungspraxis integriert dar. Evaluation und Reflexion sind demzufolge nicht als Aufgaben von spezialisiertem Personal für QS, QE, QM zu begreifen, sondern als Aufgabe jeder/jedes Einzelnen. Spezialisiertem Personal kommt eine wichtige Unterstützungsfunktion zu, aber weniger in Form des Entwickelns, Durchführens und Auswertens von Erhebungen, als vielmehr des methodischen Begleitens im Sinne einer ‚Hilfe zur Selbsthilfe‘.

In Erweiterung des Konzepts des ‚Scholarship of Teaching and Learning‘ können sich Prozesse des reflexiven Lernens auf unterschiedliche Akteurskonstellationen und Betrachtungsebenen beziehen: Studierende reflektieren ihr Lernen; Lehrende reflektieren ihren Beitrag zum Lernen der Studierenden; Forschende reflektieren ihren Beitrag zum Erkenntnisgewinn für die Gesellschaft; die Organisation oder speziell eine QM- und hochschuldidaktische Praxis reflektieren ihren Beitrag zur Gestaltung förderlicher Rahmenbedingungen (was sich auf den Bereich von Studium und Lehre beziehen kann, aber nicht darauf beschränkt sein muss).

Mit dem Konzept einer wissenschaftsgeleiteten Wirkungsreflexion geht es nicht nur um Reflexion, sondern um einen grundlegenden Forschungs- bzw. Wissenschaftsbezug. Im Sinne des wissenschaftlichen Modus Operandi bedient sich die Hochschule dabei selbst wissenschaftlicher Theorien, Methoden, Denkweisen und empirischer Erkenntnisse als Ausgangspunkt zur Gestaltung, Reflexion und Weiterentwicklung von Studium und Lehre. Eine derartig gerahmte Evaluationspraxis bezieht sich auf das Verstehen komplexer Handlungskonstellationen und Wirkzusammenhänge, auf das Reflektieren von Denk- und Handlungsweisen sowie auf das Gestalten von Handlungs- und Lernkonstellationen.

Die Forschungs- und Wissenschaftsorientierung der Evaluationspraxis drückt sich darin aus, dass nicht nur die Gestaltung der Handlungspraxis, sondern auch deren Evaluation und Reflexion auf der Grundlage wissenschaftlicher Theorien, Methoden und Prinzipien erfolgt und selbst als eine forschende Praxis verstanden wird. Ein solcher auf Evaluation und Reflexion gerichteter Teil der QE lässt sich auch als ‚wissenschaftsgeleitete Wirkungsreflexion‘ bezeichnen. Mit dem Begriff der Wirkungsreflexion wird hervorgehoben, dass es um eine Reflexion des komplexen Wirkgeschehens (im Bereich Studium und Lehre) geht.

Eine derart auf Evaluation basierende Wirkungsreflexion lässt sich entlang folgender Gestaltungsmerkmale beschreiben:

Erstens richtet sich das Erkenntnisinteresse einer wissenschaftsgeleiteten Wirkungsreflexion auf die Wirkung, Wirkungsweise und Wirksamkeit von Interventionen in das Interaktionsgeschehen im Bereich Studium und Lehre. Es wird  gefragt, welche Effekte das Handeln hervorbringen soll und hervorbringt (Wirkung), wie Maßnahmen oder Handlungskonstellationen wirken (Wirkungsweise) und inwiefern zuvor definierte Ziele erreicht werden (Wirksamkeit).

Zweitens stellt eine wissenschaftlich fundierte Evaluation ein wichtiges Instrument einer derartigen Wirkungsreflexion dar. In Abgrenzung zu mitunter recht pragmatischen Evaluationsverfahren der QM-Praxis richtet sich ein wissenschaftlicher Anspruch auf den gesamten Prozess des Auswählens des Evaluationsobjekts, des Definierens der zu beantwortenden Fragen, des Identifizierens zugrundeliegender Bewertungskriterien sowie des Auswählens geeigneter Methoden der Datenerhebung und -auswertung (Balzer/Beywl 2018). Die Konzeption von Evaluation wird konsequent vom Ende her gedacht: Von wem, wozu und in welcher Form sollen die Evaluationsergebnisse genutzt werden?

Was die Ziele einer derartigen Evaluation angeht, stehen drittens anknüpfend an die in der Evaluations- und Wirkungsforschung diskutierten Verwendungszwecke (Kromrey 2001) entwicklungs- und forschungsgeleitete Erkenntnisinteressen im Vordergrund. Diese sind nicht nur darauf gerichtet, die Wirksamkeit von Maßnahmen im Sinne einer Leistungsbewertung einzuschätzen und zum Ausgangspunkt für Entscheidungen zu machen, sondern auch die komplexe Wirkungsweise von Prozessen und Maßnahmen zu verstehen. Dieses Erkenntnisinteresse kann sich auf die Identifikation handlungspraktischer Verbesserungspotentiale (entwicklungsorientiert) oder auf das Verstehen komplexer Wirkgeschehen (forschungsorientiert) richten.

Viertens kommt qualitativen Methoden eine besondere Bedeutung zu. Denn einerseits ermöglichen sie es, die Evaluationsobjekte aus unterschiedlichen Perspektiven und insbesondere aus der Perspektive der Adressat*innen in den Blick zu nehmen. Andererseits wird es insbesondere durch eine ‚dokumentarische Evaluationsforschung‘ (Bohnsack/Nentwig-Gesemann 2020) möglich, implizite Orientierungen, Wirkannahmen bzw. ‚theories-in-use‘ zu explizieren und damit überhaupt erst einer (kritischen) Reflexion zugänglich zu machen.

Fünftens geht es nicht nur um einen erkenntnisgetriebenen Blick auf das Handlungsgeschehen und seine Wirkzusammenhänge, sondern auch um einen fragenden Umgang mit den über Befragungsinstrumente und quantitative Leistungsindikatoren bereitgestellten Daten (Ditzel 2020). Daten zum Lehr- und Lerngeschehen dienen weniger als Referenzpunkt einer (objektiven) Leistungsbewertung, sondern als Ausgangspunkt für die Auseinandersetzung mit spezifischen Erkenntnisinteressen im Hinblick auf eine konkrete Weiterentwicklung des Lehrens und Lernens sowie deren Rahmenbedingungen. Daten sind immer vor dem Hintergrund ihres spezifischen Kontexts zu interpretieren; sie liefern nicht per se eine von der Beobachtungsperspektive unabhängige Leistungsbewertung.

Sechstens geht das Primat der Selbstorganisation und die damit verbundene Bezug-nahme auf die lokale Handlungspraxis mit einer veränderten Rolle der Handelnden einher. Die Initiative zu einer methodisch geleiteten Reflexion der Handlungspraxis sollte primär von den lokal Handelnden ausgehen. Damit hängt ein verändertes Rollenverständnis bezogen auf die Evaluierenden zusammen. Sie sind nicht primär Kontrollierende oder Dienstleistende für die Bereitstellung von Daten. In erster Linie geht es darum, Reflexionsprozesse (methodisch fundiert) zu begleiten.

Ausgangspunkt für die Frage nach einer wissenschaftsadäquaten Evaluation als Gegenstand des vorliegenden Beitrags war eine stärkere Hinwendung zur Komplexität, Mehrdeutigkeit und Dynamik, wie sie mit einer Hochschulbildung der Zukunft einhergehen, bei der die bereits zu beobachtenden und noch zu erwartenden gesellschaftlichen Transformationsprozesse in das Zentrum der Aufmerksamkeit rücken. Eine erste aus der Forschungsliteratur zu QM an Hochschulen abgeleitete These besteht darin, dass eine auf Legitimation, QS und evidenzbasierte Steuerung gerichtete QM-Praxis angesichts einer komplexer, vielfältiger, dynamischer und wider-sprüchlicher werdenden Welt an ihre Grenzen stößt.

Eine zweite These, der in diesem Beitrag nachgegangen wurde, besteht darin, dass sich – anknüpfend an theoretische Diskurse zur spezifischen Organisation sowie zur lernenden Organisation – Reflexion einerseits und Forschungsorientierung andererseits als wesentliche Gestaltungselemente einer wissenschaftsadäquaten QM-Praxis verstehen lassen. Im Konzept einer wissenschaftsgeleiteten Wirkungsreflexion, wie es im vorliegenden Beitrag vorgestellt wurde, werden diese beiden Elemente der Reflexion und Forschungsorientierung eng miteinander verwoben. Auf diese Weise lassen sich Evaluation, Reflexion und QE selbst als eine forschende Praxis verstehen. Diese nimmt nicht nur Bezug auf wissenschaftliche Theorien, Methoden, Denkweisen und Werte. Vielmehr soll eine entwicklungs- und forschungsorientierte Evaluationspraxis einen Beitrag dazu leisten, etablierte Ziele, Standards, aber auch Denk- und Handlungsweisen zu hinterfragen sowie neues Wissen zum komplexen Interaktionsgeschehen im Bereich Studium und Lehre zu generieren.

Neu am Konzept einer wissenschaftsgeleiteten Wirkungsreflexion ist weniger der Wissenschaftsbezug per se, als vielmehr seine Radikalität, bei der QM als eine forschende Praxis verstanden wird. Es geht nicht nur um wissenschaftlich fundierte Instrumente, sondern um eine Integration einer fragenden, auf empirischen und theoretischen Arbeiten aufbauenden Haltung in die Handlungspraxis – und damit auch um eine ‚Demokratisierung‘ der QM-Praxis. Auf diese Weise lässt sich QM von den privatwirtschaftlichen Wurzeln emanzipieren; das vorgestellte Konzept will einen Beitrag dazu leisten, zu genuin akademischen Formen der QE zu finden.

Die in den Abschnitten 5 und 6 skizzierten konzeptionellen Eckpunkte und handlungspraktischen Gestaltungsdimensionen einer wissenschaftsgeleiteten Wirkungsreflexion sollen abschließend noch einmal weiter konkretisiert werden:

Erstens existieren vielfältige Möglichkeiten, wie Verfahren der Evaluation als In-strumente für eine in die Handlungspraxis integrierte Reflexion eingesetzt werden können. Evaluation kann sich auf unterschiedliche Gegenstandsbereiche beziehen – z. B. (Teil-)Projekte, Lehrveranstaltungen, Studiengänge, Angebote wie das Neuberufenenprogramm ^[1] oder hochschulweite Verfahren wie das der internen Akkreditierung. Auch können unterschiedliche Formen und Formate der Evaluation zum Einsatz kommen wie standardisierte Umfragen, qualitative Interviews, selbstläufige Gruppendiskussionen oder die Auswertung quantitativer Daten. Eine standardisierte Befragung ist folglich nicht die einzig denkbare Form der Evaluation.

Zweitens sind neben diesen Evaluationsinstrumenten, mit denen eine Fremdsicht auf die zu evaluierenden Gegenstandsbereiche erfolgt, Momente der Selbstreflexion von Bedeutung. Damit wird es möglich, sich die Ziele, Wirkannahmen und Kontextbedingungen des eigenen Handelns zu vergegenwärtigen und zu hinterfragen. Seine eigene Handlungspraxis zu evaluieren, muss also nicht nur bedeuten, Befragungen oder anderen Formen der Fremdreflexion durchzuführen; Evaluation kann auch bedeuten, die eigenen Denk- und Handlungsweisen selbstkritisch zu hinterfragen.

Drittens erscheint es wichtig, in der Fremd- wie auch der Selbstreflexion möglichst auf die Ebene von Handlungstheorien im Sinne einer perspektivenorientierten Reflexion oder des Zweischleifen-Lernens vorzudringen. Wirkungsreflexion bezieht sich gerade auch darauf, die (meist impliziten) Wirkannahmen zu explizieren und einer kritischen Reflexion zugänglich zu machen.

Und viertens ist es im Sinne des Primats der Selbstorganisation von Bedeutung, Evaluation nicht für sondern mit den Handelnden zu planen, zu entwickeln, durchzuführen und auszuwerten. Für die Handelnden bedeutet das, selbst die Initiative zur Reflexion des eigenen Tuns zu ergreifen. Für Evaluationsexpert*innen bedeutet es, die eigene Aufgabe eher im Begleiten von Evaluationsvorhaben zu sehen und weniger darin, Daten zu erheben, auszuwerten und Maßnahmen anzumahnen.
Die in diesem Beitrag skizzierten Eckpunkte einer wissenschaftsgeleiteten Wirkungsreflexion bilden den konzeptionellen Rahmen für Evaluation und Wirkungsreflexion im Projekt KOMWEID. Neben der Anwendung des Konzepts auf das Projekt selbst im Sinne einer projektbegleitenden Wirkungsreflexion einzelner Handlungsfelder bzw. einer wirkungsorientierten Projektgestaltung und -steuerung stehen für Interessierte unterschiedliche Angebote bereit:

• Wer sich für eine Evaluation des eigenen Projekts, der eigenen Lehrveranstaltung oder allgemein seiner Handlungspraxis interessiert, bei der jenseits standardisierter Erhebungen Aspekte wie Selbst- und Fremdreflexion und/oder das Hinterfragen von Wirkannahmen/Handlungstheorien eine Rolle spielen, kann sich an den Arbeitsbereich Wirkungsreflexion des Projekts KOMWEID wenden, konkret an Benjamin Ditzel, benjamin.ditzel (at) haw-hamburg (dot) de.
•  Außerdem steht für Interessierte, die ihre eigene Handlungspraxis eigenständig evaluieren und reflektieren möchten, ein Online-Lernraum zur Verfügung, der darauf ausgerichtet ist, in allen für eine systematische Evaluation relevanten Phasen Unterstützung zu geben.

Das Angebot der Wirkungsreflexion versteht sich nicht als Konkurrenz, sondern als Ergänzung zu an der HAW Hamburg etablierten Verfahren der Evaluation.

1. Das Neuberufenen Programm der HAW Hamburg ist ein für neuberufene Professor*innen verpflichtendes Programm methodisch-didaktischer Weiterbildungen, vgl. www.haw-ham-burg.de/hochschule/hochschuleinheiten/arbeitsstelle-studium-und-didaktik/asd-neu/neuberufenenprogramm.

Argyris, C.; Schön, D. A. (2018): Die lernende Organisation. Grundlagen, Methode, Praxis. Stuttgart: Schäffer-Paeschel Verlag.
Asselmeyer, H. (2017): Projektmanagement zukünftigen Typs. In: Roehl, H. et. al. (Hrsg.): Organisationen klug gestalten: Das Handbuch für Organisationsentwicklung und Change Management. Stuttgart: Schäffer-Poeschel Verlag, S. 128–141.
Balzer, L.; Beywl, W. (2018): evaluiert: erweitertes Planungsbuch für Evaluationen im Bildungsbereich. Bern: hep verlag.
Bohnsack, R.; Nentwig-Gesemann, I. (Hrsg.) (2020): Dokumentarische Evaluationsfor-schung: Theoretische Grundlagen und Beispiele aus der Praxis: Verlag Barbara Budrich.
Bosse, E.; Ditzel, B.; Gaebert, D.-K.; Herzog, M. (2019): Prozessmodell für die Theo-rie-Praxis-Interaktion in der Bildungsforschung. In: Buchholtz, N. et. al. (Hrsg.): Praxistransfer in der tertiären Bildungsforschung: Modelle, Gelingensbedingungen und Nachhaltigkeit. Hamburg: Hamburg University Press, S. 51–58.
Cohen, M. D.; March, J. G.; Olsen, J. P. (1972): A Garbage Can Model of Organizational Choice. In: Administrative Science Quarterly 17, 1972, 1, S. 1–25.
Danø, T.; Stensaker, B. (2007): Still Balancing Improvement and Accountability? Developments in External Quality Assurance in the Nordic Countries 1996-2006. In: Quality in Higher Education 13, 2007, 1, S. 81–93.
Ditzel, B. (2015): Qualitätsmanagement als Kontextsteuerung: Überlegungen zu den Möglichkeiten und Grenzen steuerungsbezogener Interventionen. In: Vettori, O. et. al. (Hrsg.): Eine Frage der Wirksamkeit? Qualitätsmanagement als Impuls-geber für Veränderungen an Hochschulen. Bielefeld: UniversitätsVerlagWebler, S. 19–38.
Ditzel, B. (2017): Bedingte Wirksamkeit von QM in Studium und Lehre: Ergeb-nisse einer Delphi-Studie. In: Zeitschrift für Hochschulentwicklung 12, 2017, 3, 17-37.
Ditzel, B. (2019): Forschungsgeleitete Steuerung der Qualität von Studium und Lehre – eine wissensbasierte Form zur Integration divergierender Handlungs- und Steuerungslogiken? In: Gottinger, M. et. al. (Hrsg.): 5. Internationale Tagung für Qualitätsmanagement und Qualitätsentwicklung im Hochschulbereich: Qualitäts- und Wissensmanagement an Hochschulen – zwei Perspektiven? Graz: Verlag der TU Graz, 111-130.
Ditzel, B. (2020): Umgang mit Daten zur Qualität von Studium und Lehre zwi-schen Leistungsbewertung und Erkenntnisinteresse. Eckpunkte einer wissenschaftsgeleiteten Qualitätsentwicklung. In: Pohlenz, P. et. al. (Hrsg.): Qualitätssicherung im Student Life Cycle. Münster: Waxmann, 227-242.
Ditzel, B. (2022): Paradigmen und Paradoxien des Qualitätsmanagements an Hochschulen. Ein theoretisch informierter Blick hinter die Kulissen formaler Implementierung. In: Reinbacher, P. (Hrsg.): Qualität und Qualitätsmanagement im Universitäts- und Hochschulbetrieb: Paradoxien, Probleme, Perspektiven. Weinheim: Beltz Juventa, 57–108.
Ditzel, B. (2023): Wissenschaftsgeleitete Wirkungsreflexion – Ansätze der Qualitätsentwicklung für eine Hochschulbildung der Zukunft. In: Zeitschrift für Hochschulentwicklung 18, 2023, 3, 63–91.
Ditzel, B.; Suwalski, P. (2016): Kontextsensible Interventionsstrategien im Umgang mit unterschiedlichen Perspektiven auf die Qualität von Studium und Lehre. In: Hofer, M. et. al. (Hrsg.): Qualitätsmanagement im Spannungsfeld zwischen Kompetenzmessung und Kompetenzentwicklung. Bielefeld: UniversitätsVerlagWebler, S. 27–52.
Ehlers, U.-D. (2020): Future Skills. Lernen der Zukunft - Hochschule der Zukunft. Wiesbaden/Heidelberg: Springer VS.
Hochschulforum Digitalisierung (2021): Digitalisierung in Studium und Lehre gemeinsam gestalten. Innovative Formate, Strategien und Netzwerke. Wiesbaden: Springer VS.
Howard, R. D.; McLaughlin, G. W.; Knight, W. E. (Hrsg.) (2012): The Handbook of Institutional Research. Hoboken: John Wiley & Sons.
Huber, L. (2014): Scholarship of Teaching and Learning. Konzept, Geschichte, Formen, Entwicklungsaufgaben. In: Huber, L. et. al. (Hrsg.): Forschendes Lehren im eigenen Fach. Scholarship of Teaching and Learning in Beispielen. Bielefeld: Bertelsmann, S. 19–36.
Kleimann, B. (2018): (German) Universities as multiple hybrid organizations. In: Higher Education 77, 2018, S. 1085–1102.
Korn, H.-P. (2016): Erfolgreiche Führung war immer schon agil! In: Geramanis, O. et. al. (Hrsg.): Führen in ungewissen Zeiten. Wiesbaden: Springer Fachmedien Wiesbaden, S. 115–139.
Kromrey, H. (2001): Evaluation ‐ ein vielschichtiges Konzept. Begriff und Methodik von Evaluierung und Evaluationsforschung. Empfehlungen für die Praxis. In: Sozialwissenschaften und Berufspraxis 24, 2001, 2, S. 105–132.
Luhmann, N. (2000): Organisation und Entscheidung: VS Verlag für Sozialwissenschaften.
Mintzberg, H. (1983): Structure in Fives: Designing Effective Organizations. Engle-wood Cliffs/New Jersey: Prentice Hall International.
Müller, C.; Barthelmess, P.; Berger, C.; Kucza, G.; Müller, M.; Sieber, P. (2019): Editorial: Flexibles Lernen an Hochschulen gestalten. In: Zeitschrift für Hochschulentwicklung 14, 2019, 3, S. 9–17.
Newton, J. (2002): Views from Below: Academics coping with quality. In: Quality in Higher Education 8, 2002, 1, S. 39–61.
Nickel, S. (2008): Qualitätsmanagementsysteme an Universitäten und Fachhochschulen. Ein kritischer Überblick. In: Beiträge zur Hochschulforschung 30, 2008, 1, S. 16–39.
Pellert, A. (1999): Die Universität als Organisation. Die Kunst, Experten zu managen. Wien, Graz: Böhlau.
Petersen, T.; Steiner, F. (2019): Megatrend-Report #01: The Bigger Picture Megatrend-Report #01: The Bigger Picture. Wie Globalisierung, Digitalisierung und demografischer Wandel uns herausfordern. Gütersloh: Bertelsmann Stiftung.
Pietsch, G.; Scherm, E. (2004): Reflexionsorientiertes Controlling. In: Scherm, E. et. al. (Hrsg.): Controlling. Theorien und Konzeptionen. München: Vahlen, S. 529–553.
Pohlenz, P.; Niedermeier, F. (2012): Wirkungsorientierte Evaluation von Lehre und Studium. In: Qualität in der Wissenschaft 6, 2012, 1, S. 9–13.
Pohlenz, P.; Oppermann, A. (Hrsg.) (2010): Lehre und Studium professionell evaluieren: Wie viel Wissenschaft braucht die Evaluation? Bielefeld: Universitätsverlag Webler.
Reinbacher, P. (2015): Grundsätze ordnungsmäßiger Organisation: Qualitätsmanagement als Schaf im Wolfspelz? In: Hochschulmanagement 10, 2015, 1+2, S. 2–9.
Reinmann, G. (2017): Design-based Research. In: Schemme, D. et. al. (Hrsg.): Ge-staltungsorientierte Forschung ‐ Basis für soziale Innovationen Erprobte Ansätze im Zusammenwirken von Wissenschaft und Praxis. Bielefeld: Bertelsmann, S. 49–61.
Schön, D. A. (1983): The reflective practitioner. How professionals think in action. New York: Basic Books.
Senge, P. M. (1990): The Fifth Discipline. The Art and Practice of the Learning Organization. New York: Doubleday.
Steinhardt, I.; Schneijderberg, C.; Götze, N.; Baumann, J.; Krücken, G. (2018): Externe und interne Qualitätssicherung von Studium und Lehre durch Akkreditierungs- und Evaluationsverfahren. Ergebnisbericht. Kassel: International Centre for Higher Education Research Kassel.
Stensaker, B. (2007): Quality as Fashion. Exploring the Translation of a Management Idea into Higher Education. In: Westerheijden, D. F. et. al. (Hrsg.): Quality Assurance in Higher Education: Trends in Regulation, Translation and Transformation: Springer, S. 99–118.
Stensaker, B. (2011): Accreditation of higher education in Europe ‐ moving towards the US model? In: Journal of Education Policy 26, 2011, 6, S. 757–769.
Taylor, J.; Hanlon, M.; Yorke, M. (2013): The Evolution and Practice of Institutional Research. In: New Directions for Institutional Research, 2013, 157, S. 59–75.
Wachsmuth, E.; Hense, J. (2016): Wirkmodelle zur Unterstützung der Evaluation komplexer Hochschulprojekte. In: Qualität in der Wissenschaft 10, 2016, 3-4, S. 80–87.
Wassmer, C.; Probst, C.; Sommer, K.; Wilhelm, E. (2023): Editorial: Hochschulbildung der Zukunft – Ein Resultat von Ausdifferenzierungsprozessen. In: Zeitschrift für Hochschulentwicklung 18, 2023, 3, S. 9–21.
Weick, K. E. (1976): Educational Organizations as Loosely Coupled Systems. In: Administrative Science Quarterly 21, 1976, 1, S. 1–19.
Weick, K. E. (1995): Sensemaking in Organizations. Thousand Oaks: Sage.
Willke, H. (1989): Controlling als Kontextsteuerung ‐ zum Problem dezentralen Entscheidens in vernetzten Organisationen. In: Eschenbach, R. (Hrsg.): Super-controlling: vernetzt denken, zielgerichtet entscheiden: Tagungsbericht Österreichischer Controllertag, 10.-11. November 1989. Wien: Fachverlag an der Wirt-schaftsuniversität Wien, S. 63–96.
Wissenschaftsrat (2015): Zum wissenschaftspolitischen Diskurs über Große gesellschaftliche Herausforderungen. Positionspapier. Stuttgart.
Wissenschaftsrat (2022): Empfehlungen für eine zukunftsfähige Ausgestaltung von Studium und Lehre. Köln.