Wahrnehmungs- und Beurteilungsfehler im Beobachtungsprozess
Alle AC-Profile kennen die klassischen Wahrnehmungs- und Beurteilungsfehler: Halo-Effekt, Reihenfolge-Effekte… In Beobachtertrainings werden diese meist erläutert und im Glauben an den guten Menschen damit die Hoffnung verbunden, dass die Beobachter nunmehr differenzierter vorgehen. Doch kann mit solchen Appellen das Menschenbild von Beobachtern beeinflusst werden? Damit stellt sich auch die Frage nach dem Nutzen des Beobachtertrainings überhaupt.
Das Beobachtertraining – eine Qualitätsanforderung an das AC
Die Rolle des Beobachters lebt aus der Sicht der AC-Konstrukteure aus einem Spannungsfeld. Einerseits ist der Einsatz von Beobachtern nur sinnvoll, wenn man ihnen ihre Erfahrungen und die Individualität ihrer Wahrnehmung belässt. Andererseits sind viele der oben beschriebenen verzerrenden Wahrnehmungsfehler nicht tolerierbar. Die Durchführung eines Beobachtertrainings ist eine der Qualitätsanforderungen des Arbeitskreises AC e.V. Ziele eines Beobachtertrainings sind auf der einen Seite ein „vertraut machen“ der Beobachter mit den eingesetzten Übungen und Beobachtungssystemen, zum anderen die Sensibilisierung hinsichtlich typischer Wahrnehmungsfehler.
Kein empirischer Nachweis des Nutzens
Die wichtigste Untersuchung zum Thema ist nach wie vor die Metaanalyse zum AC von Gaugler, Rosenthal, Thornton & Bentson (1987). Darin werden ACs mit und ohne Beobachtertrainings im Hinblick auf Kennziffern der externen Validität verglichen. Ergebnis: ACs mit Beobachtertraining erweisen sich keinesfalls als überlegen gegenüber ACs ohne spezielles Beobachtertraining. Allerdings: Was ist ein Beobachtertraining? Hinter dem Begriff eines Beobachtertrainings dürften sich auch sehr unterschiedliche Qualitäten verbergen, wie auch an den zitierten Untersuchungen deutlich wird. Das Mitlaufen in einem AC oder die faktenorientierte Erläuterung der Übungsinhalte dürfte wenig Einfluss auf die Beobachterqualität besitzen.
Beobachtertrainings als Informationsveranstaltung bringen wenig
Häufige Bestandteile von Beobachtertrainings sind das Durchspielen von AC-Übungen und die mündliche Erläuterung der klassischen Wahrnehmungseffekte (Halo-Effekt etc.). In der Erhebung zum Praxisstand der amerikanischen ACs (Spychalski et al., 1997) geben 87,7 % der Organisationen an, dass ihr Beobachtertraining dieses Modul enthält. Spezielle Studien aus der umfangreicheren Forschung zu Beurteiler- und Performance-Management-Systemen ergeben jedoch, dass die Schulung von Beurteilern in typischen solcher Fehler keine Effekte in der Beurteilungsgenauigkeit erbringt (Woehr & Huffcutt, 1994; Goodstone & Lopez, 2001).
Daher weist die bisherige Datenlage zusammenfassend darauf hin, dass Beobachtertrainings, die eher Informationsveranstaltungen darstellen, wenig Nutzen bringen. Lernen bedeutet ja bekanntermaßen dauerhafte Einstellungs- und Verhaltensänderung. Daher sollten Bestandteile eines Beobachtertrainings auch Elemente sein, die beim Beobachter tatsächlich Einfluss auf den Prozess der Beobachtung nehmen: Beobachtungsfähigkeit nach Anforderungen entwickeln oder Differenzierbarkeit zwischen Dimensionen verbessern.
Optimiertes Beobachtertraining
In Anbetracht der oben aufgeführten wissenschaftlichen Erkenntnisse schlagen wir ein optimiertes Beobachtertraining vor, das über Appelle hinausgeht. Der einzelne Beobachter soll Lernimpulse erhalten. Kernpunkt ist der Abgleich mit einem Benchmark oder Expertenurteil. „Experten“ in diesem Sinn sind entweder der (interne) Auftraggeber, der die Zielkultur festlegt, oder die AC-Profis aus der Personalabteilung.
Das Video- und computergestützte Beobachtertraining in vier Schritten
Um das optimierte Beobachtertraining zu erstellen und durchzuführen, gehen wir in vier Schritten vor: Im ersten Schritt werden die wichtigsten Übungen des Assessment-Centers professionell auf Video aufgezeichnet. Im zweiten Schritt wird das differenzierte Expertenurteil gemeinsam mit Personalabteilung und Führungskräften erstellt. In der Beobachterschulung wird das Video präsentiert, und die Beobachter bewerten das gesehene Verhalten. Im vierten Schritt erfolgt dann der Abgleich von Beobachter- und Expertenurteil, sowie die Reflexion der eigenen Beurteilungstendenzen.
Schritt 1: Professionelles Aufzeichnen der wichtigsten Übungen auf Video
Im ersten Schritt werden die zentralen Übungen professionell aufgezeichnet. Dabei wird nicht die perfekte Lösung, sondern ein mögliches Verhalten präsentiert, das zwischen den Dimensionen und auch innerhalb der Verhaltensanker variiert. Dadurch wird ein häufiger Wahrnehmungsfehler, der sogenannte Halo-Effekt, deutlich sichtbar. Der Halo-Effekt oder Überstrahlungseffekt beschreibt, wie eine grundsätzlich positive oder negative Beurteilung einer Person implizit auf die Bewertung anderer Eigenschaften und Merkmale Einfluss nimmt.
Schritt 2: Erstellung einer differenzierten Expertenbewertung
Im zweiten Schritt werden die aufgezeichneten Simulationen anhand der Beobachtungsinstrumente von Experten bewertet. Dadurch entsteht eine standardisierte Einschätzung, die den Beobachtern als Orientierung dient. Idealerweise sind an dieser Einschätzung neben erfahrenen Wirtschaftspsychologen sowohl interne Mitarbeiter aus dem Bereich Personal als auch Führungskräfte aus der Linie beteiligt. Dadurch kann die unternehmensspezifische Erwartung hinsichtlich „richtigem Verhalten“ in die Entwicklung des Standards mit einfließen, und die Akzeptanz des vereinbarten Standards wird deutlich erhöht.
Schritt 3: Beobachtertraining: Darbietung des Videos / Individuelle Beobachtung
Während des Beobachtertrainings wird im Schritt 3 die aufgezeichnete Rollenübung vorgeführt. Die Beobachter füllen parallel den Beobachtungsbogen aus, mit dem Ziel, pro übergeordneter Dimension 4 bis 6 zentrale Zitate bzw. Beobachtungen zu dokumentieren. Ob eine Beobachtung positiv oder negativ im Hinblick auf die Dimension eingestuft wird, wird durch ein vorangestelltes + oder – gekennzeichnet. Im Anschluss erfolgt dann die numerische Bewertung der einzelnen Verhaltensanker – häufig auf einer Skala von 1 bis 5. Diese Bewertungen werden in ein speziell angefertigtes Excel-Tool eingegeben.
Schritt 4: Abgleich Expertenurteil/Beobachterurteil – Reflexion der persönlichen Beurteilungstendenzen
Im vierten Schritt werden nun die Beobachterurteile mit den Expertenurteilen verglichen. Dabei ist es möglich, den Vergleich zum Gruppenmittelwert, die Streuungen innerhalb der Beobachter sowie die einzelnen Beobachtereinschätzungen im Vergleich zum Expertenurteil zu visualisieren. Zur Unterstützung der anschließenden Diskussion werden die zentralen Szenen im Video, die entscheidend für die Bewertung eines Verhaltensanker sind, im Vorfeld zusammengeschnitten. Dadurch wird das Expertenurteil nachvollziehbar. Durch den Vergleich der eigenen Einschätzung mit denen der Anderen werden individuelle Beurteilungstendenzen, wie z. B. eine Tendenz zur Mitte, deutlich.