Alle AC-Verantwortlichen führen Beobachtertrainings durch. In älteren Studien hat sich jedoch der positive Einfluss dieser Trainings als eher gering oder gar nicht vorhanden dargestellt. So legen sich trotz Training die Beobachter im AC innerlich früh auf eine feste Meinung über die Kandidaten fest (Obermann, 2013).
In den Studien haben sich jedoch auch zwei vertiefende Elemente als effektiv erwiesen, nämlich die Verhaltenszuordnungen (engl. „Performance Dimension Training“) und das Bezugsrahmentraining (“Frame-of-Reference-Training”). Im Folgenden werden diese Methoden kurz erläutert.
Performance Dimension Training
Beobachtertraining nach modernem Standard: Frame-of-Reference
Bei der Verhaltenszuordnung üben die Beobachter, beobachtetes Verhalten strukturiert mitzuschreiben. Die Beobachtungen sollten möglichst verhaltensnah erfasst werden, also in Form von wörtlichen Zitaten des Kandidaten. Körpersprachliches Verhalten bzw. Nicht-Reaktion (z. B. Nichteingreifen im Konfliktfall) sollte in Form einer Beschreibung notiert werden. Ein weiteres Lernziel ist es, die notierten Zitate direkt den passenden Dimensionen zuzuordnen und dabei die Bewertungsrichtung festzulegen (z. B. positiver oder negativer Indikator für Empathie). Dabei kann außerdem die Fähigkeit weiterentwickelt werden, Dimensionen genau voneinander abzugrenzen.
Im praktischen Vorgehen während des Beobachtungstrainings gibt es mehrere Varianten. Zum Beispiel können auf Moderationskarten vorbereitete Zitate und Beobachtungen gemeinsam den unterschiedlichen Dimensionen zugeordnet werden oder die Beobachter ordnen die Beobachtungen per Markierungen oder Abkürzungen zu. In einer weiteren Variante wird ein Beobachter bei dem zuletzt genannten Vorgehen von der Trainingsgruppe beobachtet.
Frame-of-Reference-Training
Das zweite vertiefende Element ist das Bezugsrahmentraining. Diese ist die Variante, auf die wir bei Obermann Consulting seit Jahren setzen. Der Gedanke dahinter ist, dass die früher übliche Forderung nach Trennung von Beobachtung und Beurteilung ohnehin nicht möglich ist, da es keine Beobachtung ohne zumindest implizite Beurteilung geben kann: Selbst wenn ich beobachte „Teilnehmer bringt drei Wortbeiträge“, dann liegt die Bewertung schon darin, dass ich gleichzeitig das nonverbale Verhalten nicht beschreibe. Bei dem aus unserer Sicht relativ fragwürdigen Mantra „bitte Beobachtung von Beurteilung trennen“ ist der ursprüngliche Gedanke verloren gegangen, dass nicht schon die Endbeurteilung des Kandidaten vorweg genommen werden sollte.
Im Frame-of-Reference-Training schreiben die Beobachter nicht auf einem freien Blatt mit, sondern halten schon während des Aufgabendurchlaufs nur jene Beobachtungen fest, die gemäß der vorgegebenen Kompetenzen gefragt sind und ordnen diese direkt den Kompetenzen zu. Das ruft im ersten Durchlauf bei den Beobachtern zunächst Widerstand hervor, da es eine große Herausforderung darstellt, im fortlaufenden Strom an Beobachtungen stetig zu prüfen, zu welchen Kompetenzen die Beobachtung zuzuordnen sind. Spätestens beim zweiten Durchlauf ist das Vorgehen jedoch viel einfacher.
Anschließend kommt der wichtigste Teil des Trainings: Die Teilnehmer üben die Bewertung an einem Bezugsrahmen, also einem bspw. auf einer 5-er Skala vorab festgelegten Erwartungsniveau. Dies setzt voraus, dass durch eine Expertengruppe oder in der ersten Beobachtergruppe zuvor dieser Bezugsrahmen als eine Best Practice auf der Basis eines Videobeispiels einmal ausgehandelt wurde.
Im Frame-of-Reference-Training gibt der Trainingsteilnehmer dann individuell und ohne vorherige Aussprache seine Bewertungen ab. Diese Bewertungen werden dann zwischen den Trainingsteilnehmern verglichen und diskutiert.
In mehreren Studien konnte die Überlegenheit des Frame-of-Reference-Trainings in Bezug auf Genauigkeit und Konstruktvalidität nachgewiesen werden (Guenole et al. 2011, Höft und Melchers, 2010). In der letzten Erhebung zum Anwendungsstand des Assessment Centers in Deutschland gaben von den 125 befragten Unternehmen in Deutschland immerhin 40% an, dass sie Beobachtertrainings nach diesem Konzept durchführen.
Zertifizierung von Beobachtern
Bisher wurde in Beobachtertrainings unterstellt, dass alle Teilnehmer die notwendigen Lerneffekte mitnehmen und danach „gute“ Beurteiler sind. Dieses Vorgehen steht im Kontrast zu jeder Erfahrung mit anderen Trainingsmaßnahmen, in denen der Trainingserfolg individuell unterschiedlich ist. Daher besteht eine Variante darin, den Erfolg des Trainings zu überprüfen. Für dieses Vorgehen gibt es zahlreiche Beispiele aus der Praxis: In einem amerikanischen Energieunternehmen führen die AC-Verantwortlichen eine Prüfung und Zertifizierung der zukünftigen Beobachter anhand eines computer-basiertes Beobachtertrainings durch (Goodstone & Lopez 2001). Wenn die am Computer abgegebenen Bewertungen eine Maximaltoleranz gegenüber dem Standard aufweisen, werden die Beobachter für ein weiteres Training vorgeschlagen oder im folgenden AC nicht mehr als Assessoren eingesetzt.
In einem anderen Beispiel mussten die Beobachter in der Vorbereitung von Development Centern (DC) mit 1205 Teilnehmern beim Postkorb mindestens 80% der richtigen Zuweisungen bezogen auf einen Expertenstandard nachweisen. Neben weiteren methodischen Verbesserungen konnte damit eine hohe Genauigkeit in den AC-Ergebnissen erreicht werden.
In der Praxis besteht häufig die Herausforderung darin, überhaupt Führungskräfte als Beobachter zu gewinnen. Diese mit einer Zertifizierung abzuschrecken, dürfte das Vorhaben weiter erschweren. Bei Obermann Consulting haben wir allerdings seit mehreren Jahren gute Erfahrung darin, AC-Moderatoren nach dem Training zu zertifizieren. Begonnen haben wir zunächst mit der Zertifizierung neuer eigener Beratungskollegen und setzen dies mittlerweile häufig auch für interne Moderatoren von Kundenunternehmen um.
Literatur:
- Goodstone M. S., Lopez F. E. (2001). The frame of reference approach as a solution to an Assessment Center dilemma. Consult Psychol J: Pract Res 53(2), 96-107.
- Guenole N., Cherynshenko O., Stark S., Cockerill T., Drasgow F. (2011). We’re doing better than you might think: a large-scale demonstration of assessment centre convergent and discriminant validity. In Povah N., Thornton III, G. C. (Hrsg.), Assessment Centers and global talent management (S. 15-32).
- Höft S., Melchers K. G. (2010). Training von AC-Beobachtern: Worauf kommt es an?. Wirtschaftspsychologie 2010(2), 32-40.
- Obermann, C. (2013). Assessment Center. Wiesbaden: Springer Fachmedien.
- Obermann, C. (2017). Assessment Center. Wiesbaden: Springer Fachmedien 6. Auflage