Die gute alte Postkorb-Übung – Stand der Dinge und Trends

Viele kleine Entscheidungsfälle

Der historische Ursprung der Postkorb-Übung liegt im Jahre 1952 – Norman Frederiksen entwickelte den ersten Postkorb für die Air Force (Frederiksen et al. 1957). In seiner häufig zitierten Studie fand Mintzberg (1981) heraus, dass Manager täglich durchschnittlich 36 Schriftstücke zur Bearbeitung vorgelegt bekamen. Der Postkorb simuliert genau das. Früher wurde dies mit 15 bis 25 Schriftstücken, die theoretisch auf dem Schreibtisch eines Mitarbeiters zur Bearbeitung landen könnten, dargestellt. Heute analog dazu mit E-Mails.

Lange Zeit die beliebteste AC-Übung

Seit den 90er-Jahren ist der Postkorb in deutschsprachigen Organisationen durch die unreflektierte Adaptation des Beispiels von Jeserich (1981) und simple Varianten mit privaten Themen („Notiz Ihrer Haushälterin Ulla“) oder der Bearbeitung einfacher Terminkollisionen („Terminkollision Zahnarzt mit wichtiger
Besprechung in der Firma“) teilweise in Verruf geraten. Dies erklärt möglicherweise die deutliche Verringerung der Verwendung von deutschsprachigen ACs auf das aktuelle Niveau von 30% (Obermann et al., 2016).

Diese Kritik bezieht sich jedoch auf die simplen Inhalte der Postkorbvorgänge, aber nicht auf die grundsätzliche Methodik, nämlich die Idee der Bearbeitung mehrerer unabhängiger Kurzfälle. Das Prinzip ist für Nachwuchskräfte genauso wie für die Top-Management-Ebene relevant. Die Inhalte im Managementlevel sind dann keine oberflächlichen Termin-Prioritätskonflikte mehr, sondern etwa die Bewertung von Business-Zahlen oder typische Entscheidungsfälle auf Managementebene.

Herausforderung Standardisierung und Konstruktvalidität

Die große Frage ist, was eigentlich die beobachtete Leistung im Postkorb inhaltlich bedeutet: Die Auswertung ist häufig wenig standardisiert. Manchmal gibt es einen übermäßigen Zeitdruck, viel mehr Material als in der Jobpraxis, sodass der Zeitstress alles andere überstrahlt. Wenn die Postkorbleistung Organisationsvermögen messen soll, was ist das eigentlich inhaltlich? Wir erinnern uns an einen Auftrag von einem Oberlandesgericht. Hierzu sollte ein Auswahlverfahren für zukünftige Richter konzipiert werden. Die leitenden Richter waren fasziniert von ihrer Übung, namens „Aktenbock“. Dabei wurden per Zufall originale Gerichtsakten zu einem Postkorb zusammenkopiert und den Kandidaten vorgelegt.

Die Lösungen für die einzelnen Akten waren entweder trivial einfach oder viel zu komplex für den Zeitrahmen, sodass zwar alles augenscheinlich nach „Praxis“ aussah, jedoch eignungsdiagnostisch wertlos war. Die Alternative zu diesem praktischen aber nutzlosen Vorgehen ist Top-Down vorzugehen. Das meint vorab zu definieren, was ich eigentlich messen will, z.B. Handlungsorientierung oder unternehmerisches Denken. Für jede dieser Kompetenzen braucht es dann eine sogenannte Traitaktivierung. Beispiel: Um Handlungsorientierung zu messen, muss ein Problem ohne explizite Aufforderung zum Handeln beschrieben werden. Bewegt dies den Kandidaten zum Handeln oder nicht? Da hier immer viel Zufall im Spiel ist, muss der Postkorb eine Reihe solcher Traitaktivierungen beinhalten, damit am Ende die Schlussfolgerung „wenig entscheidungsfreudig und initiativ“ auch belastbar ist.

Nachweise, was der Postkorb mit Erfolg im Job zu tun hat

Nach einigen älteren Studien zur Validität von Postkörben in den USA und England gibt es jetzt zwei aktuellere und relevante Metaanalysen zur Validität des Postkorbs. Whetzel et al. (2014) fassen in ihrer Metaanalyse 31 Einzelstudien zur Validität zusammen. Hier resultiert aus den Rohdaten eine mittlere Validität des Postkorbs in der Vorhersage des Joberfolgs von r=.16 und nach verschiedenen Korrekturen (Reliabilität des Kriteriums und Varianzeinschränkung) eine schwer nachvollziehbare Steigerung auf p= .42.

In der Metaanalyse von Hoffman et al. (2015) wird auch der Postkorb in seinem inkrementellem Nutzen gegenüber anderen AC Methoden verglichen. Hier ergibt sich für 12 betrachtete Einzelstudien eine zu Whetzel et al. vergleichbare Validität zum Joberfolg von r=.18 (korrigiert auf p=.21). Somit zeigen beide Metaanalysen einen moderaten Zusammenhang zu Joberfolg, der mit anderen Verhaltenssimulationen im AC vergleichbar ist (Rollenübung, Gruppendiskussion).
In der Postkorbleistung steckt damit durchaus ein Indikator für Joberfolg, jedoch beinhaltet diese Leistung mehr Zufall als Wahrheit. Das bedeutet, dass die Ergebnisse im AC aus dieser Übung immer durch andere Aufgaben abgesichert werden müssen (Online-Test, Fallstudie, kognitiver Test).

Firmeneigener oder Standardpostkorb

In der Studie von Whetzel et al. (2014) gibt es einen Vergleich der Validitäten von jobspezifischem und allgemeinem Inhalt. Die durchschnittlichen Validitäten sind gleich, sodass es keinen diesbezüglichen Vorteil gibt, einen firmeneigenen Postkorb zu konstruieren.
Eine weitere Erkenntnis: Für 19 Studien dieser Metaanalyse konnte der Zusammenhang zwischen Postkorbleistung und kognitiven Tests mit durchschnittlich r=.26 ermittelt werden. Damit gibt es zwar den Nachweis eines gewissen „kognitiven Overloads“ in der Bearbeitung des Postkorbs, gleichzeitig jedoch eine genügend große Restvarianz durch weitere Kompetenzen, die für eine gute Bearbeitung notwendig sind und einen zusätzlichen Einsatz gegenüber eines kognitiven Tests rechtfertigen.

Leistungen von Obermann Consulting

Erstellung von Fallstudien / Postkorb-Aufgaben
Links zum Online-Postkorb inkl. individuellem Ergebnisbericht
Rein virtuelle Durchführung: Online-Case-Study

Quellen:

[1] Arbeitskreis Assessment Center E.V. (2001) Assessment-Center Studie 2001. Internetrecherche vom 1.12.2012. Quelle.
[2] Frederiksen N, Saunders DR, Wand B (1957) The in-basket test. Psychological Monographs: General & Applied, 71 (Whole No. 438)
[3] Jeserich W (1981) Mitarbeiter auswählen und fördern: Assessment-Center-Verfahren. vol 1, Hanser, München Wien
[4] Mintzberg H (1981) Der Managerberuf: Dichtung und Wahrheit. Harvard Manag 2:66-78
[5] Obermann, C., Höft, S. & Becker, N. (2016) Assessment Center-Praxis 2016: Ergebnisse der aktuellen AkAC-Anwenderbefragung. In: Arbeitskreis Assessment Center e.V. (Hrsg) Dokumentation zum 9. Deutschen AC-Kongress, Pabst Science Publishers, Lengerich
[6] Whetzel, D., Rotenberry, P. McDaniel, M. (2014). In-basket Validity: A systematic review. International Journal of Selection and Assessment. Volume 22 Number 1