Klassische Testtheorie – mehrfach Schießen erhöht die Trefferquote
Versetzen Sie sich einmal in folgende Situation: Sie haben sich auf eine Führungsposition beworben und sind zu Ihrer großen Freude zu einem Einstellungsinterview eingeladen worden. Schon lange haben Sie auf diese Chance gewartet und möchten unbedingt einen guten Eindruck hinterlassen. Allerdings werden Sie zunehmend nervöser, je näher der Termin rückt. Sie fangen sogar an, nachts schlecht zu schlafen – den Abend vor dem Interview tun Sie vor lauter Nervosität kein Auge mehr zu. Beim Blick in den Spiegel am nächsten Morgen stellen Sie erschrocken fest, dass dies Spuren hinterlassen hat: Unter Ihren Augen haben sich graue Schatten breit gemacht. Nichtsdestotrotz sind Sie fest entschlossen, den Termin wahrzunehmen. Da Sie die Befürchtung haben, Ihr Erscheinungsbild könnte einen schlechten Eindruck bei den Interviewern hinterlassen, beantworten Sie während des Gesprächs alle Fragen mit leicht gesenktem Kopf, in der Hoffnung, dass dadurch Ihre Augenringe nicht auffallen. Später bekommen Sie von den Interviewern das Feedback, einen eher schüchternen Eindruck hinterlassen zu haben.
Für die zu beurteilende Kompetenz „Durchsetzungsfähigkeit“ haben Sie vom Interviewer entsprechend einen unterdurchschnittlichen Wert erhalten. Dies ist das erste Mal, dass Sie eine Rückmeldung dieser Art erhalten haben und Sie fragen sich, ob diese Beurteilung nicht auch durch Ihr Schlafdefizit und Ihre daraus veränderte Körpersprache verzerrt worden sein könnte.
Die perfekte Einschätzung über einen Bewerber finden
Genau damit beschäftigt sich die Klassische Testtheorie (kurz: KTT). Diese ist in der Psychologie eine Fehlertheorie zu eignungsdiagnostischen Messungen und damit auch eine Grundlage für das Interview. Eine Grundannahme der KTT besteht darin, dass der Messwert, den die Interviewer während der Übung bestimmen, sich immer aus dem „wahren“ oder auch „perfekten“ Wert einer Person sowie aus einem Fehlerwert zusammensetzt. Der „wahre“ oder „perfekte“ Wert ist die tatsächliche Ausprägung der Kompetenz. Er kann nie direkt beobachtet werden, sondern kann nur über Einschätzungen annäherungsweise erschlossen werden.
Der Fehlerwert ist ein zufälliger oder unsystematischer Messfehler. Dazu zählen wie in unserem Beispiel Stimmungsschwankungen, Ablenkungen der Beobachter, fehlinterpretierte Aussagen, zu heißes oder kaltes Wetter oder – wie in unserem Beispiel – Müdigkeit und dadurch hervorgerufenes missverstandenes Verhalten.
Gehen wir in einem Beispiel davon aus, dass unsere Kandidatin von mehreren Personen hintereinander interviewt wird. Nehmen wir weiter an, wir wüssten, wie hoch die Ausprägung davon ist, z. B. auf einer 5-er Skala eine 3. Nun entscheidet sich Interviewer 1, Herr Meise, beispielsweise für eine 3,5, da er die Kandidatin als sehr dynamisch im Auftreten erlebt und dies im Sinne eines Überstrahleffekts zu einer Überschätzung der Kompetenz führt. Interviewer 2, Herr Meier, bewertet generell etwas kritischer und wertet eine 2,0. Interviewerin 3, Frau Müller, hingegen möchte mehr Frauen in Führung bringen und gibt unserer Kandidatin eine 4,0. Und so weiter. Fazit: der Mittelwert aller Interviewer entspricht ziemlich gut dem „wahren“ Wert und damit der tatsächlichen Ausprägung der Kompetenz von 3,0.
Genau dies ist eine der Grundannahmen der KTT-Fehlertheorie. Im theoretischen Fall wird ein Interview unendlich mal (unter denselben Bedingungen) mit einer Person durchführt, dann mitteln sich die Messfehler irgendwann heraus und es bleiben der „wahre“ Wert oder die fehlerfreie bzw. „perfekte“ Einschätzung übrig. Andersherum gedacht: Ein Interview kann unendlich mal mit einer Person – oder auch – ein Interview einmal mit unendlich vielen Personen durchgeführt werden, um den Messfehler zu beseitigen.
Halten wir fest: Der Messwert setzt sich immer aus dem „wahren“ oder „perfekten“ Wert sowie aus dem Messfehler zusammen und er verschwindet, wenn wir entweder eine Messung an vielen Personen oder dieselbe Messung mehrfach an einer Person anwenden. Dies bedeutet schlussendlich, dass der gemessene Wert nahezu identisch mit dem „wahren“ oder „perfekten“ Wert einer Person ist, wenn wir ein Merkmal mehrmals bei einer Person messen.
Mehrere kurze Interviews besser als ein langes Interview
In diesem Kontext gibt es mehrere wichtige Schlussfolgerungen für die Interviewpraxis:
- Die Zuverlässigkeit der Einschätzungen steigt, wenn mehrere Interviewer ihr Urteil abgeben und wir den Mittelwert daraus nehmen.
- Die Zuverlässigkeit der Einschätzung kann außerdem gesteigert werden, wenn eine Kompetenz mit mehreren Messungen gemessen wird. Das ist der Hintergrund unserer Forderung, für die Beurteilung einer Kompetenz im Interview mindestens drei Fragen einzusetzen. Unendlich viele Fragen wären natürlich genauer. Der Mittelwert aus der Einschätzung zu drei Fragen reduziert jedenfalls den Messfehler erheblich gegenüber nur einer Frage.
- Weiterhin ist der Durchschnitt aus mehreren kurzen Interviews ebenfalls zuverlässiger als der eines langen Interviews. Nach dem ersten Interview sortiert sich der Bewerber vielleicht und beschließt, seine Beispiele mehr auf den Punkt zu bringen. Zudem begegnet er in mehreren Interviews auch mehreren unterschiedlichen Interviewern, sodass der „Fehler“ des Interviewerverhaltens ebenfalls reduziert werden kann.