Faking in Fragebögen - eine Gefahr in der Eignungsdiagnostik
Sozial erwünschte Antworttendenzen bzw. Faking bringen diverse Herausforderungen mit sich, die gerade im Bereich der Personalauswahl zu großen Problematiken führen und Diagnostikern und Testentwicklern noch heute ein Dorn im Auge sind. Besonders Verfahren, welche auf der Selbsteinschätzung des Probanden beruhen, sind gefährdet.
Zu diesen Problemen gehören Änderungen in der Faktor-Struktur und Validität (Viswesvaran & Ones, 2011) sowie Einschränkung der Varianz von Testwerten (Nguyen, Biderman & McDaniel, 2005). Wirklich niemand möchte diese Verzerrungen in seinen eignungsdiagnostischen Testverfahren. Gerade also die in der Diagnostik so beliebten Fragebögen leiden unter diesen Umständen.
Zu diesem Thema teilten Prof. Dr. Christof Obermann, Maurice Valbert und Levi Kuhlmann ihre Erkenntnisse eigener Studien auf dem 10. Assessment Kongress des Forum Assessment e.V. in Potsdam.
Gibt es Unterschiede zwischen den Dimensionen oder Probanden bezüglich der Ausprägung von Faking?
Vor einem Jahr stellte sich zunächst die Frage, wie stark die Faking-Problematik in den eigenen Testverfahren ausgeprägt ist. Gibt es vielleicht Unterschiede zwischen den Dimensionen oder Probanden bezüglich der Ausprägung von Faking?
Die Antwort lautet leider Ja. Nach einer aufwendigen Erhebung stellte sich heraus, dass sowohl alle Dimensionen unterschiedlich betroffen sind als auch, dass Probanden unterschiedlich stark faken. Um dem Ganzen die Krone aufzusetzen, konnten wir nachweisen, dass die externe Validität durch Vorgesetzte aufgrund von Faking praktisch zunichtegemacht wird (Gewissenhaftigkeit: r = .19 / .03).
Was ist die Lösung?
Aber wie kann diese Herausforderung von Eignungsdiagnostikern und Testentwicklern angegangen werden? Zur Antwort dieser Frage wurden nach ausgiebiger Recherche verschiedene Lösungen evaluiert. Sowohl eine SEA-Skala als auch die Einschätzung der Items durch Experten stellten, nach Prüfung des Nutzens, keine Lösung dar.
Hingegen wurde sich für einen zusätzlichen Forced-Choice-Testteil entschieden. Die Effektivität der Maßnahme wurde in einer weiteren eigenen Erhebung untersucht. Das Einsetzen eines Forced-Choice-Formats war ein voller Erfolg. Die Dimensionen konnten beinahe alle zum größten Teil von Faking befreit werden.
In der Abbildung sind die Erfolge des Forced-Choice Moduls dargestellt, dabei gilt je kleiner der Balken, desto besser für den Test, da Faking weniger Effekt auf die Ergebnisse hat.
In dunkelblau der Fakingeffekt ohne Intervention und in hellblau mit Forced-Choice Modul.
Literatur:
Ones, D. S., & Viswesvaran, C. (2011). Individual differences at work. The Wiley-Blackwell handbook of individual differences, 379-407.
Nguyen, N. T., Biderman, M. D., & McDaniel, M. A. (2005). Effects of response instructions on faking a situational judgment test. International Journal of Selection and Assessment, 13(4), 250-260.