Game-Related Assessments – Spielerisch zu einer höheren Validität?
Christoph Mölleken, M.Sc. Psychologie
Game-Related Assessments – Worum es geht?
Die Vielfalt in der Eignungsdiagnostik ist größer geworden: Stellen Sie sich vor, Sie sehen gerade per Video ein Katastrophenszenario und erhalten Fragen, wie sich Bewerbende dann verhalten würden. Oder: Sie dürfen sich Anzug und das Gesicht eines Avatars aussuchen und betreten dann einen virtuellen Diskussionsraum, um mit anderen Avataren unter Beobachtung ein Business-Szenario zu diskutieren. All das wären Game-Related Assessments.
Game-Related Assessments stehen im Fokus neuester Studien und Entwicklungen in der Eignungsdiagnostik. Dies sind Tests mit fiktiven Charakteren in vielfältigen Entscheidungssituationen zur Messung von berufsbezogenen Persönlichkeitsausprägungen sowie Spielumgebungen, die die Leistungsmotivation und kognitive Fähigkeiten von Teilnehmenden messen. Das Versprechen ist eine höhere Attraktivität des Auswahlprozesses, geringeres Faking der Teilnehmenden sowie eine flexiblere Umsetzung und stärkere Individualisierung ihrer Verfahren (Melchers and Basch, 2022; Wu et al., 2022).
Im Unterschied zu teilweise drögen Testverfahren sind potentielle Charakteristika: Visuell attraktives Umfeld, direktes (spielerisches) Feedback, Wettbewerbscharakter (Punkte, nächste Level).
Game-Related Assessments – Valide Verfahren?
Gaming hin oder her – die Verfahren müssen jedoch valide sein, also die Performance in der späteren Arbeitspraxis vorhersagen. Ramos-Villagrasa, Fernández-del-Rio und Castro (2022) haben hierzu in einer Überblicksstudie aktuelle Ergebnisse zusammengefasst:
Gamifizierte Auswahlverfahren erweisen sich demnach durchaus als prädiktiv valide bei der Vorhersage von akademischem Erfolg (Egol et al., 2017; Landers et al., 2021), Vorgesetztenbeurteilungen (Landers et al., 2021) und der Leistung im Assessment-Center (Melchers und Basch, 2022).
Gleichwohl sind die angesprochenen Korrelationen als moderat zu beurteilen (beispielsweise Zusammenhänge zu Vorgesetztenbeurteilungen r = .29 oder zur Leistung im Assessment Center r = .18). Von klassischen psychometrischen Tests oder strukturierten Interviews oder ACs kennen wir höhere Werte.
Ein größerer Mehrwert game-basierter oder spielerisch angelegter Diagnostikverfahren liegt in der Erhöhung der Attraktivität eines Unternehmens, das durch den Einsatz solcher Verfahren als innovativer und moderner wahrgenommen wird (Georgiou, 2021). Die spielerischen Elemente eines Verfahrens scheinen hierbei das Flow-Erleben von Teilnehmenden und die Freude bei der Bearbeitung zu erhöhen (Georgiou und Lievens, 2022). Gleichzeitig erzeugen game-related Verfahren den Eindruck eines kürzeren Auswahlverfahrens (Collmus und Landers, 2019).
Fazit: Game-basierte Elemente noch mit geringerer Prognosestärke
Zusammenfassend lässt sich in der aktuellen Empirie keine Überlegenheit von game-basierten Testverfahren bzw. Testverfahren mit spielerischem Design oder Elementen bei der Messung von relevanten Leistungs- und Potenzialkriterien wie Persönlichkeit, Motivation und kognitiven Fähigkeiten feststellen. Potentiale der Nutzung game-basierter Verfahren liegen jedoch in einer gesteigerten Attraktivität von Unternehmen und bieten daher Möglichkeiten, die positive Wahrnehmung des eigenen Assessment-Prozesses zu steigern. Allerdings gibt es hier den trade-off, dass zumindest im Mittel und auf Basis der genannten Studien diese Attraktivität durch eine geringere Prognosestärke zum Joberfolg erkauft wird.
Literatur
Collmus, A. B., and Landers, R. N. (2019). Game-framing to improve applicant perceptions of cognitive assessments. J. Pers. Psychol. 18, 157–162. doi: 10.1027/1866-5888/a000227
Egol, K. A., Schwarzkopf, R., Funge, J., Gray, J., Chabris, C., Jerde, T. E., et al. (2017). Can video game dynamics identify orthopaedic surgery residents who will succeed in training? Int. J. Med. Educ. 8, 123–125. doi: 10.5116/ijme.58e3.c236
Georgiou, K., & Lievens, F. (2022). Gamifying an assessment method: what signals are organizations sending to applicants?. Journal of Managerial Psychology.
Georgiou, K. (2021). Can explanations improve applicant reactions towards gamified assessment methods?. International Journal of Selection and Assessment, 29(2), 253-268.
Landers, R. N., Armstrong, M. B., Collmus, A. B., Mujcic, S., and Blaik, J. (2021). Theory-driven game-based assessment of general cognitive ability: design theory, measurement, prediction of performance, and test fairness. J. Appl. Psychol. doi: 10.1037/apl0000954 [Epub ahead of print].
Melchers, K. G., and Basch, J. M. (2022). Fair play? Sex-, age-, and job-related correlates of performance in a computer-based simulation game. Int. J. Sel. Assess. 30, 48–61. doi: 10.1111/ijsa.12337
Ramos-Villagrasa, P. J., Castro, Á., & Fernández-del-Río, E. (2022). Game-related assessments for personnel selection: A systematic review. Front. psychol., (ART-2022-131466).
Wu, F. Y., Mulfinger, E., Alexander, L., Sinclair, A. L., McCloy, R. A., and Oswald, F. L. (2022). Individual differences at play: an investigation into measuring big five personality facets with game-based assessments. Int. J. Sel. Assess. 30, 62–81. doi: 10.1111/ijsa.12360