Der Unterschied zwischen herkömmlichem Programmieren und Künstlicher Intelligenz (KI) bzw. Artificial Intelligence (AI) besteht darin, dass dem Programm nicht mehr Schritt für Schritt vorgegeben wird, was es tun soll, sondern sich das Programm die Lösungswege selbst sucht. Bei komplexen Anwendungen wie der Spracherkennung, textbasierten Dialogsystemen (Chatbots) oder Anwendungen rund um Fahrerassistenzsysteme sind die Eingangsvariablen und die Kombinationsmöglichkeiten so vielfältig und komplex, dass es unmöglich ist, diese in einem Programm vorauszudenken. Im Rahmen der AI gibt man den Programmen daher zwei Dinge: Ausgangsdatensätze und ein Vorhersagekriterium. Das Programm versucht dann selbst in mehreren Schritten mit den Daten das Kriterium vorherzusagen. Beispiel: ist das per Hand geschriebene Kürzel ein bestimmter Buchstabe? Ist in dem per Radar erfassten Bild ein Mensch, der gleich auf die Straße läuft? Im Fall von Assessment: Ist aus den vom Kandidaten erstellen Texten die Eignung für einen Job erkennbar?
Analyse von Video-Nachrichten und E-Mails in einer simulierten Outlook-Umgebung
In unserem 90-minütigen Online-Assessment versetzen wir die Kandidaten in ein komplexes Business-Szenario. Das Szenario ist die Leitung einer internationalen Headhunting-Firma mit verschiedenen Projekten, Mitarbeitern und Kunden. In einem solchen Szenario hat keiner Vor- oder Nachteile. Die Aufgaben (= Stimuli) bestehen in komplexen Geschäftstabellen (z. B. einem Benchmarking mit anderen Niederlassungen), E-Mails von Mitarbeitern und Kunden und Videonachrichten. Die Herausforderung besteht nun darin, auf diese Aufgaben hin, kurze Video-Antworten und E-Mails in einer simulierten Outlook-Umgebung zu erstellen. Diese werden nach vorgegebenen Auswertungsvorgaben nach verschiedenen Kompetenzen bewertet, z. B. Analysevermögen (Qualität der Tabellenauswertung), Führungsverhalten (Umgang mit Führungsproblemen), sprachlicher Ausdruck (Formulierungsqualität der E-Mails), Sozialkompetenz (Antwortvideos zu Beschwerden), Vertriebskompetenz, Orthographie (Fehlerfreiheit der E-Mails).
Automatische Analyse von Ausgangstexten im Online-Assessment
Wir nutzten jetzt die Methoden der AI für Aspekte, die für unsere intuitive Bewertung von Kandidaten immer wichtig waren (z. B. Sympathie, wahrgenommene Kompetenz, Selbstbewusstsein). Diese konnten bisher nie zufriedenstellend beobachtet werden, da viel zu subjektiv oder zu komplex.
Im folgenden Absatz findet sich eine typische Antwort-E-Mail, die in dem simulierten Outlook-System von einem Kandidaten produziert wurde. Der Ausgangspunkt (= Stimulus) war die Beschwerde eines Headhunting-Bewerbers, der nie eine Absage erhalten hatte. Für das Headhunting-Projekt war jedoch ein Mitarbeiter mit Namen Müller in dem Team zuständig, an den unser Kandidat nun schreiben soll.
Sehr geehrter Kollege Müller,
ich hatte heute eine unerfreuliche Beschwerde eines Bewerbers aus einem Ihrer IT-Projekte. Er sagte, dass er bis heute kein abschließendes Feedback erhalten hatte, obwohl das Projekt laut unserer Projektliste abgeschlossen ist. Das ist etwas unangenehm. Man könnte das Feedback nachhohlen. Es wäre schlecht, wenn auch für andere Projekte der Prozess nicht eingehalten werden kann. Man sollte sich immer in Erinnerung rufen, dass alle Kandidaten unser Image bestimmen, letztlich unser Kapital und potenzielle Auftraggeber sind.
Viele Grüße
Syntaktische Analyse
Ein erster Analyseschritt besteht darin, dass jeder Satz syntaktisch ausgewertet wird: Was sind Verb, Subjekt und Prädikat? In der Auswertung der gesamten Mails kann daraus unser Programm ableiten, wie die typische Satzstruktur und Verwendung von bestimmten Wörtern ausfällt. In unserem Beispiel erweist sich die (hier geringe) Verwendung der ersten Person (ich, mich, mir) als ein guter Prädikator für die Gesamteignung.
Emotionsanalyse
In der Emotionsanalyse werden die E-Mail-Texte automatisiert im Hinblick auf die jeweils vermittelten emotionalen Stimmungen ausgewertet. In der linken Spalte ist für den Beispielstext ein Score abgebildet, der die eher positive (grün) oder negative (rot) Valenz der Formulierungen indiziert. Über die verschiedenen Durchläufe des Online-Assessments haben wir eine Vergleichsnorm anderer Teilnehmer erstellt, mit der bezogen auf den gleichen Stimulus (Aufgabenstellung) die typische Valenz des jeweiligen Teilnehmers relativ zu dem Benchmark deutlich wird. Die rechte Spalte gibt unabhängig von der Valenz die emotionale Stärke der jeweiligen Formulierungen an. Das Beispiel zeigt, dass der Teilnehmer in diesem Text eher emotional negative Sprachausdrücke verwendet. Die Absicherung findet dadurch statt, dass die Analyse für jeden der von dem Teilnehmer produzierten E-Mail-Antworten stattfindet. Die so für jeden Teilnehmer ermittelte durchschnittliche Valenz hat sich in unserer AI-Analyse als ein zuverlässiger Prädiktor für die emotionale Stabilität erwiesen.
