WEBLOG

Situational Judgment Tests: Ein Review der neueren Forschungsergebnisse

In der aktuellen Ausgabe der Personnel Review berichten Dr. Filip Lievens, Helga Peeters und Eveline Schollaert über ihre Einschätzung so genannter Situational Judgement Test (SJT) auf Basis einer Analyse empirischer Studien von 1990 bis 2007.

SJTs funktionieren nach dem Prinzip, dass der Testperson ein Szenario beschrieben wird und sie eine angemessene Reaktion aus einer Menge vorgegebener Verhaltensalternativen auswählt. Hier ist ein Beispiel.

Sie vertreten Ihren Chef während seines Urlaubs für die kommenden zwei Wochen. An Ihrem ersten Tag in der neuen Rolle kommt eine Ihrer Mitarbeiterinnen in Ihr Büro. Sie beschwert sich, sie sie sei vom Wachmann an der Pforte sexuell belästigt worden. Sie bittet, die Situation vertraulich zu behandeln. Was wäre Ihre erste Handlung nach diesem Gespräch?

1. Den Wachmann ansprechen, um im Gespräch alle Fakten einzuholen.
2. Der Mitarbeiterin zusichern, Sie würden den Vorfall untersuchen. Sie könnten jedoch Vertraulichkeit nicht garantieren.
3. Ihren Chef im Urlaub kontaktieren und sich Instruktionen für das weitere Vorgehen geben lassen.
4. Informelle Gespräche mit den anderen Mitarbeiterinnen führen, um festzustellen ob auch diese belästigt wurden.

Der Artikel stellt einige große Vorteile von SJTs heraus:

• Sie können Berufserfolg vorhersagen, insbesondere wenn sie auf einer Job Analyse basieren.
• Sie verbessern die Validitität einer Prognose, wenn sie in Kombination mit kognitiven Fähigkeitstests und Persönlichkeitstests eingesetzt werden (inkrementelle Validität).
• Sie zeigen weniger Anfälligkeit für Gruppenunterschiede als kognitive Fähigkeitstests, insbesondere wenn die mentalen Anforderungen gering sind. Sie sind dadurch Minderheiten gegenüber als fairer einzuschätzen, was insbesondere im amerikanischen Anwendungsraum ein starkes Argument ist.
• Sie werden von den Testpersonen positiv wahrgenommen, haben also eine hohe Akzeptanz.
• Sie sind wirtschaftlich, weil eine große Anzahl von Probanden gleichzeitig getestet werden kann.

Natürlich gibt es auch Nachteile der Methode. Wesentlich ist der Verdacht, dass Faking, Übung oder spezielle Vorbereitung (Coaching) die Ergebnisse positiv beeinflussen können. Das Ausmaß dieser "Fehlerquelle" hängt selbstverständlich stark davon ab, wie die Situationen und die Antwortalternativen konstruiert sind. Außerdem wird kritisiert, dass wir nicht genau wissen, was SJTs messen. Ist es Wissen? Persönlichkeit? Intelligenz? Die Autoren stellen heraus, dass in diesem Gebiet weitere Forschung notwendig ist. Ergänzen möchte ich, dass die Konzeption eines SJT aufwändig ist und wohl nicht ohne umfangreichen Pre-Test auskommt. Dennoch schein mir der Return on Invest schnell erreicht, zumal die Konzeption eine fundierte Job Analyse als Nebenprodukt produziert. Diese wiederum kann auch für andere eignungsdiagnostische Instrumente wertvoll und nützlich sein.

Literatur: Lievens, F. et. al. (2008). Situational judgment tests: a review of recent research. Personnel Review (37), 4, 426-441. [Download hier]