WEBLOG

P-Tests #2: Alles eine Frage der Manipulation?

Der im Herbst 2007 in der Zeitschrift Personnel Psychology erschienene Artikel „Reconsidering the use of personality tests in personnel selection contexts” von Frederick P. Morgeson et al. beschäftigt sich mit dem Thema P-Tests im Rahmen der Personaldiagnostik. Fünf ehemalige Redakteure der Zeitschriften Personnel Psychology und Journal of Applied Psychology diskutieren die zentralen Kritikpunkte an Persönlichkeitstests (P-Tests). Drei Argumente sprechen dafür, dass der Einschätzung dieser Autoren Beachtung geschenkt wird. Erstens haben sie zusammen über 7 000 Manuskripte begutachtet, sie sind mit der Forschungshistorie zu P-Tests durch ihre langjährige Tätigkeit als Redakteure sehr vertraut und drittens sollte kein eigennütziges Interesse bestehen, sich pro oder kontra P-Tests auszusprechen. Der Artikel basiert auf der SIOP (Society for Industrial and Organizational Psychology) Konferenz im Jahre 2004. Das Thema Manipulierbarkeit wird dabei besonders intensiv beleuchtet.

1. Welche Rolle spielt die Manipulierbarkeit?

Die Anzahl der Studien ist groß, in denen Manipulation als Problemfaktor thematisiert wird. Der derzeitige Stand der Forschung spricht eindeutig dafür, dass Menschen sich in ihrem Antwortverhalten unterscheiden und nicht in gleichem Maße sozial erwünscht antworten. Menschen manipulieren ihre Antworten also in P-Fragebögen und dies hat auch Auswirkungen auf die Kriteriumsvalidität.

2. Wie hoch ist die Kriteriumsvalidität von P-Tests?

Die Autoren berichten, dass selbst bei einem Einsatz von P-Tests unter idealen Bedingungen dennoch 85% der Kriteriumsvarianz unaufgeklärt bleiben. Messungen der allgemeinen kognitiven Fähigkeiten durch Leistungstests können vergleichsweise 20 – 25% der Job Performance aufklären. Auch neuere Forschungsergebnisse, denen das Konzept der Big Five zugrunde liegt, kommen über eine Validität von .13 nicht hinaus. Es wird vor immer wieder berichteten höheren Validitäten gewarnt, die oft aus Meta-Studien resultieren. Diese sollten kritisch betrachtet werden, denn hier ist eine Überschätzung der Validität aufgrund des Einflusses qualitativ schlechter Studien wahrscheinlich. P-Tests können aber potenziell einen kleinen Anteil inkrementelle Validität liefern, wenn sie in Kombination mit Leistungstests eingesetzt werden.

3. Wie stark ist der Einfluss von Manipulierbarkeit?

Die Autoren vertreten den Standpunkt, dass Bereinigung und Korrekturmaßnahmen keinen großen Effekt haben, sie verbessern die Validität nicht in beachtlichem Ausmaß.

4. Wie können P-Tests effektiv(er) eingesetzt werden?

Zukünftige Forschung muss den Fokus verstärkt auf die Kriteriumsseite richten und die Faktoren untersuchen, die durch P-Tests vorhergesagt werden können. Nach Meinung der Autoren sollten P-Tests keinesfalls Leistungstests ersetzen oder einen zu großen Stellenwert in einer Testbatterie einnehmen, denn das führt zu einer Verringerung der Validität insgesamt.

5. Welche weiteren Einwände ergeben sich aus der Manipulierbarkeit?

Quelle:

Morgeson, F. P., Campion, M. A., Dipboye, R. L., Hollenbeck, J. R., Murphy, K., Schmitt, N. (2007). Reconsidering the use of personality tests in personnel selection contexts. Personnel Psychology, 60 (3), 683-729.