WEBLOGWEBLOG

 
Saturday, 08 December 2007

Zweifel am dimensionsweisen Bewertungsansatz im Assessment Center

Neue Metaanalyse zum Einfluss des dimensionsweisen Bewertungsansatzes auf die Messqualität von Assessment Centern

In ihrem Artikel „Do within-dimension ratings in assessment centers really lead to improved construct validity?“ beleuchten Melchers, Henggler und Kleinmann kritisch den von Woehr und Arthur empfohlenen dimensionsweisen Bewertungsansatz. Zumeist wird innerhalb von ACs der aufgabenweise Bewertungsansatz genutzt. Hierbei werden die Teilnehmer von den Beobachtern Übung für Übung (z.B. Verkaufsgespräch, Kollegenmeeting, ...) besprochen.

Bei dem dimensionsweisen Bewertungsansatz ist das Vorgehen der Beobachter ein anderes: Teilnehmer werden Dimension für Dimension besprochen. So steigt die Wahrscheinlichkeit, dass die Beobachter ihre Bewertungen - über unterschiedliche Übungen hinweg - konsistenter abgeben. Laut Woehr und Arthur erhöht exakt dieses Vorgehen die Konstruktvalidität von Assessment Centern.

Diese These stellen Melchers, Henggler und Kleinmann mit ihrer Metaanalyse in Frage. Die Recherche der drei Autoren deckt relevante Rahmenbedingungen auf, die häufig mit dem dimensionsweisen Bewertungseinsatz einhergehen. Die Autoren unterstützen die Hypothese, dass die folgenden AC-Variationen die verbesserte Konstruktvalidität ebenfalls erklären können:

  • "Zwischenkonferenzen": Tauschen sich die Beobachter schon vor der Abschlusskonferenz über die einzelnen Teilnehmer aus, gleichen sich ihre Meinungen über die Teilnehmer an. Erfolgt die Bewertung des einzelnen AC-Teilnehmers erst nach der Durchführung aller AC-Übungen, entsteht bei den Beobachtern eine undifferenzierte, globale Meinung über den Teilnehmer.
  • Keine Beobachterrotation: Findet keine Rotation der Beobachter statt, fließen die Eigenarten (z.B. subjektives Sympathieempfinden) der Beobachter verstärkt in die Bewertung der Teilnehmer mit ein, was zu einer einheitlichen Einschätzung über die Dimensionen hinweg führt.

Eine Antwort auf die Frage, ob der dimensionsweise Bewertungsansatz zu einer Steigerung der Messqualität führen kann, wenn man die aufgelisteten Aspekte kontrolliert, lassen die drei Autoren trotz des vielversprechenden Titels leider offen. Ein Grund, den sie hierfür nennen, ist der Mangel an empirischen Untersuchungen zur dimensionsweisen Bewertung. Die Folge der Erkenntnisse von Melchers, Henggler und Kleinmann ist also, dass weitere Untersuchungen zu Dimensions-Ratings durchgeführt werden müssen, um deren tatsächlichen Nutzen für die Optimierung von Assessment Centern zu identifizieren.

Quellen:
  • Melchers, K.G.; Henggeler, C. & Kleinmann, M. (2007). Do within-dimension ratings in assessment centers really lead to improved construct validity? Zeitschrift für Personalpsychologie, 6, 141-149.
  • Woehr, D. J. & Arthur, W. (2003). The construct-related validity of assessment center ratings: A review and meta-analysis of the role of methodological factors. Journal of Management, 29, 387-397.
Geschrieben von Sabine Damm