Dominanzpaarvergleiche

Dominanzpaarvergleiche

Dominanzpaarvergleiche sind einfache Urteilsaufgaben, bei denen der Urteiler aufgefordert wird, aus zwei Objekten jenes auszuwählen, bei dem das Merkmal stärker ausgeprägt ist. Zum Beispiel: “Welche Verletzung ist schmerzhafter?” oder “Welches Bild ist angenehmer?”.
Sollen dabei mehr als zwei Objekte beurteilt werden, vergleicht der Urteiler jeweils alle Kombinationen aus je 2 Objekten. Durch den direkten Vergleich wird dem Urteiler die Entscheidung im Vergleich zu direkten Rangordnungen und Ratingskalen vereinfacht. Allerdings steigt der Aufwand sehr schnell mit der Anzahl der Objekte, will man wirklich jede Paarung beurteilen lassen. Bei fünf Objekten werden nur zehn Durchläufe gebraucht, bei zehn Objekten bereits 45, die Anzahl der Durchläufe für n Objekte folgt der Formel

[ n * (n-1) ] / 2

Beheben lässt sich dieses Problem, indem man nicht alle möglichen Paare beurteilen lässt – z.B. durch eine Auswahl einer kleinen Zahl von Ankerobjekten, mit welchen jedes andere Objekt einmal verglichen wird.

Die Ergebnisse lassen sich nun auf mehr als eine Weise weiterverwenden.

Indirekte Rangordnungen

Nach Beurteilung aller Paare wird gezählt, wie oft jedes Objekt bevorzugt wurde und die Objekte werden nach Anzahl der Bevorzugungen sortiert. Bei mehreren Urteilern werden die Bevorzugungen addiert. Hierbei wird vorausgesetzt, dass die Objekte von Seiten des Urteilers tatsächlich eine Rangfolge besitzen, also dass wenn er A B vorzieht und B C vorzieht, dass er A dann auch C vorzieht (Transitivität - siehe Messtheorie. Ist der Unterschied für den Urteiler jedoch zu gering um ein klares Urteil zu fällen, oder ist er unaufmerksam, dann muss dies nicht unbedingt gegeben sein. Dies kann ebenfalls passieren, wenn bei mehrdimensionalen Merkmalen jeweils auf verschiedene Teilmerkmale geachtet wird (siehe Homogenität). So kann zum Beispiel Gericht A gegenüber Gericht B bevorzugt werden, weil es würziger schmeckt, Gericht B jedoch gegenüber Gericht C wegen angenehmerer Schärfe. Wird jetzt beim Vergleich von C und A wieder auf die Würze geachtet, kann es durchaus sein, dass C gewählt wird. Beim Zusammenfassen mehrerer Beurteiler muss außerdem darauf geachtet werden, ob die Urteile der einzelnen Beurteiler übereinstimmen (Konkordanz). Sollte dies nicht der Fall sein, kann auch dies ein Zeichen für Mehrdimensionalität des Merkmals sein, also vielleicht isst Person 1 sehr gern scharf und beurteilt die Gerichte generell nach der Schärfe, während Person 2 deutlich höheren Wert auf die Würze legt. Um dies zu umgehen sollte das zu beurteilende Merkmal möglichst genau definiert sein.

Law of Comparative Judgement

Durch diese Methode können die Präferenzhäufigkeiten in relative Häufigkeiten umgewandelt werden. Das Law of Comparative Judgement folgt demselben Grundgedanken, wie das Law of Categorical Judgement und auch die Umsetzung ist ähnlich. Mehrere Urteiler erstellen Rangordnungen. Nach der Annahme, dass sich Urteile mehrerer Urteiler um einen "waren Wert" bewegen und normalverteilt sind (siehe klassische Testtheorie), können die Paarvergleichsdaten von einer Ordinalskala auf eine Intervallskala hochskaliert werden.