Biases

So wie es beim Messen zu Verzerrungen kommen kann, ist dies auch im Interpretationsschritt auf Seiten des Forschers möglich. Dabei kann man drei verschiedene Arten von Verzerrungen unterscheiden:

Theoretisch
Auch nach Objektivität strebende Forscher haben vorgefertigte Theorien über Kausalzusammenhänge und Hintergründe, die sie (oftmals unbewusst) in die Interpretation von Daten einfließen lassen. So kann es dazu kommen, dass verschiedene Forscher aus ein und denselben Daten komplett gegensätzliche, unvereinbare Schlüsse ziehen – und diese jeweils an den Daten logisch begründen können!
In weniger dramatischen Fällen kann es dazu kommen, dass die Erwartungen die Deutung der Daten beeinflussen – indem sie etwa den Blick auf Alternativinterpretationen verdecken.

Persönlich
Nicht nur spezifische Erwartungen und Theorien nehmen Einfluss auf die Interpretation. Auch die grundlegende Weltsicht der Forscher tut dies. Und diese setzt schon einige Schritte vorher an, indem sie lenkt, zu welchen Themenbereichen überhaupt geforscht wird, wie der Versuchsaufbau ist, was damit letztlich gefunden werden kann und wird, und so weiter. So ist es auch zu erklären, dass es zu manchen Themen deutlich mehr Forschung gibt als zu anderen – und dies wiederum kann zu Verzerrungen führen:
Dass große Unterschiede zwischen den Geschlechtern bestehen ist Teil des gesellschaftlichen Weltbildes. Dementsprechend gibt es viele wissenschaftliche Arbeiten zu eben diesem Thema, was alleine die subjektive Wichtigkeit dieser Unterschiede betont. Berücksichtigt man nun noch den Publication Bias (siehe "logisch-interpretatorisch"), ist klar ersichtlich, dass es leicht zur Überschätzung der beobachteten Unterschiede kommen kann.

Logisch-interpretatorisch
Besonders bei der Untersuchung biologischer oder persönlichkeitsbedingter Unterschiede tritt leicht der Fehler einer unangebrachten Kausalinterpretation auf: die Auswirkungen dieser Faktoren kann in der Regel nur korrelativ untersucht werden, was eine Kausalinterpretation der Ergebnisse verbietet (siehe Korrelation).

Eine Übergeneralisierung tritt beispielsweise auf, wenn sich ausschließlich auf die Signifikanz eines Unterschiedes konzentriert wird, der aber so minimal ist, dass er kaum Auswirkungen hat. Eine Berücksichtigung der Effektstärke und eine Analyse der unterliegenden Verteilungen kann hier Abhilfe schaffen.

Beispiel:
Unterschiede zwischen Männern und Frauen in Mathematiktests können z.B. durch eine leichte Verschiebung in den Verteilungen entstehen – dadurch mag eine Gruppe im Mittel zwar eine niedrigere Punktzahl erreichen, als die andere. Die jeweils schlechtesten und jeweils erfolgreichsten Personen beider Gruppen können aber trotzdem gleichauf liegen. Damit ist eine Interpretation im Sinne von „Männer sind in Mathematik besser oder schlechter“ unangebracht und eine Generalisierung auf alle Individuen im Sinne von „Du bist eine Frau, also bist Du in Mathematik besser oder schlechter als ein Mann“ unangebracht.

Ein weiterer interpretatorischer Fehler liegt vor, wenn eine Gruppe unreflektiert oder grundlos als Norm gesetzt wird. Dies schafft verzerrte Verhältnisse und Auslegungen der Daten.
Beispiel:
Bei Unterschieden zwischen Männern und Frauen in einem Selbstvertrauens-Fragebogen werden die Frauen verzerrt als „weniger selbstbewusst als die Männer“ bezeichnet und Trainings für Selbstvertrauen empfohlen.

Eine Verzerrung, die ein großes Problem im Wissenschaftssystem darstellt, ist der Publication Bias. Damit Studien der Öffentlichkeit zugänglich sind, müssen sie publiziert werden. Studien, die jedoch keine signifikanten Unterschiede (etwa zwischen den Geschlechtern) finden, sind aus verschiedenen Gründen schwerer zu publizieren (z.B. wegen des möglichen Vorwurfs mangelnder "statistischer Power") als Studien, welche Unterschiede finden. Somit entsteht in der wissenschaftlichen Literatur und in der Öffentlichkeit ein verzerrtes Bild, welches die Unterschiede deutlich überschätzen lässt.