Valide Schlüsse

Valide(re) Schlüsse

Bei der Interpretation von Daten kommt es nicht nur auf die Objektivität und die Minimierung von Verzerrungen an – die gezogenen Schlussfolgerungen sollten auch valide sein, d.h. es sollten sich keine Widersprüche oder Inkonsistenzen in ihnen ergeben. Die folgenden Hinweise sollen helfen, valide Schlüsse aus erhobenen Daten zu ziehen.

Dies beginnt mit der 'inneren Validität: die Studie sollte logisch konsistent aufgebaut sein. Diese Herausforderung stellt sich bereits in der Versuchsplanung.

Weiterhin gibt es verschiedene statistische Ansatzpunkte, die zur Validität beitragen können.

• Die Regeln der Skalenniveaus sollten eingehalten werden, d.h. Verhältnisaussagen können beispielsweise nur anhand von Verhältnisskalen gemacht werden (und nicht etwa anhand von Nominalskalen).
• Der Fehlschluss des Mittelwertes ist zu vermeiden: Eine Generalisierung von Unterschieden im Gruppenmittelwert auf alle Individuen der Gruppen ist unzulässig und führt zu invaliden Ergebnissen.
• Die Ergebnisse von Omnibustests müssen genauer untersucht werden, denn sie sagen nur, dass zwischen vielen Bedingungen irgendwo ein Unterschied war. Zwischen welchen Bedingungen genau, können nur Einzelvergleiche zeigen.
• Schließlich sollten Nullbefunde daraufhin untersucht werden, ob die Teststärke (Power) hoch genug war.

Empiristische Maßnahmen beziehen sich auf die Verbindung von Daten und Schlüssen auf das zur untersuchende Konstrukt.

Dementsprechend sollte jeder Schluss, den man zieht, mit konkreten Daten belegt werden können.

Des Weiteren sollte man bestmögliche Hinweise auf die vorliegende Konstruktvalidität haben. (Beispiel: ein Operationalisierung des Konzepts Rasse anhand der Hautfarbe ist schon deshalb in sich ungültig, da Hautfarben alle Helligkeitstöne von sehr hell bis sehr dunkel umfassen und jede Grenzziehung künstlich sein muss.)

Schließlich sollte die klare Trennung von Beschreibung und Analyse eingehalten werden: eine Beschreibung erfolgt komplett ohne Bewertung oder gar Spekulationen über Kausalitäten.

Die kausalen Aspekte mahnen zur Unterscheidung von korrelativen und kausalen Zusammenhängen. Dies gilt zum einen für recht offensichtliche Merkmale wie biologische, persönlichkeitsbedingte oder sozidemographische Faktoren – aufgrund der mangelnden Manipulierbarkeit dieser organismischen Variablen sind kausale Schlüsse von diesen Faktoren auf gemessene Unterschiede unzulässig. Weniger offensichtlich aber ebenso zu beachten ist die mangelnde Kausalität aber bei fast allen neurowissenschaftlichen Studien. Wird in einer fMRT-basierten Studie die neuronale Aktivität in einer Hirnregion gemessen, zu sagt dies noch nichts über die Notwendigkeit dieser Region für die Untersuchten kognitiven Prozesse aus: die Hirnaktivität ist nur eine AV, ist also nur mitgemessen. Will man wissen, ob ein kognitiver Prozess tatsächlich in einer bestimmten Hirnregion zu verorten ist, so müssten man die Hirnaktivität als UV einbringen. Dies ist aktiv nur mittels Transkranielle Magnetstimulation zu erreichen.

Die vermutlich größte (bzw. häufigste) Gefahr für die Validität von Schlussfolgerungen sind jedoch Übergeneralisierungen. Ergebnisse sind nur komplett valide in Bezug auf die untersuchte Gruppe – je unähnlicher die beschriebene Gruppe ihr ist, desto weniger anwendbar sind die erlangten Erkenntnisse.