Korrelations- und Mittelwertsfalle
Experimente mit großen Stichproben bergen die Gefahr, fälschlicherweise von Gruppenergebnissen auf den Einzelfall zu schließen. Konkret betrifft dies zwei Probleme: die Korrelationsfalle und die Mittelwertsfalle.
Beide basieren auf demselben Prinzip. Wenn die an einer Stichprobe erhobenen Daten signifikante Korrelationen ergeben, so gelten diese nur für die Stichprobe als Ganzes, dürfen jedoch nicht auf den Einzelfall herunter gebrochen werden.
Als Korrelationsfalle wird eine falsche Schlussfolgerung von an einer Stichprobe gewonnenen Korrelationen auf Einzelfälle bezeichnet.
Beispiel:
Die intraindividuelle Korrelation zwischen den Gefühlen Freude und Ärger ist stark negativ – wer freut sich schon, wenn er sich ärgert? Die Korrelation derselben Daten wird jedoch null, wenn eine große Anzahl an Personen getestet und die Daten zusammen betrachtet werden. Das liegt daran, dass einige Menschen Emotionen stark und andere schwach erleben. Das Ergebnis der Stichprobe würde also nahe legen, dass es keinen linearen Zusammenhang (weder positiv noch negativ) zwischen Ärger und Freude gibt – dieses Ergebnis ist jedoch im Einzelfall falsch.
Als Mittelwertsfalle wird eine falsche Schlussfolgerung von an einer Stichprobe gewonnenen Mittelwerten auf Einzelfälle bezeichnet - also ein falscher Rückschluss von einem an mehreren Personen gemittelten Ergebnis auf eine individuelle Versuchsperson. Die gemittelten Ergebnisse repräsentieren jedoch nur eine Gesetzmäßigkeit für die Stichprobe als Ganzes. Die Effekte gelten nicht zwangsläufig für den Einzelfall. Um einen solchen Fehler bei Randomisierungsexperimenten zu umgehen, sollte im Ergebnisbericht immer der Anteil der Personen angegeben werden, welcher sich stichprobenkonform verhält. Dies geschieht durch die Angabe von Streuwerten.
Beispiel:
Eine Schulklasse hat in einem Mathetest durchschnittlich 20 Punkte erreicht. Das bedeutet jedoch nicht unbedingt, dass die Punkte der Schüler nahe um diesen Wert streuen. Es wäre auch möglich, dass die eine Hälfte der Klasse Null und die andere Hälfte 40 Punkte erreicht hat.
Ein alter Statistikerwitz verdeutlicht ebenfalls genau das Problem der Mittelwertsfalle: "Ein Jäger schießt auf einen Hasen. Der erste Schuss geht 1m links vorbei, der zweite Schuss geht 1m rechts vorbei. Statistisch ist der Hase tot."