Fehler: Quellen, Korrekturen & Konsequenzen

Konsequenzen von Fehlern

Fehler in der (psychologischen) Forschung haben unter Umständen weitreichende Konsequenzen. Im Folgenden geht es vor allem um Fehler, welche die Aussagekraft eines Forschungsergebnisses beeinträchtigen – meist also um Fehler aufgrund geringer [interner Validität]. Je nach Art und Grobheit des Fehlers sind Versuchsteilnehmer, die wissenschaftliche Community oder sogar die breite Öffentlichkeit von den Folgen betroffen.
'Schäden der Teilnehmer entstehen u.U. bereits dann, wenn im Experiment ein Mangel interner Validität vorliegt. So harmlos das in Bezug auf die Versuchspersonen zunächst erscheinen mag: Das Experiment ist dadurch wertlos, Probanden haben ihre Zeit für nichts im Labor verschwendet und sich gegebenenfalls Unannehmlichkeiten unterziehen müssen. Ähnlich problematisch ist es, wenn ein Versuchsablauf schlecht geplant ist: es kann es zu zeitlichen Verzögerungen, mangelnden Sicherheitsvorkehrungen oder chaotischen Abläufen kommen, was ebenfalls unnötige Unannehmlichkeiten der Probanden verursacht.

Schäden an der Community und der breiten Öffentlichkeit können besonders dann auftreten, wenn ein Fehler nicht oder erst bemerkt wird, nachdem der Forschungsbericht bereits publiziert wurde: es kommt so falsche Information in den Umlauf, die andere Wissenschaftler möglicherweise als Basis für ihre weitere Forschung nutzen. Jedes Jahr werden etliche veröffentlichte wissenschaftliche Artikel auf Grund von Fehlerbefunden zurückgezogen (http://retractionwatch.com/). Leider ist es nahezu unmöglich, sämtliche Arbeiten, die sich auf eine fehlerhafte Quelle beziehen, ausfindig zu machen. Letztlich sind etliche Arbeiten miteinander vernetzt und es ist sehr schwer, einen einmal gemachten Fehler wieder vollständig zu eliminieren. Wird ein Fehler entdeckt, so muss dieser durch ein nachträglich publiziertes Erratum korrigiert werden oder der Artikel sogar vollständig zurückgezogen werden. Doch trotzdem kann es passieren, dass sich bis dahin publizierte andere Arbeiten auf den falschen Artikel beziehen: zurückgezogene Artikel werden noch bis zu sieben Jahre von anderen Forschern zitiert. (Pfeifer&Snodgras, 1990)
Wenn sich falsche Befunde in der Wissenschaft etablieren, erreichen diese schließlich auch die Öffentlichkeit, beispielsweise durch die Medien, und entfalten dadurch eine unerwünschte Breitenwirkung. Neben der Entstehung von falschen alltagspsychologischen Annahmen können diese Befunde aber auch im Heil- und Bildungswesen Anwendung finden – und möglichweise keine, oder eine andere Wirkung zeigen als die erwartete.

Quellen von schuldhaften Fehlern

Die hier diskutierten Fehler entstehen im Forschungsprozess entweder unabsichtlich, oft durch einen Mangel an Kompetenz und methodischem Wissen, fahrlässig durch Nachlässigkeit, oder absichtlich durch aktiven Datenmissbrauch:

Mangelnde Kompetenz spiegelt sich zum einen in schlechten Versuchsdesigns nieder: dadurch mangelt es der Untersuchung möglicherweise an interner Validität.
Es soll die Wirksamkeit eines neuen Heilungsprogramms für stotternde Menschen getestet werden. Es konnten insgesamt 25 Versuchspersonen zwischen 12 und 43 Jahren mit einer Stotter-Störung rekrutiert werden. Die Probanden werden in Experimental- und Kontrollgruppe aufgeteilt. Die Kontrollgruppe erhält kein Treatment mit dem neuen Programm. Es finden sich in anderen Studien bereits Befunde, die darauf hindeuten, dass die allgemeinen Heilungschancen stark vom Alter abhängig sind. Beispielsweise könnte der Fehler im Versuchsdesign darin liegen, dass anstatt einer angemessenen Blockbildung (mit dem Alter als blockbildende Variable) eine einfache Randomisierung der Versuchspersonen vorgenommen wird. Aufgrund der kleinen Stichprobe kann man nicht davon ausgehen, dass das konfundierende Merkmal "Alter" in beiden Gruppen gleich hoch ist. Dies müsste zumindest kontrolliert werden!

Bei der Datenauswertung können weitere Fehler auftreten. Unzureichend qualifizierte Forscher könnten falsche statistische Analysen wählen oder diese falsch interpretieren und so erneut unzutreffende Resultate erzielen.

Auch Nachlässigkeit ist eine häufige Fehlerquelle. Bevor ein Studiendesign erstellt wird, muss eine umfangreiche Literaturrecherche über bereits bestehende Befunde durchgeführt werden. Wer hier nicht sauber arbeitet, dem mangelt es am nötigen Wissen, um ein wissenschaftlich fundiertes Design zu gestalten. Ungeeignetes Material und ein schlechtes Versuchsdesign führt wiederum zu fraglicher (interner) Validität.
Möglicherweise werden konfundierende Variablen übersehen, das interessierende Konstrukt wird falsch operationalisiert, eventuelle Messwiederholungen folgen zu schnell /zu spät aufeinander etc.
Ein schlechter Versuchsaufbau hat schlechte Erhebungsdaten zur Folge. Wenn diese schlechten Daten ausgewertet werden, kann man keine aussagekräftigen Ergebnisse mehr erwarten.

Zu den aktiv herbeigeführten Fehlern gehört der systematische Datenmissbrauch:

Datenfälschung: Forscher können Daten erfinden, beispielsweise um ihre Hypothesen bestätigen zu können oder signifikante "Ergebnisse" eher zu erhalten und somit die Chancen auf eine Publikation ihrer Arbeiten zu erhöhen, wie dieses [1] erläutert. Wird solches Fehlverhalten entdeckt, werden publizierte Artikel wegen Fälschung zurückgezogen.
Unerlaubter Datenausschluss: Ein Forscher hat häufig bestimmte Erwartungen an die Ergebnisse seines Experiments. Wenn die tatsächlichen Daten nicht den Erwartungen entsprechen, werden Daten teilweise unerlaubt ausgeschlossen oder verschwiegen. Von einer Extremform des Datenausschlusses, dem sogenannten "p-Hacking", spricht man, wenn Daten solange umsortiert und „unpassende Daten“ solange reduziert werden, bis die Ergebnisse ein statistisches Signifikanzniveau (p < 0,05) erreichen. Erlaubt dagegen sind Datenausschlüsse, wenn es (technische) Mängel bei der Erhebung gab. Solche Ausschlüsse müssen aber im Forschungsbericht offengelegt werden.
Datenfrisieren: Beim Datenfrisieren werden Daten zwar nicht komplett erfunden, aber sie werden in ihren Werten so abgeändert, dass sich die Ergebnisse an die Forschungshypothese annähern.
Datenfoltern: Auf erhobene Daten in einem Experiment können grundsätzlich verschiedene statistische Analysen gerechnet werden. Welche Analyse in welchem Experiment die richtige ist, ist durch die vorher aufgestellte apriori - Versuchshypothese determiniert. (Beispiel siehe unten)
Natürlich kommt es vor, dass das statistische Verfahren (und somit die theoretische Überlegung dahinter) keine (signifikanten) Effekte hervorbringt. Korrekterweise müsste im Forschungsbericht genau dieser Befund dargelegt werden. Danach besteht die Möglichkeit, explorative a-posteriori Hypothesen aufzustellen. Das bedeutet, dass man nachträglich neue Hypothesen generiert und entsprechende statistische Analysen mit denselben Daten rechnet. Es ist hierbei aber unabdingbar, im Forschungsbericht genau zu kennzeichnen, dass es sich hierbei um die explorative Analyse von aposteriori-Hypothesen handelt. Keinesfalls dürfen explorative Analysen und die Analyse von apriori-Hypothesen vermischt werden.
Das Datenfoltern beschreibt den unerlaubten Vorgang, bei dem Forscher zuerst sämtliche Analysen rechnen, bis ein zufriedenstellendes Ergebnis auftaucht, und anschließend das angewandte Verfahren als Hypothesentest darstellen, also nachträglich eine Theorie und Hypothese zu ihren Ergebnissen formulieren.

BEISPIEL
Man möchte herausfinden, inwiefern sich die wahrgenommene Unterstützung auf Stressreaktivität (AV) auswirkt.
Eine mögliche Versuchshypothese: Je höher die wahrgenommene soziale Unterstützung ist, desto geringer wird der Anstieg des Cortisolspiegels nach/während eines Stresstests sein.
Leider kann die Hypothese mit den Ergebnissen nicht bestätigt werden. Im Nachhinein überlegt sich der Forscher, dass es möglicherweise Geschlechtsunterschiede in der Wirkung sozialer Unterstützung gibt. Er testet auf Geschlechtsunterschiede und findet tatsächlich einen signifikanten Effekt bei den Frauen. Statt diese zusätzliche Berechnung in seinem Forschungsbericht als Aposteriori-Analyse zu kennzeichnen, formuliert er seine Hypothesen um und tut so, als ob die Überlegung zu den Unterschieden zwischen w/m schon vor der Untersuchung bestand. Somit kann er vortäuschen, dass seine vorher aufgestellten Hypothesen durch den Versuch bestätigt wurden (=Datenfoltern).

Korrektur von Fehlern

Wissenschaftler sind dazu verpflichtet, Fehler sowohl in eigenen als auch in fremden Arbeiten zu korrigieren bzw. zu melden.
Möglicherweise entstehen im Laufe der wissenschaftlichen Karriere eines Forschers weitere Arbeiten, die Gegenbefunde zu früheren (eigenen) Berichten darstellen. In diesem Falle ist man verpflichtet, diese Gegenbefunde zu publizieren.
Wer Fehler in eigenen Studien erst entdeckt, nachdem sie bereits veröffentlicht wurden, muss eine sog. Correction (=Korrektur von Teilaspekten, auch: Erratum) einsenden oder im Notfall eine Retraction (=Rückzug der ganzen Studie) veranlassen.
Wenn beim Lesen von anderen Forschungsberichten Fehler oder Kritikpunkte auffallen, besteht die Möglichkeit, eine Kritik zu einer Arbeit einzureichen. Der Autor des Artikels kann öffentlich auf diese Kritik reagieren, womit eine gewisse Transparenz für die wissenschaftliche Community gewährleistet wird.

Aufdecken absichtlichen Fehlverhaltens
Wenn die Vermutung besteht, dass in einer Studie ganz bewusst fehlerhafte Daten produziert wurden, sind Wissenschaftler dazu angehalten, dies mitzuteilen. Man kann in diesem Fall den Autor der Studie direkt darauf ansprechen mit der Bitte, die Analysen nochmals zu überprüfen (informale Maßnahme). Wenn es sich um gravierendere Fehler handelt, sollte eine offizielle Vertrauensperson (Ombudsmann) informiert werden, welche gegebenenfalls eine Untersuchungskommission zur Prüfung der Arbeit beauftragt.
(Als Beispiel [2] die Website für Gute wissenschaftliche Praxis der TU Dresden)