Retestreliabilität

Die Retestreliabilität gibt die Zuverlässigkeit der Daten bei mehrfacher Durchführung des gleichen Tests zu unterschiedlichen Zeitpunkten an.
Die Daten einer Messung werden mit den Daten einer folgenden Messung an derselben Stichprobe korreliert. Das heißt, es wird der Grad des Zusammenhangs berechnet. .
Ab einem Wert von r > (+/-) 0.8 spricht man von einer guten Reliabilität, hohe Reliabilität liegt ab einem Wert von r> (+/-) 0.9 vor. .

Bei der Retestreliabilität können Probleme auftreten. So kann es zum Beispiel sein, dass sich eine Versuchsperson bei einer zweiten Messung an Items erinnert oder "dazugelernt" hat (siehe Wiederholungsmessung/Within-subjects Design).
Außerdem steckt hinter der Retestreliabilität die Annahme, dass man ein unveränderliches Merkmal erfasst. Wenn man nun aber in Betracht zieht, dass sich das Merkmal doch zeitlich verändern kann (z.B. Zufriedenheit mit steigendem beruflichem Erfolg), kann eine geringe Retestreliabilität entweder auf eine geringe Testreliabilität oder auf die Zeitabhängigkeit bzw. Instabilität des Merkmals zurückgeführt werden und ist damit nicht eindeutig. Weitere Probleme äußern sich im zeitlichen Aufwand sowie der zu wahrenden Anonymität der Versuchspersonen.

Replikation

Replikation bedeutet eine mehrfache Untersuchung derselben Fragestellung. Wenn wiederholt durchgeführte Versuche dieselben Ergebnisse liefern, können diese als gesichert gelten und auf die Population generalisiert werden. Deshalb ist es das Ziel von wissenschaftlichen Experimenten, replizierbare Ergebnisse hervorzubringen. Man sagt, dass die Ergebnisse von Experimenten dann als gesichert und generalisierbar gelten, wenn mindestens drei erfolgreiche Replikationen vorliegen.

Es wird zwischen direkter und systematischer Replikation unterschieden.

Eine direkte Replikation ist die Wiederherstellung eines Experiments mit demselben Versuchsleiter, derselben Intervention und denselben Rahmenbedingungen. Nur der Zeitpunkt und die teilnehmenden Versuchspersonen unterscheiden sich vom ursprünglichen Versuch.
Eine direkte Replikation mit derselben Person (intraindividuell, z. B. in einem ABAB-Versuchsplan) verbessert die interne Validität. Direkte Replikationen zur Absicherung von Ergebnissen mit verschiedenen Personen (interindividuell) setzen voraus, dass diese sich nicht zu stark voneinander unterscheiden. Sie sollten möglichst homogen sein oder nach homogenen Kriterien sortiert werden. Erfolgreiche Replikationen mit heterogenen Personen erhöhen vor allem die externe Validität von Versuchen.

Systematische Replikation bedeutet, dass ein Experiment mit verschiedenen Bedingungsvariationen repliziert wird. Es werden verschiedene Settings, Versuchsleiter, Rahmenbedingungen und Störvariablen kombiniert und variiert. Hier bestehen unendlich viele Möglichkeiten – man kann unendlich lange nach Ausnahmen und Gründen dafür suchen. Erfolgreiche systematische Replikationen erhöhen sowohl die interne als auch die externe Validität von Untersuchungen.