Qualitativer Modellvergleich

Besteht stärkeres Interesse am relativen Verhältnis der empirischen und simulierten Daten oder handelt es sich beim Untersuchungsgegenstand um ein zu komplexes Phänomen, sollte ein qualitativer Modellvergleich angewandt werden, um zu einer korrekten Einschätzung zu gelangen.

Dessen Durchführung kann auf verschiedene Weisen erfolgen:

• Es gibt die Möglichkeit, die Übereinstimmung von Datenmustern zu untersuchen. Ein solches Muster (= pattern) wird nach Grimm (2005) als zentrales Merkmal des Systems, welches sich in den Daten widerspiegelt und oftmals einen Indikator für wichtige unterliegende Prozesse oder Strukturen darstellt, beschrieben. Kann ein Modell charakteristische Muster nicht reproduzieren, spricht dies gegen die Gültigkeit des Modells.
• Der qualitative Vergleich verschiedener Modelle ist zudem mittels neuer Vorhersagen möglich. Ist ein Modell in der Lage, Verhalten zu zeigen oder Daten hervorzubringen, welche aufgrund theoretischer Überzeugungen vorhergesagt wurden, stellt dies Evidenz für das entsprechende Modell dar.

Ein weiterer alternativer Ansatz baut auf dieser Überprüfungsmethode auf. Es handelt sich um die sogenannte „Measure of Surprise“ Methode, welche unter anderem im Artikel von Honing (2006) beschrieben wird. Die grundlegende Annahme dieses Ansatzes lautet, dass die Fähigkeit eines Modells, ein unerwartetes oder komplexes Ereignis oder Datenmuster richtig vorherzusagen, stärkere Evidenz für die Gültigkeit des Modells liefert als die Vorhersagefähigkeit eines einfachen oder bereits erwarteten Ergebnisses. Ein Modell wird somit besser bewertet, wenn es komplexe Formen eines Datenmusters mit sogenannten „non-smooth shapes“ (= plötzlichen starken Änderungen des Verlaufs) vorhersagen kann.

Wie auch beim quantitativen Modellvergleich ist vor der Durchführung zu beachten, dass die optimalen Parameterwerte der jeweiligen Modelle ausgewählt werden, da ansonsten aufgrund ungünstiger Parameterschätzwerte die Vorhersagefähigkeit von Modellen als geringer eingeschätzt wird und es zu einer fehlerhaften Modellauswahl kommen kann.

Literatur

• Grimm, V., Revilla, E., Berger, U., Jeltsch, F., Mooij, W. M., Railsback, S. F., ... & DeAngelis, D. L. (2005). Pattern-oriented modeling of agent-based complex systems: lessons from ecology. science, 310(5750), 987-991.
• Honing, H. (2006). The role of surprise in theory testing: Some preliminary observations. In Proceedings of the international conference on music perception and cognition (pp. 38-42).