Problem der freien Parameter

Im Rahmen eines quantitativen Modellvergleichs ermittelt man die Vorhersagegüte verschiedener Modelle, indem der Fit zwischen den empirisch erhobenen und den auf dem Modell basierenden simulierten Daten bestimmt wird. Die Fähigkeit eines Modells, vorliegende Daten möglichst exakt zu beschreiben, ist dabei auch von der Parameteranzahl abhängig. Je mehr freie Parameter ein Modell besitzt, desto genauer kann es an die Werte eines bestimmten Datensatzes angepasst werden.

Diese zunächst positive Eigenschaft birgt jedoch auch Probleme:

• „Overfitting“

Empirische Datensätze spiegeln nicht ausschließlich wahre Werte wider. Verzerrungseffekte und Messfehler führen zu Rauschen in den Ergebnissen, welches zur Folge hat, dass die gemessenen Daten Abweichungen zu den wahren Werten aufweisen. Wird durch die Verwendung einer großen Anzahl an Parametern versucht, den zur Modellbildung verwendeten Datensatz exakt nachzubilden, werden nicht nur die wahren Werte modelliert, sondern auch das in den vorhandenen Daten enthaltene Rauschen. Dieser Zustand wird als „Overfitting“ oder auch „Überanpassung“ bezeichnet. Ein überangepasstes Modell erklärt die zur Modellentwicklung verwendeten Daten meist sehr gut, ist jedoch schlechter zur korrekten Vorhersage neuer Daten in der Lage.

Die Verwendung einer sehr geringen Parameteranzahl dagegen kann zu einem „underfitted“ Modell führen, welches sich ebenfalls nur unzureichend zur Beschreibung der Daten eignet.

• Erhöhung der Fehleranfälligkeit bestimmter Fittingalgorithmen

Die Anpassung eines Modells an die empirischen Daten erfolgt mithilfe eines Fittingalgorithmus, welcher den Wert der Fehlerfunktion durch schrittweises Anpassen der Parameterwerte zu minimieren versucht. Je mehr Parameter ein Modell besitzt, desto wahrscheinlicher ist es jedoch, dass die Fehleroberfläche lokale Minima besitzt, welche die Fehleranfälligkeit bestimmter Fittingalgorithmen wie z.B. des Gradient Descent Algorithmus erhöhen.

• Erschwerung der Parameterinterpretierbarkeit und des Verständnisses

Modelle stellen einen wissenschaftlichen Weg zur Darstellung von Komplexität dar. Sie sind eine vereinfachte Abbildung der Realität, welche auf wesentliche Merkmale und Relationen reduziert ist und somit ein tiefergehendes Verständnis ermöglicht. Besitzt ein Modell zu viele Parameter, ist deren Interpretierbarkeit durch die erhöhte Komplexität erschwert.