Vergleichsmaße

Im Rahmen eines quantitativen Modellvergleichs wird die Balance zwischen möglichst geringer Parameteranzahl und guter Vorhersagefähigkeit verschiedener Modelle untersucht, um die Wahl eines optimalen Modells zu ermöglichen. Obwohl kein einheitliches Kriterium für diese Entscheidung existiert, kann die Berechnung von Vergleichsmaßen (auch als Informationskriterien bezeichnet) als Orientierung dienen. Diese Kriterien berücksichtigen nicht nur den Fit der Modelle an die empirischen Daten, sondern beachten zusätzlich die Anzahl der verwendeten Parameter. Dies ist wichtig, damit komplexere Modelle nicht grundsätzlich als besser eingestuft werden, weil sie exakter an die aktuell vorliegenden Daten angepasst werden können. Das mit Hilfe der Vergleichsmaße ermittelte optimale Modell soll dabei das bestmögliche Verhältnis zwischen hoher Vorhersagefähigkeit und geringer Komplexität besitzen. Zu den am häufigsten verwendeten Vergleichsmaßen gehören das Akaike-Information-Criterion (AIC) und das Bayesian-Information-Criterion (BIC).

AIC

Das Akaike-Information-Criterion (AIC) wird zum Vergleich mehrerer Modelle basierend auf ihren Log-Likelihoodwerten verwendet. Je kleiner der AUC-Wert ist, umso besser ist der Fit des Modells. Der Log-Likelihoodwert ist umso größer, je besser das Modell die realen Daten vorhersagen kann. Um komplexere Modelle jedoch nicht grundsätzlich besser zu bewerten, weil sie exakter an die aktuell vorliegenden Daten angepasst werden können und somit ein „overfitting“ des Modells zu vermeiden, wird neben dem Log-Likelihoodwert des Modells zusätzlich die Anzahl der Parameter als Summand in die Berechnung des Vergleichsmaßes integriert.

Die Ermittlung des AIC für ein Modell m erfolgt mithilfe folgender Formel:

AIC_m=-2*ln(L_m)+2*|k_m|

mit L_m … Likelihood des Modells k_m … Anzahl der Parameter