Aufgaben - Fitting & Modellvergleich

Der folgenden Bereich enthält Fragen zum Prozess des Fittings und dem Vergleich von Modellen. Alle Fragen sind Multiple Choice Fragen, d.h. es können immer mehrere Antworten richtig sein. Klicken Sie zur Beantwortung einer Frage die korrekten Antwortmöglichkeiten an. Um Ihre Ergebnisse auszuwerten, wählen Sie bitte den Button "Speichern" am unteren Ende der Seite.

Für jede vollständig richtig beantwortete Frage erhalten Sie einen Punkt. Für falsche beantwortete Fragen werden Ihnen keine Punkte abgezogen. Sie können diese Einstellung jedoch beliebig verändern. Ihre Gesamtpunktzahl finden Sie am unteren Seitenende.

Pluspunkt für eine richtige Antwort:
Punkte für eine falsche Antwort:
Ignoriere die Fragen-Koeffizienten:

1 Welche Vorteile bringt die Log-Likelihood-Methode mit sich?

	Der Rechenaufwand verringert sich durch die Vermeidung von Multiplikation.
	Sehr kleine Werte des Fehlermaßes werden vermieden.
	Das Fehlermaß wird besser interpretierbar.
	Die Passung des Modells zu den Daten wird auf Werte zwischen 0 und 1 normiert.

2 Im Rahmen eines quantitativen Modellvergleichs werden häufig Vergleichsmaße berechnet. Welche Aussagen über Vergleichsmaße sind wahr?

	Vergleichsmaße berücksichtigen neben der Vorhersagefähigkeit des Modells die Komplexität der verwendeten Berechnungsvorschrift.
	Zwei Modelle, welche gleich gut in der Lage sind, vorliegende empirische Daten zu beschreiben, können in Abhängigkeit ihrer Komplexität unterschiedliche Vergleichsmaßwerte besitzen. Je weniger komplex das Modell ist, desto höher sind diese Werte.
	Vergleichsmaße berücksichtigen neben der Vorhersagefähigkeit des Modells die Anzahl der verwendeten Parameter.
	Zwei Modelle, welche gleich gut in der Lage sind, vorliegende empirische Daten zu beschreiben, können in Abhängigkeit ihrer Komplexität unterschiedliche Vergleichsmaßwerte besitzen. Je komplexer das Modell ist, desto höher sind diese Werte.

3 Welche Voraussetzungen müssen für die Anwendung der Maximum-Likelihood-Methode erfüllt sein?

	Die Verteilung der Daten muss bekannt sein.
	Die Stichprobe muss möglichst groß sein.
	Die Datenpunkte müssen statistisch voneinander abhängig sein.
	Die Daten müssen eine geringe Streuung haben.

4 Welche Folgen können aus der Verwendung unterschiedlich großer Parameteranzahlen beim Prozess des Fittings resultieren?

	eine hohe Parameteranzahl kann dazu führen, dass das Modell nur unzureichend zur Beschreibung der vorliegenden Daten geeignet ist
	eine zu geringe Parameteranzahl führt zu „Underfitting“
	eine hohe Parameteranzahl kann dazu führen, dass das Modell nur schlecht zur korrekten Vorhersage neuer Daten in der Lage ist
	viele freie Parameter führen zu „Overfitting“

5 Welche Aussagen über den Einsatz von quantitativen und qualitativen Modellvergleichen treffen zu?

	Ein qualitativer Modellvergleich sollte eingesetzt werden, wenn es sich beim Untersuchungsgegenstand um ein sehr komplexes Phänomen handelt.
	Ein quantitativer Modellvergleich sollte eingesetzt werden, wenn stärkeres Interesse am relativen Verhältnis der empirischen und simulierten Daten besteht.
	Ein qualitativer Modellvergleich ermittelt den Fit zwischen den empirisch erhobenen und den basierend auf dem Modell simulierten Daten zur Bestimmung der Vorhersagegüte des Modells.
	Ein qualitativer Modellvergleich untersucht die Übereinstimmung der Datenmuster zwischen empirischen und simulierten Daten.

6 Welche Methoden werden bei der Durchführung eines qualitativen Modellvergleichs angewandt?

	Untersuchung der Übereinstimmung des Modells mit bestehenden Theorien
	Untersuchung der Übereinstimmung von Datenmustern
	Untersuchung des Fits zwischen empirisch erhobenen und simulierten Daten
	„Measure of Surprise Methode“

7 Welche Probleme hat das Simulated Annealing?

	Es müssen viele Punkte der Fehlerfunktion gleichzeitig evaluiert werden.
	Optima, die weit weg vom Startpunkt liegen, können übersehen werden.
	Lokale Minima können nicht verlassen werden.
	Ein gefundenes Optimum kann im Verlauf wieder verloren gehen.

8 Wie wird im Simplexverfahren nach Nelder und Mead vorgegangen, wenn der reflektierte Punkt besser ist als das bisherige Minimum?

	Der Simplex wird komprimiert.
	Der expandierte Punkt wird berechnet.
	Der kontrahierte Punkt wird berechnet.
	Der reflektierte Punkt ersetzt direkt das bisherige Minimum.

9 Was versteht man unter einem Simplex?

	den einfachsten Weg vom Startpunkt zum Minimum
	den Vektor, der in Richtung des steilsten Gefälles zeigt
	die einfachste Form, die sich in einem Raum mit gegebener Dimensionalität aufspannen lässt
	den Punkt mit dem geringsten Wert der Fehlerfunktion

10 Welche Probleme können beim Data Fitting auftreten?

	Stagnation des Algorithmus aufgrund globaler Minima
	Abbruch des Algorithmus aufgrund zu hoher Komplexität der Fehlerfunktion
	Wahl ungünstiger Startparameterwerte
	vorzeitiger Abbruch des Algorithmus an Stellen mit sehr flachem Anstieg

11 Was versteht man unter der Fitness beim Data Fitting mit genetischen Algorithmen?

	die Anzahl der Individuen pro Population
	die Ausdauer des Algorithmus beim Suchen des Minimums
	die Parameterwertkombination eines Punktes
	den Wert der Fehlerfunktion

12 Wobei handelt es sich um gebräuchliche Abweichungsmaße beim Data Fitting?

	Maximale Plausibilität
	Fehlerquadratsumme
	Cohen's d
	Log-Likelihood

13 Welche Eigenschaften treffen auf die Fehlerquadratsumme zu?

	Große Abweichungen bekommen durch das Quadrieren mehr Gewicht bei der Optimierung als kleine.
	Datenpunkte am Rand der Punktewolke werden weniger stark gewichtet als Datenpunkte in der Mitte.
	Ein gegenseitiger Ausgleich positiver und negativer Abweichungen wird verhindert.
	Die Fehlerquadratsumme ist als bedingte Wahrscheinlichkeit für die Daten bei einer bestimmten Verteilung zu interpretieren.

14 Welche Aussagen über AIC und BIC sind wahr?

	Stichprobengröße > 12: BIC des Modells ist größer als AIC
	AIC und BIC sind unabhängig von der Stichprobengröße des Modells
	Berechnungen von AIC und BIC basieren auf den Log-Likelihoodwerten der Modelle
	Log-Likelihoodwert ist umso kleiner, je besser das Modell die realen Daten vorhersagen kann

15 Welchen Einfluss hat die Temperatur beim Simulated Annealing auf die Wahl des neuen Punktes für die nächste Iteration?

	Sie sorgt dafür, dass gegen Ende der Optimierung ein gefundener Tiefpunkt selten verlassen wird.
	Sie beeinflusst die Wahrscheinlichkeit, dass ein zufällig erzeugter Nachbarpunkt schlechter ist.
	Sie beeinflusst die Anzahl der Nachbarpunkte, die zur Auswahl stehen.
	Sie beeinflusst die Wahrscheinlichkeit, mit der ein schlechterer Punkt akzeptiert wird.

16 Ein qualitativer Vergleich verschiedener Modelle wird oftmals mittels neuer Vorhersagen durchgeführt. Welche Aussagen über diese Methode und ihre Ergebnisse treffen zu?

	die Fähigkeit eines Modells ein unerwartetes Ereignis vorherzusagen liefert stärkere Evidenz für die Gültigkeit eines Modells als die Vorhersagefähigkeit eines bereits bekannten Ereignisses
	ist ein Modell in der Lage, Verhalten zu zeigen oder Daten hervorzubringen, welche aufgrund theoretischer Überzeugung vorhergesagt wurden, stellt dies Evidenz für das entsprechende Modell dar
	ist ein Modell in der Lage, Verhalten zu zeigen oder Daten hervorzubringen, welche aufgrund theoretischer Überzeugung vorhergesagt wurden, ist es redundant und sollte verworfen werden
	die Fähigkeit eines Modells ein bereits bekanntes Ereignis vorherzusagen liefert stärkere Evidenz für die Gültigkeit eines Modells als die Vorhersage eines unerwarteten komplexen Ereignisses

17 Welches Prinzip liegt dem Gradient Descent Algorithmus zugrunde?

	zufällige Wahl von Punkten der Fehleroberfläche
	Akzeptanz der Verschlechterung des Funktionswertes mit sinkender Wahrscheinlichkeit
	Bewegung in Richtung des steilsten Gefälles
	Generierung neuer Punkte durch Reproduktion, Rekombination und Mutation

18 Welche Aussagen über „Noise“ in empirisch erhobenen Daten treffen zu?

	Verzerrungseffekte und Messfehler führen zu Rauschen (= „Noise“) in den Ergebnisdaten
	„Noise“ führt zu Abweichungen zwischen den gemessenen Daten und den wahren Daten
	wird zusätzlich zur Modellierung der wahren Werten auch der in den wahren Werten enthaltene „Noise“ modelliert, spricht man von „overfitting“
	wird eine große Anzahl an Parametern zur Modellierung verwendet, werden nur die wahren Werte modelliert und nicht das der in den Daten enthaltene „Noise“

19 Wann sollte die gewichtete Fehlerquadratsumme eingesetzt werden?

	wenn Ausreißer die Fehlerquadratsumme verzerren
	wenn ein bestimmter Teil der Daten als relevanter erachtet wird als der Rest
	wenn keine Annahmen über die Relevanz bestimmter Datenpunkte vorliegen
	wenn Heteroskedastizität vorliegt

20 Was versteht man unter dem Begriff „Fitting“?

	Prozess der Implementierung eines Entwurfs in den Quellcode einer Programmiersprache
	Prozess der Verwendung eines Beispieldatensatzes zur Schätzung der Parameterwerte eines Modells, um diese bestmöglich an den Datensatz anzupassen
	Prozess der vereinfachten Beschreibung eines wirklichen Systems, um das Verständnis der natürlichen Realität zu erhöhen
	Prozess der Analyse von Systemen durch die Ausführung von Experimenten an einem Modell, um Erkenntnisse über das reale System zu gewinnen

21 Was versteht man unter hierarchischer Modellierung?

	Verschiedene Parameter können auf verschiedenen Ebenen geschätzt werden.
	Die Daten jeder Versuchsperson werden einzeln gefittet.
	Für alle Versuchspersonen wird ein gemeinsames Parameterset ermittelt.
	Parameter werden nach ihrer Bedeutsamkeit für das Modell sortiert.

22 Mit welchen Mechanismen wird bei genetischen Algorithmen die neue Population bestimmt?

	Reproduktion
	Rekombination
	Mutation
	Reanimation
	Intuition
	Evolution

23 Welche Abweichungsmaße werden zur Aufstellung einer Fehlerfunktion verwendet?

	Maximum Likelihood
	Fehlerquadratsummen
	α-Fehler
	p-Wert

24 Welche Aussagen über das sogenannte „Overfitting“ treffen zu?

	kann auftreten, wenn ein Modell nur sehr wenige freie Parameter besitzt
	ein „overfitted“ Modell ist gut zur korrekten Vorhersage neuer Daten in der Lage
	ein „overfitted“ Modell erklärt die zur Modellentwicklung verwendeten Daten meist sehr gut
	es werden nicht nur wahre Werte modelliert, sondern auch das in den Daten enthaltene Rauschen

25 Welche dieser Lösungswege entsprechen einer numerischen Lösung?

	Ermittlung der Regressionskoeffizienten bei der linearen Regression
	Genetische Algorithmen
	Gradientensuchverfahren
	Simplex Algorithmus

26 Die Fähigkeit eines Modells, vorliegende Daten möglichst exakt zu beschreiben, ist von der Parameteranzahl des Modells abhängig. Je mehr freie Parameter ein Modell besitzt, desto genauer kann es an die Werte eines bestimmten Datensatzes angepasst werden. Welche Folgen können aus einer großen Anzahl freier Parameter resultieren?

	„overfitted” Modell
	„underfitted“ Modell
	Erhöhung der Fehleranfälligkeit bestimmter Fittingalgorithmen
	Erschwerung der Parameterinterpretierbarkeit

27 Welche der folgenden Aussagen bezüglich der verschiedenen Teilschritte des „Fittings“ treffen zu?

	eine Fehlerfunktion ermöglicht die schrittweise Veränderung der Parameterwerte, um das Modell besser an den gegebenen Datensatz anzupassen
	eine Fehlerfunktion berechnet, wie sehr das Modell von den Daten abweicht
	ein Fittingalgorithmus ermöglicht die schrittweise Veränderung der Parameterwerte, um das Modell besser an den gegebenen Datensatz anzupassen
	empirische Ergebnisse und simulierte Daten werden durch eine Fehlerfunktion verglichen

28 Wofür werden Abweichungsmaße beim Data Fitting benötigt?

	um das unzuverlässige Fitten nach Augenmaß zu vermeiden
	um zu quantifizieren, wie gut Modelldaten und empirische Daten zusammenpassen
	um eine Fehlerfunktion zu erstellen
	um die Streuung der Modelldaten auszudrücken

29 Welche Probleme hat das Simulated Annealing?

	Es müssen viele Punkte der Fehlerfunktion gleichzeitig evaluiert werden.
	Lokale Minima können nicht verlassen werden.
	Optima, die weit weg vom Startpunkt liegen, können übersehen werden.
	Ein gefundenes Optimum kann im Verlauf wieder verloren gehen.

30 Für die meisten kognitiven Prozesse existiert eine Vielzahl an Erklärungsmodelle. Der Vergleich alternativer Modelle kann dabei auf der Beurteilung verschiedener Kriterien basieren. Welche der folgenden Merkmale eines Modells sollten als Kriterien verwendet werden?

	Generalisierbarkeit auf alle bereits vorhandenen Modelle
	Güte der deskriptiven Beschreibung der Daten
	Interpretierbarkeit des Modells und seiner Parameter
	Plausibilität der Annahmen

31 Wie nennt man den tiefsten Punkt der Fehleroberfläche?

	lokales Minimum
	globales Maximum
	globales Minimum
	Sattelpunkt

32 Welche Maßnahmen sind sinnvoll und umsetzbar, um das globale Minimum der Fehleroberfläche mit einem Algorithmus zu finden?

	grafische Veranschaulichung der Fehleroberfläche
	analytische Lösung
	mehrfaches Anwenden des Algorithmus mit verschiedenen Startpunkten
	Algorithmen mit Zufallskomponente benutzen, durch die lokale Minima verlassen werden können

33 Welche Aussagen über quantitative Modellvergleiche treffen zu?

	Zusätzlich zur Übereinstimmung empirischer und simulierter Daten sollte bei einem Modellvergleich die Komplexität der jeweiligen Modelle berücksichtigt werden, welche sich in der Übereinstimmung mit bereits existierenden Modellen zeigt.
	Zusätzlich zur Übereinstimmung empirischer und simulierter Daten sollte bei einem Modellvergleich die Komplexität der jeweiligen Modelle berücksichtigt werden, welche sich in der Art und Anzahl wichtiger Annahmen und Parameter des Modells zeigt.
	Durch die Verwendung von Vergleichsmaßen ist es möglich gleichermaßen Komplexität und Vorhersagefähigkeit bei der Modellauswahl zu berücksichtigen.
	Durch die Verwendung von Parameterschätzverfahren ist es möglich gleichermaßen Komplexität und Vorhersagefähigkeit bei der Modellauswahl zu berücksichtigen.

34 Welche dieser Lösungswege entsprechen einer sogenannten „closed form“ bzw. einer analytischen Lösung?

	Gradientensuchverfahren
	Ermittlung der Regressionskoeffizienten bei der logistischen Regression
	Ermittlung von Mittelwert und Standardabweichung bei der Ex-Gauß Verteilung
	Simulated Anneahling

35 Warum können Optimierungsprobleme oftmals nicht analytisch gelöst werden?

	Die Fehleroberfläche ist sehr komplex.
	Es existiert kein globales Minimum.
	Es kann keine Fehlerfunktion bestimmt werden.
	Die Komplexität der Modelle ist sehr hoch.

36 Was benötigt ein Fittingalgorithmus für das Finden eines Minimums?

	Startparameterwerte
	Kenntnis aller Punkte der Fehleroberfläche
	ein Abbruchkriterium
	eine Fehlerfunktion

37 Wo liegen Probleme des Gradient Descent Verfahrens?

	Lokale Minima können nicht verlassen werden.
	Der Algorithmus akzeptiert die Verschlechterung des Funktionswertes im nächsten Schritt.
	Bei zu großer Schrittweite können schmale Täler der Fehleroberfläche übersprungen werden.

38 Auf welcher Ebene findet das Fitting statt, wenn die Daten aller Versuchspersonen zusammengefasst werden?

	Summationsebene
	Aggregatebene
	Individualebene
	Hierarchische Modellierung

39 Welche dieser Aussagen über analytische und numerische Lösungswege treffen zu?

	Numerische Lösungen verursachen in der Regel einen geringeren Rechenaufwand als analytische Lösungen.
	Analytische Lösungen führen zu reproduzierbaren und objektiven Ergebnissen.
	Numerische Lösungen ermöglichen die Ermittlung einer interessierenden Größe durch eine endliche Anzahl von Schritten mittels Standardoperationen.
	Analytische Lösungen ermöglichen die Ermittlung einer interessierenden Größe durch eine endliche Anzahl von Schritten mittels Standardoperationen.

40 Was gibt eine Fehlerfunktion (objective function) an?

	wie sehr die Anzahl an freien Parametern zu Rauschen in den Daten führt
	wie sehr die Parameterwerte im folgenden Stimulationsschritt verändert werden müssen
	wie sehr die Anzahl an freien Parametern die Komplexität des Modells bestimmt
	wie sehr durch das Modell simulierte Daten von den erhobenen Daten abweichen

41 Warum ist es notwendig, vor der Durchführung eines quantitativen Modellvergleichs die optimalen Parameterwerte der entsprechenden Modelle zu bestimmen?

	ungünstige Parameterschätzwerte können zur Überschätzung der Vorhersagefähigkeit eines Modells führen
	ungünstige Parameterschätzwerte können zur Unterschätzung der Vorhersagefähigkeit eines Modells führen
	ungünstige Parameterschätzwerte können zu einer fehlerhaften Modellauswahl führen
	ungünstige Parameterschätzwerte können zur Instabilität der Einschätzung der Vorhersagefähigkeit eines Modells führen