Probabilistische Modelle - Versionsgeschichte

Elisa: /* Wahrscheinlichkeitstheoretische Grundlagen */

2021-12-13T18:24:26Z

Wahrscheinlichkeitstheoretische Grundlagen

← Nächstältere Version		Version vom 13. Dezember 2021, 20:24 Uhr
Zeile 17:		Zeile 17:
	Wichtige Begriffe aus der probabilistischen Theorie zum Auftreten von Merkmalskombinationen lassen sich durch eine '''Kontingenztafel''' veranschaulichen, die in ihren Zellen die Häufigkeiten nij für die Ereigniskombinationen der Zufallsvariablen ''X'' und ''Y'' enthält. Diese Ereignishäufigkeiten ''n<sub>ij</sub>'' ergeben über alle Kombinationen summiert die Gesamthäufigkeit ''N'' und addieren sich an den Seiten zu den Randhäufigkeiten auf, jeweils über die Zeilen (''r<sub>j</sub>'' ) und Spalten (''c<sub>i</sub>'' ) der Kontingenztafel:		Wichtige Begriffe aus der probabilistischen Theorie zum Auftreten von Merkmalskombinationen lassen sich durch eine '''Kontingenztafel''' veranschaulichen, die in ihren Zellen die Häufigkeiten nij für die Ereigniskombinationen der Zufallsvariablen ''X'' und ''Y'' enthält. Diese Ereignishäufigkeiten ''n<sub>ij</sub>'' ergeben über alle Kombinationen summiert die Gesamthäufigkeit ''N'' und addieren sich an den Seiten zu den Randhäufigkeiten auf, jeweils über die Zeilen (''r<sub>j</sub>'' ) und Spalten (''c<sub>i</sub>'' ) der Kontingenztafel:

	[[File:ProbMod_01.PNG\|center\|400px]]		[[File:ProbMod_01.PNG\|center\|400px\|link=Ausgelagerte_Bildbeschreibungen#Probabilistische_Modelle\|Ausgelagerte Bildbeschreibung von Probabilistische Modelle]]


Zeile 47:		Zeile 47:

	Diese Formel geht auf den Satz des englischen Mathematikers [https://de.wikipedia.org/wiki/Thomas_Bayes Thomas Bayes] zurück, laut dem sich für zwei Ereignisse ''X'' und ''Y'' die Wahrscheinlichkeit von ''Y'', unter der Bedingung, dass ''X'' eingetreten ist, durch die Wahrscheinlichkeit von ''X'', unter der Bedingung, dass ''Y'' eingetreten ist, errechnen lässt. Der [https://de.wikipedia.org/wiki/Satz_von_Bayes Satz von Bayes] erlaubt es, Schlussfolgerungen umzukehren, d.h. ausgehend von einem bekannten Wert ''P(X\|Y)'' den eigentlich interessierenden Wert ''P(Y\|X)'' zu bestimmen.		Diese Formel geht auf den Satz des englischen Mathematikers [https://de.wikipedia.org/wiki/Thomas_Bayes Thomas Bayes] zurück, laut dem sich für zwei Ereignisse ''X'' und ''Y'' die Wahrscheinlichkeit von ''Y'', unter der Bedingung, dass ''X'' eingetreten ist, durch die Wahrscheinlichkeit von ''X'', unter der Bedingung, dass ''Y'' eingetreten ist, errechnen lässt. Der [https://de.wikipedia.org/wiki/Satz_von_Bayes Satz von Bayes] erlaubt es, Schlussfolgerungen umzukehren, d.h. ausgehend von einem bekannten Wert ''P(X\|Y)'' den eigentlich interessierenden Wert ''P(Y\|X)'' zu bestimmen.



	== Bayesianische Inferenz ==		== Bayesianische Inferenz ==

Josefine am 8. Dezember 2021 um 15:08 Uhr

2021-12-08T15:08:50Z

← Nächstältere Version		Version vom 8. Dezember 2021, 17:08 Uhr
Zeile 58:		Zeile 58:
	Unser Ziel ist es, die '''''β'''''-Parameter herauszufinden, gegeben den Daten D (y- und x-Werte). Konkret wollen wir also wissen, wie wahrscheinlich ein bestimmter Wert eines '''''β'''''-Parameters (z.B. des Intercept β<sub>0</sub>) ist, wenn wir die Daten D vorliegen haben. Um diese Wahrscheinlichkeit zu bestimmen bzw. eine bedingte Wahrscheinlichkeitsverteilung für den '''''β'''''-Parameter zu erhalten, greifen wir dabei auf die obige Formel von Bayes zurück (''β<sub>0</sub>'' und ''β<sub>1</sub>'' sind hier zusammengefasst, werden aber separat bestimmt):		Unser Ziel ist es, die '''''β'''''-Parameter herauszufinden, gegeben den Daten D (y- und x-Werte). Konkret wollen wir also wissen, wie wahrscheinlich ein bestimmter Wert eines '''''β'''''-Parameters (z.B. des Intercept β<sub>0</sub>) ist, wenn wir die Daten D vorliegen haben. Um diese Wahrscheinlichkeit zu bestimmen bzw. eine bedingte Wahrscheinlichkeitsverteilung für den '''''β'''''-Parameter zu erhalten, greifen wir dabei auf die obige Formel von Bayes zurück (''β<sub>0</sub>'' und ''β<sub>1</sub>'' sind hier zusammengefasst, werden aber separat bestimmt):

	[[File:ProbMod_08.PNG\|center\|200px]]		[[File:ProbMod_08.PNG\|center\|200px\|link=Ausgelagerte_Formeln#Satz von Bayes mit Parameter β\|Ausgelagerte Formel Satz von Bayes mit Parameter β]]

	In der Terminologie der bayesianischen Inferenz beinhaltet diese Formel einen '''Posterior''' (blau), der sich aus der '''Likelihood''' (grün) und dem '''Prior''' (gelb) berechnet.		In der Terminologie der bayesianischen Inferenz beinhaltet diese Formel einen '''Posterior''' (blau), der sich aus der '''Likelihood''' (grün) und dem '''Prior''' (gelb) berechnet.

Josefine am 8. Dezember 2021 um 15:04 Uhr

2021-12-08T15:04:21Z

← Nächstältere Version		Version vom 8. Dezember 2021, 17:04 Uhr
Zeile 54:		Zeile 54:
	Die Bayes’sche Regel ist die Basis für probabilistische Schlussfolgerung (Inferenz) und Lernen. Nehmen wir an, wir haben ein lineares (Regressions-)Modell mit den Parametern '''''β''''':		Die Bayes’sche Regel ist die Basis für probabilistische Schlussfolgerung (Inferenz) und Lernen. Nehmen wir an, wir haben ein lineares (Regressions-)Modell mit den Parametern '''''β''''':

	[[File:ProbMod_07.png\|center\|600px]]		[[File:ProbMod_07.png\|center\|600px\|link=Ausgelagerte_Formeln#Regressionsmodell\|Ausgelagerte Formel Regressionsmodell mit Parameter β]]

	Unser Ziel ist es, die '''''β'''''-Parameter herauszufinden, gegeben den Daten D (y- und x-Werte). Konkret wollen wir also wissen, wie wahrscheinlich ein bestimmter Wert eines '''''β'''''-Parameters (z.B. des Intercept β<sub>0</sub>) ist, wenn wir die Daten D vorliegen haben. Um diese Wahrscheinlichkeit zu bestimmen bzw. eine bedingte Wahrscheinlichkeitsverteilung für den '''''β'''''-Parameter zu erhalten, greifen wir dabei auf die obige Formel von Bayes zurück (''β<sub>0</sub>'' und ''β<sub>1</sub>'' sind hier zusammengefasst, werden aber separat bestimmt):		Unser Ziel ist es, die '''''β'''''-Parameter herauszufinden, gegeben den Daten D (y- und x-Werte). Konkret wollen wir also wissen, wie wahrscheinlich ein bestimmter Wert eines '''''β'''''-Parameters (z.B. des Intercept β<sub>0</sub>) ist, wenn wir die Daten D vorliegen haben. Um diese Wahrscheinlichkeit zu bestimmen bzw. eine bedingte Wahrscheinlichkeitsverteilung für den '''''β'''''-Parameter zu erhalten, greifen wir dabei auf die obige Formel von Bayes zurück (''β<sub>0</sub>'' und ''β<sub>1</sub>'' sind hier zusammengefasst, werden aber separat bestimmt):

Josefine am 8. Dezember 2021 um 14:54 Uhr

2021-12-08T14:54:08Z

← Nächstältere Version		Version vom 8. Dezember 2021, 16:54 Uhr
Zeile 44:		Zeile 44:
	Wenn wir die Produktregel nun umstellen erhalten wir:		Wenn wir die Produktregel nun umstellen erhalten wir:

	[[File:ProbMod_06.png\|center\|600px]]		[[File:ProbMod_06.png\|center\|600px\|link=Ausgelagerte_Formeln#Satz von Bayes\|Ausgelagerte Formel Satz von Bayes]]

	Diese Formel geht auf den Satz des englischen Mathematikers [https://de.wikipedia.org/wiki/Thomas_Bayes Thomas Bayes] zurück, laut dem sich für zwei Ereignisse ''X'' und ''Y'' die Wahrscheinlichkeit von ''Y'', unter der Bedingung, dass ''X'' eingetreten ist, durch die Wahrscheinlichkeit von ''X'', unter der Bedingung, dass ''Y'' eingetreten ist, errechnen lässt. Der [https://de.wikipedia.org/wiki/Satz_von_Bayes Satz von Bayes] erlaubt es, Schlussfolgerungen umzukehren, d.h. ausgehend von einem bekannten Wert ''P(X\|Y)'' den eigentlich interessierenden Wert ''P(Y\|X)'' zu bestimmen.		Diese Formel geht auf den Satz des englischen Mathematikers [https://de.wikipedia.org/wiki/Thomas_Bayes Thomas Bayes] zurück, laut dem sich für zwei Ereignisse ''X'' und ''Y'' die Wahrscheinlichkeit von ''Y'', unter der Bedingung, dass ''X'' eingetreten ist, durch die Wahrscheinlichkeit von ''X'', unter der Bedingung, dass ''Y'' eingetreten ist, errechnen lässt. Der [https://de.wikipedia.org/wiki/Satz_von_Bayes Satz von Bayes] erlaubt es, Schlussfolgerungen umzukehren, d.h. ausgehend von einem bekannten Wert ''P(X\|Y)'' den eigentlich interessierenden Wert ''P(Y\|X)'' zu bestimmen.

Josefine am 8. Dezember 2021 um 12:12 Uhr

2021-12-08T12:12:32Z

← Nächstältere Version		Version vom 8. Dezember 2021, 14:12 Uhr
Zeile 39:		Zeile 39:
	Über die Produktregel kann man die Verbundwahrscheinlichkeit zweier Ereignisse über die bedingte Wahrscheinlichkeit und die Randwahrscheinlichkeit berechnen:		Über die Produktregel kann man die Verbundwahrscheinlichkeit zweier Ereignisse über die bedingte Wahrscheinlichkeit und die Randwahrscheinlichkeit berechnen:

	[[File:ProbMod_05.png\|center\|600px]]		[[File:ProbMod_05.png\|center\|600px\|link=Ausgelagerte_Formeln#Produktregel\|Ausgelagerte Formel Produktregel]]

Josefine am 8. Dezember 2021 um 12:07 Uhr

2021-12-08T12:07:22Z

← Nächstältere Version		Version vom 8. Dezember 2021, 14:07 Uhr
Zeile 34:		Zeile 34:
	Die '''bedingte Wahrscheinlichkeit''' ''P(Y \| X)'' ist die Wahrscheinlichkeit des Eintretens eines Ereignisses aus ''Y'' unter der Bedingung, dass das Eintreten eines Ereignisses aus ''X'' bereits bekannt ist. Sie berechnet sich aus der Häufigkeit des Eintretens beider Ereignisse und der Randhäufigkeit des bedingenden Ereignisses:		Die '''bedingte Wahrscheinlichkeit''' ''P(Y \| X)'' ist die Wahrscheinlichkeit des Eintretens eines Ereignisses aus ''Y'' unter der Bedingung, dass das Eintreten eines Ereignisses aus ''X'' bereits bekannt ist. Sie berechnet sich aus der Häufigkeit des Eintretens beider Ereignisse und der Randhäufigkeit des bedingenden Ereignisses:

	[[File:ProbMod_04.png\|center\|600px]]		[[File:ProbMod_04.png\|center\|600px\|link=Ausgelagerte_Formeln#Bedingte Wahrscheinlichkeit\|Ausgelagerte Formel Bedingte Wahrscheinlichkeit]]

Josefine am 8. Dezember 2021 um 12:04 Uhr

2021-12-08T12:04:19Z

← Nächstältere Version		Version vom 8. Dezember 2021, 14:04 Uhr
Zeile 29:		Zeile 29:
	Die '''Randwahrscheinlichkeit''' bezeichnet die Wahrscheinlichkeit für die Ausprägung einer Zufallsvariable über die Ausprägungen der anderen Zufallsvariablen hinweg, also die relative Wahrscheinlichkeit für die Ereignisse einer bestimmten Reihe oder Spalte der Kontingenztafel bzw. die jeweilige Randhäufigkeit durch die Gesamthäufigkeit N. Für eine bestimmte Reihe lautet die Formel:		Die '''Randwahrscheinlichkeit''' bezeichnet die Wahrscheinlichkeit für die Ausprägung einer Zufallsvariable über die Ausprägungen der anderen Zufallsvariablen hinweg, also die relative Wahrscheinlichkeit für die Ereignisse einer bestimmten Reihe oder Spalte der Kontingenztafel bzw. die jeweilige Randhäufigkeit durch die Gesamthäufigkeit N. Für eine bestimmte Reihe lautet die Formel:

	[[File:ProbMod_03.png\|center\|600px]]		[[File:ProbMod_03.png\|center\|600px\|link=Ausgelagerte_Formeln#Randwahrscheinlichkeit\|Ausgelagerte Formel Randwahrscheinlichkeit]]

Josefine am 8. Dezember 2021 um 12:01 Uhr

2021-12-08T12:01:28Z

← Nächstältere Version		Version vom 8. Dezember 2021, 14:01 Uhr
Zeile 22:		Zeile 22:
	Die '''Verbundwahrscheinlichkeit''' der Ereignisse ''x<sub>i</sub>'' und ''y<sub>j</sub>'', d.h. die Wahrscheinlichkeit ihres gleichzeitigen Eintretens ist:		Die '''Verbundwahrscheinlichkeit''' der Ereignisse ''x<sub>i</sub>'' und ''y<sub>j</sub>'', d.h. die Wahrscheinlichkeit ihres gleichzeitigen Eintretens ist:

	[[File:ProbMod_02.png\|center\|600px]]		[[File:ProbMod_02.png\|center\|600px\|link=Ausgelagerte_Formeln#Verbundswahrscheinlichkeit\|Ausgelagerte Formel Verbundswahrscheinlichkeit]]

	Also die Häufigkeit mit der diese Ereignisse gemeinsam auftreten ''n<sub>ij</sub>'' durch die Häufigkeit aller Ereigniskombinationen ''N''.		Also die Häufigkeit mit der diese Ereignisse gemeinsam auftreten ''n<sub>ij</sub>'' durch die Häufigkeit aller Ereigniskombinationen ''N''.

Schäfer am 3. Oktober 2018 um 14:35 Uhr

2018-10-03T14:35:39Z

← Nächstältere Version		Version vom 3. Oktober 2018, 16:35 Uhr
Zeile 72:		Zeile 72:

	Der Vorteil zu konventionellen (frequentistischen) statistischen Ansätzen liegt darin, dass wir nicht nur eine Schätzung, sondern immer gleich eine ganze Verteilung der gesuchten Parameter erhalten. Weiterhin ist es hier möglich, eigene Vorannahmen bzw. ältere Berechnungen über die Festlegung des Priors in die Analyse miteinzubeziehen.		Der Vorteil zu konventionellen (frequentistischen) statistischen Ansätzen liegt darin, dass wir nicht nur eine Schätzung, sondern immer gleich eine ganze Verteilung der gesuchten Parameter erhalten. Weiterhin ist es hier möglich, eigene Vorannahmen bzw. ältere Berechnungen über die Festlegung des Priors in die Analyse miteinzubeziehen.



	== Anwendung in der Forschung ==		== Anwendung in der Forschung ==

	Viele Modelle aus der Entscheidungsforschung oder den kognitiven Neurowissenschaften versuchen Informationsverarbeitungsprozesse als eine Form von bayesianischer Inferenz zu betrachten. Diesen Ansätzen nach haben Menschen (und andere Informationsverarbeitungssysteme) keinen direkten Zugang zur Realität, sondern müssen die wahren, jedoch versteckten Ursachen ihrer Wahrnehmungen und Empfindungen (hidden causes) über ihren Input (z.B. elektrische Signale von den sensorischen Organen) über ein Modell schlussfolgern/inferieren. Da das Inputmuster i.d.R. verrauscht ist und es auch mit einer gewissen Wahrscheinlichkeit mit alternativen Modellen erklärt werden könnte, erfolgt diese Inferenz jedes Mal mit einer gewissen Unsicherheit. Agenten modellieren also ihre Umgebung und sich selbst, indem sie die versteckten Ursachen mit deren Wahrscheinlichkeit a-priori auf Grundlage ihrer Vorerfahrungen annehmen (Was habe ich bisher gelernt und was erwarte ich in meiner Umwelt?) und gegeben dieser angenommen Ursachen die Wahrscheinlichkeit für den Dateninput vorausberechnen (Likelihood, häufig auch „Generatives Modell“ genannt). Wenn nun die Daten schrittweise ins System gelangen, können Agenten ihr Modell je nach Passung auf die Daten immer weiter aktualisieren (über Berechnung der posterioren Wahrscheinlichkeit für die hidden causes / Parameter). Bei diesem '''bayesianischen Lernen''' wird der durch den Dateninput aktualisierte Posterior zum Prior für den nächsten Durchgang u.s.w. Somit wird das Modell über die Zeit immer präziser, sofern die Umwelt konstant bleibt.		Viele Modelle aus der Entscheidungsforschung oder den kognitiven Neurowissenschaften versuchen Informationsverarbeitungsprozesse als eine Form von bayesianischer Inferenz zu betrachten. Diesen Ansätzen nach haben Menschen (und andere Informationsverarbeitungssysteme) keinen direkten Zugang zur Realität, sondern müssen die wahren, jedoch versteckten Ursachen ihrer Wahrnehmungen und Empfindungen (hidden causes) über ihren Input (z.B. elektrische Signale von den sensorischen Organen) über ein Modell schlussfolgern/inferieren. Da das Inputmuster i.d.R. verrauscht ist und es auch mit einer gewissen Wahrscheinlichkeit mit alternativen Modellen erklärt werden könnte, erfolgt diese Inferenz jedes Mal mit einer gewissen Unsicherheit. Agenten modellieren also ihre Umgebung und sich selbst, indem sie die versteckten Ursachen mit deren Wahrscheinlichkeit a-priori auf Grundlage ihrer Vorerfahrungen annehmen (Was habe ich bisher gelernt und was erwarte ich in meiner Umwelt?) und gegeben dieser angenommen Ursachen die Wahrscheinlichkeit für den Dateninput vorausberechnen (Likelihood, häufig auch „Generatives Modell“ genannt). Wenn nun die Daten schrittweise ins System gelangen, können Agenten ihr Modell je nach Passung auf die Daten immer weiter aktualisieren (über Berechnung der posterioren Wahrscheinlichkeit für die hidden causes / Parameter). Bei diesem '''bayesianischen Lernen''' wird der durch den Dateninput aktualisierte Posterior zum Prior für den nächsten Durchgang u.s.w. Somit wird das Modell über die Zeit immer präziser, sofern die Umwelt konstant bleibt.


	Beispiele für Probabilistische Modelle aus der Kognitions- und Neurowissenschaft sind die [https://en.wikipedia.org/wiki/Helmholtz_machine Helmholtz-Maschine], das [[Hierarchical Gaussian Filter\|Hierachical Gaussian Filtering]], [https://en.wikipedia.org/wiki/Predictive_coding Predictive Coding] oder das [https://www.youtube.com/watch?v=NIu_dJGyIQI&t=800s Freie Energie Prinzip].		Beispiele für Probabilistische Modelle aus der Kognitions- und Neurowissenschaft sind die [https://en.wikipedia.org/wiki/Helmholtz_machine Helmholtz-Maschine], das [[Hierarchical Gaussian Filter\|Hierachical Gaussian Filtering]], [https://en.wikipedia.org/wiki/Predictive_coding Predictive Coding] oder das [https://www.youtube.com/watch?v=NIu_dJGyIQI&t=800s Freie Energie Prinzip].

Schäfer: /* Bayesianische Inferenz */

2018-10-03T14:34:47Z

Bayesianische Inferenz

← Nächstältere Version		Version vom 3. Oktober 2018, 16:34 Uhr
Zeile 60:		Zeile 60:
	[[File:ProbMod_08.PNG\|center\|200px]]		[[File:ProbMod_08.PNG\|center\|200px]]

	In der Terminologie der bayesianischen Inferenz beinhaltet diese Formel einen Posterior (blau), der sich aus der Likelihood (grün) und dem Prior (gelb) berechnet.		In der Terminologie der bayesianischen Inferenz beinhaltet diese Formel einen '''Posterior''' (blau), der sich aus der '''Likelihood''' (grün) und dem '''Prior''' (gelb) berechnet.

	Der Posterior bzw. die posteriore Wahrscheinlichkeit, ist die Wahrscheinlichkeit, die Parameter '''''β''''' mit den vorliegenden Daten zu finden. Sie errechnet sich laut der Formel aus der bedingten Wahrscheinlichkeit für die Daten, gegeben die Parameter (Likelihood) und der a-priori Wahrscheinlichkeit für die Parameter (relativiert an der Randwahrscheinlichkeit für die Daten).		Der Posterior bzw. die posteriore Wahrscheinlichkeit, ist die Wahrscheinlichkeit, die Parameter '''''β''''' mit den vorliegenden Daten zu finden. Sie errechnet sich laut der Formel aus der bedingten Wahrscheinlichkeit für die Daten, gegeben die Parameter (Likelihood) und der a-priori Wahrscheinlichkeit für die Parameter (relativiert an der Randwahrscheinlichkeit für die Daten).