Kullback Leibler Distanz < Stochastik < Hochschule < Mathe < Vorhilfe
|
| Aufgabe | Die Kullback-Leibler Distanz sei so definiert:
[mm]D(p || p') = \int_{supp\{p(m)\}} ... \int p(m) \log(\frac{p(m)}{p'(m)}) dm[/mm]
mit p und p' Wahrscheinlichkeitsdichtefunktionen und m vektoriell |
Hallo,
1)
bei mir im Skript steht jetzt, dass ich [mm]p(m) \log(\frac{p(m)}{p'(m)})[/mm] als Erwartungswert auffassen kann. Wie kann ich diesen Zusammenhang herstellen?
2)
Warum mehrere Integrale, bzw. worauf beziehen sich diese?
3)
und wie genau verstehe ich supp{.} in Bezug auf die Dichtefunktion
-> die Definition von Wikipedia kenne ich. Ich suche nach einer Interpretation
Wäre super wenn mir da jemand weiterhelfen könnte.
Mfg
|
|
| |
|
| Status: |
(Antwort) fertig  | | Datum: | 11:40 So 28.06.2009 | | Autor: | luis52 |
Moin peter.suedwest,
>
> 1)
> bei mir im Skript steht jetzt, dass ich [mm]p(m) \log(\frac{p(m)}{p'(m)})[/mm]
> als Erwartungswert auffassen kann. Wie kann ich diesen
> Zusammenhang herstellen?
1) Im allgemeinen ist fuer stetiges [mm] $g:\IR^k\to\IR$:
[/mm]
[mm] $$\operatorname{E}[g(\mathbf{X})]=\int_{-\infty}^{+\infty}\cdots\int_{-\infty}^{+\infty}g(\mathbf{x})f(\mathbf{x})\mathbf{dx}$$
[/mm]
Es ist [mm] $\operatorname{supp}(f(\mathbf{x}))=\{\mathbf{x}\mid \mathbf{x}\in\IR^k\,,f(\mathbf{x})>0\}$. [/mm] Wegen [mm] $f(\mathbf{x})\ge [/mm] 0$ stimmt [mm] $\operatorname{E}[g(\mathbf{X})]$ [/mm] mit
[mm] $$\int\cdots\int_{\operatorname{supp}(f(\mathbf{x}))} g(\mathbf{x})f(\mathbf{x})\mathbf{dx}$$
[/mm]
ueberein.
>
> 2)
> Warum mehrere Integrale, bzw. worauf beziehen sich diese?
Darauf, dass $p_$ die Dichte eines *Zufallsvektors* ist.
>
> 3)
> und wie genau verstehe ich supp{.} in Bezug auf die
> Dichtefunktion
Hier musst du allerdings die zweite Berechnungsmoeglichkeit verwenden, da [mm] $\log(0)$ [/mm] nicht existiert.
vg Luis
|
|
|
| |
|
1) Im allgemeinen ist fuer stetiges $ [mm] g:\IR^k\to\IR [/mm] $:
$ [mm] \operatorname{E}[g(\mathbf{X})]=\int_{-\infty}^{+\infty}\cdots\int_{-\infty}^{+\infty}g(\mathbf{x})f(\mathbf{x})\mathbf{dx} [/mm] $
Es ist $ [mm] \operatorname{supp}(f(\mathbf{x}))=\{\mathbf{x}\mid \mathbf{x}\in\IR^k\,,f(\mathbf{x})>0\} [/mm] $. Wegen $ [mm] f(\mathbf{x})\ge [/mm] 0 $ stimmt $ [mm] \operatorname{E}[g(\mathbf{X})] [/mm] $ mit
$ [mm] \int\cdots\int_{\operatorname{supp}(f(\mathbf{x}))} g(\mathbf{x})f(\mathbf{x})\mathbf{dx} [/mm] $
ueberein.
was ist da jetzt was ?
was ist in meinem Fall [mm]g(x) = p(m) [/mm] und [mm]f(x) = log(\frac{p(m)}{p'(m)}) [/mm] ?
Grüße
|
|
|
| |
|
| Status: |
(Antwort) fertig | | Datum: | 15:39 So 28.06.2009 | | Autor: | luis52 |
>
> was ist da jetzt was ?
Deine Aufgabenstellung scheint etwas verkuerzt zu sein:
Die Kullback-Leibler Distanz sei so definiert:
$ D(p || p') = [mm] \int_{supp\{p(m)\}} [/mm] ... [mm] \int [/mm] p(m) [mm] \log(\frac{p(m)}{p'(m)}) [/mm] dm $
mit p und p' Wahrscheinlichkeitsdichtefunktionen und m vektoriell
Ich *vermute*, dass $p_$ die Dichte ist. Demnach entspricht $f_$ der Funktion $p_$ und $g_$ der Funktion [mm] $\log(\frac{p}{p'})$.
[/mm]
vg Luis
|
|
|
| |
|
Die Begründung dafür, dass die Kullback- Leibler Distanz nicht symmetrisch ist kann durch [mm]log(\frac{p(m)}{p'(m)}) [/mm] begründet werden nehme ich an, ist das richtig?
also etwa Bsp.:
wenn Fläche/Integral von p(m) klein bzgl p'(m) folgt [mm]D(p || p') < \infty[/mm]
wenn Fläche/Integral von p(m) groß bzgl p'(m) folgt [mm]D(p || p') = \infty[/mm]
Ist das so korrekt?
|
|
|
| |
|
| Status: |
(Mitteilung) Reaktion unnötig  | | Datum: | 16:20 Mi 29.07.2009 | | Autor: | matux |
$MATUXTEXT(ueberfaellige_frage)
|
|
|
|
