www.vorhilfe.de
- Förderverein -
Der Förderverein.

Gemeinnütziger Verein zur Finanzierung des Projekts Vorhilfe.de.
Hallo Gast!einloggen | registrieren ]
Startseite · Mitglieder · Impressum
Forenbaum
^ Forenbaum
Status VH e.V.
  Status Vereinsforum

Gezeigt werden alle Foren bis zur Tiefe 2

Navigation
 Startseite...
 Suchen
 Impressum
Das Projekt
Server und Internetanbindung werden durch Spenden finanziert.
Organisiert wird das Projekt von unserem Koordinatorenteam.
Hunderte Mitglieder helfen ehrenamtlich in unseren moderierten Foren.
Anbieter der Seite ist der gemeinnützige Verein "Vorhilfe.de e.V.".
Partnerseiten
Weitere Fächer:

Open Source FunktionenplotterFunkyPlot: Kostenloser und quelloffener Funktionenplotter für Linux und andere Betriebssysteme
Forum "Uni-Stochastik" - Shannon-Info
Shannon-Info < Stochastik < Hochschule < Mathe < Vorhilfe
Ansicht: [ geschachtelt ] | ^ Forum "Uni-Stochastik"  | ^^ Alle Foren  | ^ Forenbaum  | Materialien

Shannon-Info: Tipp
Status: (Frage) beantwortet Status 
Datum: 15:45 Fr 06.06.2008
Autor: jentowncity

Aufgabe
Zeigen Sie, dass unter allen eindimensionalen Wahrscheinlichkeitsverteilungen mit vorgegebener Standardabweichung [mm] \sigma^2 =\integral_{-\infty}^{\infty}{x^2 p(x) dx} [/mm]   die Normalverteilung [mm] p(x)=\bruch{1}{\wurzel(2\pi\sigma^2)} e^{-\bruch{x^2}{2\sigma^2}} [/mm]
die Shannon-Information (-Entropie) maximiert.

Hallo an alle!

Also ich glaube es macht wenig Sinn für alle eindimensionalen Verteilungen die Shannon-Information  [mm] S=\summe_{i} p_{i} ln(\bruch{1}{p_{i}})=\integral_{-\infty}^{\infty}{p(x) ln(\bruch{1}{p(x)}) dx} [/mm] einzeln zu berechnen un dann zu vergleichen was am größten ist.
Aber andererseits weiß ich nicht wie man das anders zeigen könnte...
Kann mir jemand helfen?

        
Bezug
Shannon-Info: Ansatz
Status: (Antwort) fertig Status 
Datum: 10:17 So 08.06.2008
Autor: Infinit

Hallo jentowncity,
diese Aufgabe taucht auch in Shannons berühmtem Aufsatz von 1948 auf und erfordert einiges an Variationsrechnung zur Maximierung der Entropie.
Was haben wir?
Maximiert werden soll
$$ S(x) = - [mm] \int [/mm] p(x) [mm] \ln [/mm] p(x) [mm] \, [/mm] dx $$ unter den folgenden Nebenbedingungen
$$ [mm] \sigma^2 [/mm] = [mm] \int [/mm] p(x) [mm] x^2 \, [/mm] dx $$ und
$$ 1 = [mm] \int [/mm] p(x) [mm] \, [/mm] dx [mm] \, [/mm] . $$
Die Methode der Langrangschen Multiplikatoren führt dann auf den folgenden zu maximierenden Ausdruck
$$ S(x, [mm] \lambda, \mu) [/mm] = - [mm] \int [/mm] p(x) [mm] \ln [/mm] p(x) [mm] \, [/mm] dx + [mm] \lambda (\int x^2 [/mm] p(x) [mm] \, [/mm] dx - [mm] \sigma^2) [/mm] + [mm] \mu (\int [/mm] p(x) [mm] \, [/mm] dx - 1) $$
Danach die Extremwertberechnung durchführen und das liefert nach einigem Rechnen die Bedingung
$$ -1 - [mm] \ln [/mm] p(x) + [mm] \lambda x^2 [/mm] + [mm] \mu [/mm] = 0 $$ und das führt auf die Gaußverteilung.
Viele Grüße,
Infinit

Bezug
                
Bezug
Shannon-Info: Mitteilung
Status: (Mitteilung) Reaktion unnötig Status 
Datum: 15:50 So 08.06.2008
Autor: jentowncity

Alles klar, habs jetzt raus.
Danke für die Tips Infinit!

Bezug
Ansicht: [ geschachtelt ] | ^ Forum "Uni-Stochastik"  | ^^ Alle Foren  | ^ Forenbaum  | Materialien


^ Seitenanfang ^
ev.vorhilfe.de
[ Startseite | Mitglieder | Impressum ]