Meth d. kleinsten Quadrate < Stochastik < Hochschule < Mathe < Vorhilfe
|
| Status: |
(Frage) beantwortet  | | Datum: | 13:48 So 23.08.2009 | | Autor: | griessie |
Hallo zusammen,
ich versuche nun schon eine ganze Weile Regressionsfunktionen mittels Methode der kleinsten Quadtrate darzustellen. Dabei will ich sie als Logarithmusfkt. der Form y=a*ln(x)+b , als Potenzfkt der Form [mm] ax^b [/mm] und als Exponentialft der Form a*e^(bx) haben.
Es fällt mir schwer, die mathemat. Zusammenhänge und Formeln zu verstehen. Darum wäre ich euch dankbar, wenn ihr mir an einem Bsp. die Herleitung erklärt. Hier dazu einige Wertepaare:
x y
1,5_150
3_540
10_1100
14_1900
16_1850
19_2500
23_2650
26_2450
Ich wäre euch dankbar, wenn ihr euch die Zeit nehmen würdet und ihr mir wenigstens für eine Funktion das Bsp. durchrechnen würdet.
andi
|
|
| |
|
> Hallo zusammen,
> ich versuche nun schon eine ganze Weile
> Regressionsfunktionen mittels Methode der kleinsten
> Quadrate darzustellen. Dabei will ich sie als
> Logarithmusfkt. der Form y=a*ln(x)+b , als Potenzfkt der
> Form [mm]ax^b[/mm] und als Exponentialft der Form a*e^(bx) haben.
> Es fällt mir schwer, die mathemat. Zusammenhänge und
> Formeln zu verstehen. Darum wäre ich euch dankbar, wenn
> ihr mir an einem Bsp. die Herleitung erklärt. Hier dazu
> einige Wertepaare:
> x y
> 1,5_150
> 3_540
> 10_1100
> 14_1900
> 16_1850
> 19_2500
> 23_2650
> 26_2450
Hallo andi,
die Methode der kleinsten Quadrate ist ursprünglich
für lineare Funktionen gedacht. Deshalb muss man
die vorliegende Modellfunktion zuerst durch eine
geeignete lineare Funktion ersetzen.
Im ersten Beispiel mit $y=a*ln(x)+b$ ist klar, dass
man für die Regressionsrechnung von der Gleichung
$y=a*u+b$ ausgehen wird, wobei $u=ln(x)$. Man berechnet
also in einem ersten Schritt zu jedem x-Wert [mm] x_i [/mm] den
Logarithmus [mm] u_i=ln(x_i) [/mm] und lässt dann den Regressions-
algorithmus auf die Liste der [mm] (u_i,y_i)- [/mm] Paare los.
Im zweiten Beispiel [mm] y=a*x^b [/mm] muss man die lineare
Gleichung erst erzeugen: Aus [mm] y=a*x^b [/mm] folgt
$\ ln(y)=b*ln(x)+ln(a)$
Setzen wir also $u=ln(x)$ , $v=ln(y)$ sowie
$ln(a)=c$ . Damit lautet die Gleichung
$\ v=b*u+c$
Zu bestimmen sind die Parameterwerte b und c
aus der Liste der Zahlenpaare [mm] (u_i=ln(x_i), v_i=ln(y_i))
[/mm]
Aus deiner obigen x-y-Liste erhalte ich die u-v-Liste
[mm] \pmat{0.405&4.011\\1.099&6.292\\2.303&7.003\\2.639&7.550\\2.773&7.523\\2.944&7.824\\3.136&7.882\\3.258&7.804}
[/mm]
An dieser Stelle könnte man in einer Grafik eruieren,
ob diese Punkte ungefähr auf einer Geraden liegen
und damit das Modell mit dem Potenzansatz einiger-
maßen brauchbar ist.
Der wahre Wert von [mm] v_i [/mm] hat von dem nach der linearen
Formel berechneten Wert [mm] b*u_i+c [/mm] die Differenz
$\ [mm] d_i=|b*u_i+c-v_i|$
[/mm]
Nun wird die Summe Q der Quadrate aller dieser Diffe-
renzen betrachtet:
$\ [mm] Q=\summe_{i=1}^{n}d_i^2$
[/mm]
Q wird zu einer quadratischen Funktion in den Variablen
b und c. Die Koeffizienten enthalten Summen wie etwa
[mm] $\summe_{i=1}^{n}u_i^2$ [/mm] , [mm] $\summe_{i=1}^{n}v_i$ [/mm] , [mm] $\summe_{i=1}^{n}u_iv_i$ [/mm]
Um herauszufinden, für welche Werte von b und c die
Funktion Q minimal wird, setzt man ihre beiden
partiellen Ableitungen gleich Null. Aus diesen beiden
Bedingungen wird dann ein lineares Gleichungssystem
für b und c.
Dieses löst man auf und macht sich noch klar, weshalb
man damit wirklich auf ein Minimum von Q stößt.
Aus c berechnet man noch a: [mm] a=e^c [/mm] .
Mit a und b steht dann die Regressionsfunktion fest.
LG Al-Chwarizmi
|
|
|
| |
|
| Status: |
(Mitteilung) Reaktion unnötig  | | Datum: | 15:12 So 23.08.2009 | | Autor: | griessie |
Hallo Al-Chwarizmi,
vielen Danke für deine Antwort. Ich werd gleich mal probieren, ob ich es hinbekomme. Vielleicht hab ich dann noch ne Frage, aber ich find es schon jetzt klasse, dass du dir die Mühe gemacht hast und so umfangreich geantwortet hast.
Ich sag auf jeden Fall bescheid, wenn ich die Lösung nachvollzogen habe.
Grüße, andi
|
|
|
| |
|
| Status: |
(Frage) beantwortet | | Datum: | 16:26 So 23.08.2009 | | Autor: | griessie |
Hallo Al-Chwarizmi ! ich muss leider nochmal nachfragen!
bis zur Formel $ \ [mm] d_i=|b\cdot{}u_i+c-v_i| [/mm] $ hab ich alles gut verstanden. In die Formel $ \ [mm] Q=\summe_{i=1}^{n}d_i^2 [/mm] $ hab ich dann diese eingesetzt. Nach ausmultplizieren erhalte ich:
[mm] \summe_{i=1}^{n}((b*u_i)^2+c+v_i^2+2b*u_i*c-2b*u_i*v_i-2c*v_i)
[/mm]
Ist das soweit erstmal korrekt?
Nun weiß ich aber trotzdem leider nicht mehr weiter, wie ich auf die Funktion komme, die ich 0 sezten kann und ableiten muss. Das ableiten selber müsste ich wieder hinbekommen.
Könntest du mir vielleicht nochmal eine Hilfe geben. vielen, vileen Dank!
andi
|
|
|
| |
|
> Hallo Al-Chwarizmi ! ich muss leider nochmal nachfragen!
>
> bis zur Formel [mm]\ d_i=|b\cdot{}u_i+c-v_i|[/mm] hab ich alles gut
> verstanden. In die Formel [mm]\ Q=\summe_{i=1}^{n}d_i^2[/mm] hab ich
> dann diese eingesetzt. Nach ausmultplizieren erhalte ich:
>
> [mm]\summe_{i=1}^{n}((b*u_i)^2+\red{c}+v_i^2+2b*u_i*c-2b*u_i*v_i-2c*v_i)[/mm]
>
> Ist das soweit erstmal korrekt?
Über dem rot markierten c fehlt der Exponent 2
Die Ableitungen nach b und nach c erfolgen gliedweise.
Für die Ableitung nach b entsteht z.B.:
[mm] $\frac{\partial Q}{\partial b}=2*\left(b*\summe_{i=1}^{n}u_i^2+c*\summe_{i=1}^{n}u_i-\summe_{i=1}^{n}u_i*v_i\right)=2*(b*UU+c*U-UV)$
[/mm]
Dabei habe ich für die vorkommenden Summen
passende Abkürzungen erfunden. Das für b und c
entstehende Gleichungssystem kann dann auf die
folgende Form gebracht werden:
[mm] $\begin{cases} (1) & UU*b+U*c=\ UV \\ (2) & \ U\ *b\,+\,n*c\,=\ V \end{cases}
[/mm]
LG
|
|
|
| |
|
| Status: |
(Frage) beantwortet | | Datum: | 09:36 Mo 24.08.2009 | | Autor: | griessie |
Guten Morgen Al-Chwarizmi!
Danke, Danke, Danke. Ich hab es jetzt mit deiner Hilfe hinbekommen. Excel gibt mir die gleiche Funktionsgleichung an, wie ich sie auch berechnen konnte. Toll!
Danke für deine tolle Erklärung und deine Geduld!
Ich bin noch nicht lange im Matheraum - kann ich dich irgendwie auch offensichtlich bewerten (z.B. mit Stern).
Meinen herzlichsten Dank jedenfalls hast du.
Beste Grüße aus Dresden
Andi
|
|
|
| |
|
> Guten Morgen Al-Chwarizmi!
>
> Danke, Danke, Danke. Ich hab es jetzt mit deiner Hilfe
> hinbekommen. Excel gibt mir die gleiche Funktionsgleichung
> an, wie ich sie auch berechnen konnte. Toll!
> Danke für deine tolle Erklärung und deine Geduld!
> Ich bin noch nicht lange im Matheraum - kann ich dich
> irgendwie auch offensichtlich bewerten (z.B. mit Stern).
> Meinen herzlichsten Dank jedenfalls hast du.
>
> Beste Grüße aus Dresden
>
> Andi
Danke für das Kompliment.
Sternchen kannst du keine vergeben, doch ich habe
davon ja eh schon genug. Die geben Auskunft über
den Logarithmus der Anzahl der Antworten, die man
schon gegeben hat.
Gruß und schönen Tag !
Al-Chw.
|
|
|
| |
|
| Status: |
(Mitteilung) Reaktion unnötig | | Datum: | 11:30 Mo 24.08.2009 | | Autor: | griessie |
... ich hab es jetzt sogar hinbekommen für die exponentielle Funktion die Gleichung aufzustellen: [mm] $y=a*e^{bx}$ [/mm] wurde zu $ln(y)=ln(a)+bx$. Ich glaube damit hab ich es jetzt auch wirklich verstanden. Das ist echt klasse!
Die auch noch einen schönen Tag!
andi
|
|
|
|
