Title: Wahrscheinlichkeitsrechnung und Statistik / 3 Zufallsvariable, Erwartungswert und Varianz

Q: Was ist eine Zufallsvariable?
A: Eine Zufallsvariable ist ein Funktion \(X\colon \Omega\to\mathbb{R}\), die Elementarereignissen reelle Zahlenwerte zuordnet.

Q: Was ist der Erwartungswert einer Zufallsvariable \(X\) für ein Laplace-Experiment?
A: Bei einem Laplace-Experiment haben alle Versuchsausgänge die gleiche Wahrscheinlichkeit \(1/|\Omega|\), daher ist der Erwartungswert \[E(X) =\frac{1}{|\Omega|} \sum_{\omega\in\Omega}X(\omega).\]Dies ist das arithmetische Mittel aller Werte der Zufallsvariablen.

Q: Wie berechnet man den Erwartungswert einer Zufallsvariable \(X\), die die Eigenschaft hat, in jedem Ereignis \(A_k\) konstant zu sein, wobei die \(A_k\) zusammen ganz \(\Omega\) ergeben.
A: Da \(X\) auf ganz \(A_k\) den gleichen Wert hat, können wir dafür \(X(A_k)\) schreiben. Der Erwartungswert ist dann \[E(X) = \sum_k X(A_k)\cdot P(A_k)\]

Q: Welche Rechenregeln erfüllt der Erwartungswert?
A: 1. Sind \(X\) und \(Y\) reellwertige Zufallsvariable, dann gilt \(E(X+Y)=E(X)+E(Y)\).
2. Ist \(X\) eine reellwertige Zufallsvariable und \(\lambda\in\mathbb{R}\), dann gilt \(E(\lambda X)=\lambda E(X)\).
3. Zu jedem Ereignis \(A\subset \Omega\) ist die charakteristische Funktion \[\chi_A\colon\Omega\to\mathbb{R}:\omega\mapsto\begin{cases}1&\qquad\omega\in A\\0&\qquad\omega\not\in A \end{cases}\]eine Zufallsvariable mit Erwartungswert \(E(\chi_A) = P(A)\).
Die ersten beiden Regeln besagen, dass \(E\) eine lineare Funktion auf Zufallsvariablen ist.

Q: Was bedeutet es, wenn zwei Zufallsvariablen unabhängig sind?
A: Zwei Zufallsvariablen \(X\) und \(Y\) sind unabhängig, wenn die Ereignisse \(\{X\le x\}\) und \(\{Y\le y\}\) für alle \(x,y\in\mathbb{R}\) sind. Es folgt, dass auch die Zufallsvariablen auch unkorreliert sind, dass also \(E(XY)=E(X)E(Y)\) oder \(\operatorname{cov}(X,Y)=0\).

Q: Was bedeutet es, dass zwei Zufallsvariablen unkorreliert sind?
A: Zwei Zufallsvariablen \(X\) und \(Y\) sind unkorelliert, wenn \(E(XY)=E(X)E(Y)\) oder \(\operatorname{cov}(X,Y)=0\).

Q: Was ist die Varianz einer Zufallsvariable?
A: Die Varianz der Zufallsvariable \(X\) ist \[\operatorname{var}(X)=E((X-E(X))^2)= E(X^2)-E(X)^2.\] Die Varianz ist nicht negativ. Sie kann nur verschwinden, wenn die Zufallsvariable fast immer konstant ist (Werte abweichen von einem konstanten Wert haben Wahrscheinlichkeit 0).

Q: Der Erwartungswert einer Zufallsvariable \(X\) erfüllt eine Minimaleigenschaft. Welche?
A: Der Erwartungswert \(E(X)\) ist diejenige Zahl \(\mu\), für welche \(E((X-\mu)^2)\) minimal wird.

Q: Welche Rechenregeln erfüllt die Varianz?
A: 1. Für die Zufallsvariable \(X\) und \(\lambda\in\mathbb{R}\) gilt \(\operatorname{var}(\lambda X) = \lambda^2\operatorname{var}(X)\).
2. Falls \(X\) und \(Y\) unkorelliert sind, gilt \(\operatorname{var}(X+Y)=\operatorname{var}(X)+\operatorname{var}(Y)\).
3. Falls \(X\) und \(Y\) unkorelliert sind, dann gilt \(\operatorname{var}(XY)=\operatorname{var}(X)\operatorname{var}(Y)+\operatorname{var}(Y)E(X)^2+\operatorname{var}(X)E(Y)^2\)
Insbesondere gibt es keine einfache Produktformel für die Varianz.

Q: Was ist die empirische Varianz der Messwerte \(x_1,\dots,x_n\)?
A: Eine mögliche Formel für die empirische Varianz ist \[\frac{1}{n}\sum_{i=1}^n x_i^2 -\biggl(\frac{1}{n}\sum_{i=1}^n x_i\biggr)^2.\]Diese ist aber nicht erwartungstreu, für kleine Stichproben wird die Varianz unterschätzt. Daher wird der erwartungstreue Schätzer \[S^2 = \frac{1}{n-1}\sum_{i=1}^n (x_i-\overline{X})^2\]verwendet, worin\[\overline{X} = \frac{1}{n}\sum_{i=1}^n x_i \]der Mittelwert der Messwerte ist.

Q: Was sagt die Ungleichung von Tschebyscheff?
A: Ist \(X\) eine Zufallsvariable mit Erwartungswert \(\mu=E(X)\) und \(\varepsilon \in\mathbb{R}\), dann schätzt die Ungleichung von Tschebyscheff die Wahrscheinlichkeit einer grossen Abweichung von \(\mu\) als \[P(|X-\mu|>\varepsilon) \le \frac{\operatorname{var}(X)}{\varepsilon^2}\]ab. Aus der Tschebyscheff-Ungleichung folgt auch das Gesetz der grossen Zahlen von Bernoulli.

Q: Was besagt das Gesetz der grossen Zahlen von Bernoulli für die relative Häufigkeit des Eintretens eines Ereignisses?
A: Wird ein Experiment \(n\) mal durchgeführt und tritt dabei das Ereignis \(A\) mit der relativen Häufigkeit \(h\) ein, dann ist die Wahrscheinlichkeit, dass \(h\) um mehr als \(\varepsilon\) von \(P(A)\) abweicht \[P(|h-P(A)|>\varepsilon) \le \frac{P(A)(1-P(A))}{n\varepsilon^2} \le \frac{1}{4n\varepsilon^2}.\]Durch Vergrösserung der Anzahl der Experimente kann als die "Genauigkeit" der Bestimmung \(P(A)\) durch die relative Häufigkeit beliebig verbessert werden, wenigstens in dem Sinne, dass eine grössere Abweichung immer unwahrsscheinlicher wird.

Q: Was besagt das Gesetz der grossen Zahlen für den Mittelwert einer Stichprobe?
A: Sei \(X_1,\dots,X_n\) eine Stichprobe der Zufallsvariablen \(X\) mit Erwartungswert \(\mu=E(X)\) und Varianz \(\sigma^2=\operatorname{var}(X)\) und \[M_n=\frac{X_1+\dots+X_n}{n}\]der Mittelwert. Die Zufallsvariablen \(X_k\) sind paarweise unabhängig und alle haben Erwartungswert \(E(X_k)=\mu\) und Varianz \(\operatorname{var}(X_k)=\sigma^2\) Dann ist die Wahrscheinlichkeit einer grösseren Abweichung als \(\varepsilon\) des Mittelwertes \(M_n\) von \(\mu\) gegeben durch \[P(|M_n-\mu|>\varepsilon)\le \frac{\sigma^2}{n\varepsilon^2}.\]

Q: Was ist eine Stichprobe der Zufallsvariablen \(X\)?
A: Eine Stichprobe von \(X\) sind unabhängige Zufallsvariablen \(X_1,\dots,X_n\), die identisch wie \(X\) verteilt sind.

Q: Was ist die Kovarianz von zwei Zufallsvariablen?
A: Die Kovarianz von \(X\) und \(Y\) ist\[\operatorname{cov}(X,Y) = E(XY)-E(X)E(Y).\]Insbesondere ist \[\operatorname{var}(X)=\operatorname{cov}(X,X).\]Die  Kovarianz hat ähnliche Eigenschaften wie ein Skalarprodukt.

Q: Was ist lineare Regression?
A: Lineare Regression findet zu gegebenen Zufallsvariablen X und Y die Gerade mit der Gleichung y=ax+b, für die die mittlere quadratische Abweichung E((aX+ b -Y)^2) minimal wird. Die Koeffizienten werden bestimmt durch\[\begin{aligned}a&=\frac{E(XY)-E(X)E(Y)}{E(X^2)-E(X)^2}=\frac{\operatorname{cov}(X,Y)}{\operatorname{var}(X)}\\b&=E(Y)-E(X)a\end{aligned}\]Für Messwerte \((x_k,y_k)\) können \(a\) und \(b\) durch die empirischen Formeln \[\begin{aligned}a&=\frac{\displaystyle n\sum_{k=1}^n x_ky_k - \sum_{k=1}^n x_k\sum_{k=1}^n y_k}{\displaystyle n\sum_{k=1}^n x_k^2-\biggl(\sum_{k=1}^nx_k\biggr)^2}\\ b&=\frac1n\sum_{k=1}^n y_k - a\frac{1}{n}\sum_{k=1}^n x_k\end{aligned}\]berechnet werden.

Q: Wie beurteilt man die Qualität der linearen Regression?
A: Dazu dient der Regressionskoeffizient \[r=\frac{\operatorname{cov}(X,Y)}{\sqrt{\operatorname{var}(X)}\sqrt{\operatorname{var}(Y)}}.\]Ist er nahe bei \(\pm 1\), ist die Approximation durch die Regressionsgerade gut. Genauer ist der mittlere quadratische Fehler der Regressionsgeraden \[\operatorname{var}(Y-aX-b) = \operatorname{var}(Y) (1-r^2)\]Der Fehler ist klein, wenn \(r^2\approx 1\) ist. Wie nahe \(r^2\) in einer bestimmten Anwendung bei 1 sein muss, ergibt sich aus den Anforderungen an diesen Fehler. Wenn der Fehler \(<\varepsilon\) sein soll, dann muss\[r^2 >1-\frac{\varepsilon}{\operatorname{var}(Y)}\]sein.

Q: Wie findet man eine Exponentialfunktion \(y = Be^{ax}\), die am besten zu Datenpunkten \((x_k,y_k)\) passt?
A: Durch Logarithmieren finden wird \(\log y = \log B + ax\), es ist also eine lineare Regression für die Datenpunkte \((x_k,\log y_k)\) durch und setzen \(\log B = b\) oder \(B=e^b\).

Q: Wie findet man die Potenzfunktion \(y=Bx^a\), die am besten zu den Datenpunkten \((x_k,y_k)\) passt?
A: Durch Logarithmieren finden wird \(\log y=a\log x + \log B\). Wir führen daher eine lineare Regression für die Datenpunkte \((\log x_k,\log y_k)\) durch und setzen \(\log B=b\) oder \(B=e^b\).

Q: Wie findet man eine Logarithmusfunktion \(y=\log(ax+b)\), die am besten zu den Datenpunkten \((x_k,y_k)\) passt?
A: Durch Anwendung der Exponentialfunktion findet man \(e^y = ax+b\). Wir führen daher eine lineare Regression für die Datenpunkte \((x_k, e^{y_k})\) durch.

Q: Was ist die charakteristische Funktion einer Menge \(A\subset\Omega\)?
A: Die charakteristische Funktion oder Indikatorfunktion ist die Funktion \[\chi_A\colon \Omega\to\mathbb{R}:\omega\mapsto\begin{cases}1&\qquad \omega\in A\\0&\qquad\omega\not\in A\end{cases}\]Die Menge A kann auch geschrieben werden als \(A = \{\omega\in\Omega\mid \chi_A(\omega)=1\}\).

Q: Wie gross ist die Kovarianz zweier unkorrelierter Zufallsvariablen?
A: Für unkorellierte Zufallsvariablen gilt \(E(XY)=E(X)E(Y)\), somit folgt \(\operatorname{cov}(X,Y) = 0\).