Commit 7e0bd1fa authored by Konrad Völkel's avatar Konrad Völkel
Browse files

Upload New File

parent 47d38b2c
Pipeline #90531 canceled with stages
in 1 minute and 40 seconds
# Wichtigste Verteilungen
## Diskrete Verteilungen
Wir schreiben für einen endlichen diskreten Wahrscheinlichkeitsraum $\Omega = \{\omega_1,\dots,\omega_n\}$ nun $p(\omega) := P(\{\omega\})$.
Um die Begriffe Erwartungswert und Varianz auf Wahrscheinlichkeitsmaße anzuwenden, betrachte z.B. die Zufallsvariable $X \colon \Omega \to \mathbb{R}, \omega_i \mapsto i$ (das entspricht der Wahl einer Anordnung auf $\Omega$).
### Diskrete Gleichverteilung
Auf einer endlichen Menge $\Omega$ ist die *Gleichverteilung* gegeben durch
$p(\omega) = \frac{1}{n}$.
Sie ist charakterisiert als die Entropie-maximierende Verteilung auf $\Omega$, mit Entropie $H(X) = \log_2(n)$
Erwartungswert ist $\mathbb{E}(X) = \frac{n+1}{2}$ und Varianz $\mathbb{V}(X) = \frac{n^2-1}{12}$.
Unser Standardbeispiel ist ein fairer Würfel ($n=6$).
### Kategorielle Verteilung
Die Parameter einer kategoriellen Verteilung auf $\Omega$ bestehen aus $n$ reellen Zahlen $p_i = p(\omega_i)$ unter den Bedingungen $0 \leq p_i \leq 1$ und $\sum_{i=1}^n p_i = 1$. Die letzte Bedingung schneidet eine Hyperebene aus dem $\mathbb{R}^n$ aus, also ist der Parameterraum $(n-1)$-dimensional. Die Ungleichungen umgrenzen in dieser Hyperebene einen Simplex.
Erwartungswert von $X$ ist $\mathbb{E}(X) = \sum_{i=1}^n i p_i$, was sich im Allgemeinen nicht weiter vereinfachen lässt. Offensichtlich ist die diskrete Gleichverteilung der Spezialfall $p_1 = \dots = p_n = \frac{1}{n}$ (der Mittelpunkt des Parameterraums). Ein anderer Spezialfall ist $n=2$, dann ist der Parameterraum $1$-dimensional.
Wenn die Kehrwerte $n_i := p_i^{-1}$ alle ganze Zahlen sind, lässt sich eine kategorielle Verteilung mit gefärbten Bällen in einer Urne, einmal ziehen ohne Zurücklegen, modellieren. Dabei ist $n_i$ die Anzahl der Bälle der Farbe $i$.
### Bernoulli-Verteilung
Für $n=2$ ist die Bernoulli-Verteilung zu $p$ ein anderer Name für die kategorielle Verteilung mit $p_1 = p$ und $p_2 = 1-p$.
Sie modelliert den Münzwurf mit einer potentiell unfairen Münze.
Der Erwartungswert für $Y \colon \{\omega_1,\omega_2\} \to \mathbb{R}$ mit $ Y(\omega_1)=1$ und $Y(\omega_2)=0$ ist $\mathbb{E}(Y) = p$ und die Varianz ist $\mathbb{V}(Y) = p - p^2 = p(1-p)$.
Die Entropie ist
$$
H(Y) = -p\log_2(p) - (1-p)\log_2(1-p).
$$
Wenn man diesen Ausdruck nach $p$ ableitet und die Ableitung
$$
\dfrac{\partial H(Y)}{\partial p} = -\log_2\left( \dfrac{p}{1-p} \right)
$$
auf Nullstellen untersucht, findet man diese bei $p=\frac{1}{2}$, denn nur für $x=1$ ist $\log_2(x)=0$. Das beweist, dass ein fairer Münzwurf die maximale Entropie unter allen Münzwürfen hat.
### Binomialverteilung
Wenn man einen Münzwurf (ein Bernoulli-Experiment) mit Parameter $p$ $n$-mal wiederholt, und die Summe über die Ergebnisse bildet, erhält man eine Zufallsvariable $X \colon \Omega \to \mathbb{R}$ (die genaue Form von $\Omega$ ist nicht wichtig, es funktioniert aber z.B. $\{0,1\}^n$ mit $P(x)=p^k(1-p)^{n-k}$ wenn $x$ genau $k$ Einträge gleich $1$ hat).
Es ist $P(X = k) = \binom{n}{k} p^k(1-p)^{n-k}$, denn es gibt genau $\binom{n}{k}$ Möglichkeiten, $k$ Einsen in einen Vektor der Dimension $n$ zu schreiben.
Der Erwartungswert ist $\mathbb{E}(X) = np$ und die Varianz ist $\mathbb{V}(X) = np(1-p)$. Vorsicht: die Entropie ist relativ aufwändig präzise auszurechnen.
Wenn die Kehrwerte $p^{-1},\ (1-p)^{-1}$ ganze Zahlen sind, kann man die Binomialverteilung im Urnenmodell mit zwei verschiedenfarbigen Bällen modellieren, die im entsprechenden Verhältnis $p : (1-p)$ in der Urne liegen. $n$-fach ziehen mit zurücklegen (ungeordnete Stichprobe) ist dann Binomialverteilt.
$$
X \sim Bin(n,p)
$$
### Hypergeometrische Verteilung
Die Lotto-Verteilung: im Urnenmodell $n$-fach ziehen von $2$ verschiedenen Ballfarben, davon $K$ der einen Farbe und $N-K$ der anderen Farbe, *ohne* Zurücklegen. Dann ist
$$
P(X = k) = \dfrac{\binom{K}{k}\binom{N-K}{n-k}}{\binom{N}{n}}.
$$
Der Erwartungswert ist $\mathbb{E}(X) = n\frac{K}{N}$ (vergleiche die Binomialverteilung) und die Varianz $\mathbb{V}(X) = \dfrac{K(N-K)(N-n)}{N^2(N-1)}$.
$$
X \sim Hyp(N,K,n)
$$
### Poisson-Binomialverteilung
Dies ist die Verallgemeinerung des $n$-fachen Münzwurfs dahingehend, dass für jeden Wurf eine andere Münze verwendet wird (also sind die Parameter $p_1,\dots,p_n$ und der Spezialfall $p_1 = \dots = p_n$ ist die Binomialverteilung).
Der Erwartungswert ist $\mathbb{E}(X) = \sum_{i=1}^n p_i$ und die Varianz $\mathbb{V}(X) = \sum_{i=1}^n (1-p_i)p_i$.
$$
P(X=k) = \sum_{i=1} \binom{n}{k} p_i^k (1-p_i)^{n-k}
$$
Die Entropie einer Poisson-Binomialverteilung ist kleinergleich einer entsprechenden Binomialverteilung mit gleichem Erwartungswert (je gleicher die $p_i$, desto höher die Entropie).
Wenn wir es mit einer Parameterfolge $(p_i)_{i\geq 1}$ zu tun haben (also ein unendlich oft wiederholter Münzwurf mit lauter verschiedenen Münzen), sodass die Folge $(ip_i)_{i \geq 1}$ gegen eine endliche Zahl $\lambda > 0$ konvergiert (dazu muss $p_i$ für $i \to \infty$ ungefähr so schrumpfen wie $\frac{1}{i}$), so lässt sich eine gute Approximation finden:
$$
\lim_{n\to \infty} \binom{n}{k} p_n^k(1-p_n)^{n-k} = e^{-\lambda} \dfrac{\lambda^k}{k!}
$$
Diese Approximation gilt also dann, wenn der "positive Ausgang" eines beliebig oft wiederholten Experiments (schnell genug) immer unwahrscheinlicher wird.
### Poisson-Verteilung
Mit einem Parameter $\lambda > 0$ ist $X \colon \Omega \to \mathbb{R}$ *poissonverteilt*, wenn
$$
P(X=k) = \dfrac{e^{-\lambda}\lambda^k}{k!}
$$
$\mathbb{E}(X) = \lambda = \mathbb{V}(X)$.
Diese Verteilung modelliert, wie viele Ereignisse in einem festen Zeitraum eintreten, wobei $\lambda$ die konstante mittlere Rate ist, und diese Ereignisse voneinander unabhängig sind.
Wenn Sie überrascht werden wollen, schauen Sie sich das *Wartezeitparadox* an, was erklärt, warum Sie länger auf den Bus warten, als Sie bisher vielleicht angenommen haben. Dabei geht es auch um eine Poissonverteilung.
\ No newline at end of file
Supports Markdown
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment