Zufall folgt Gesetzmäßigkeiten
Es liegt in der Natur von Zufallsexperimenten, dass das Ergebnis eines einzelnen Experiments unbestimmt ist. So wissen wir etwa bei einem einzelnen Würfelexperiment vorab nur, dass das Ergebnis eine der Zahlen \(1, \dots , 6\) sein wird, aber auch nicht mehr. Genauso verhält es sich beim Münzwurf, wo wir vorab nur wissen, dass entweder Kopf oder Zahl oben liegen wird. Vor diesem Hintergrund mag es auf den ersten Blick überraschen, dass wir auch im Zufall mathematische Gesetzmäßigkeiten beobachten können. In dieser interaktiven Anwendung wollen wir eine kleine Auswahl der mathematischen Gesetze kennenlernen, denen der Zufall unterworfen ist.
Gesetz der großen Zahlen
Wenn wir ein Experiment sehr oft unabhängig und unter identischen Bedingungen wiederholen und dabei jedesmal den Wert ein- und derselben numerischen Kenngröße notieren, so konvergiert das arithmetischen Mittel der beobachteten Werte gegen eine Zahl, die nicht vom Zufall abhängt. Nehmen wir als Beispiel wiederholtes Werfen eines fairen Würfels, wobei wir jedesmal die Augenzahl \(x_i,\, i = 1, 2, \dots \) notieren. Dann finden wir \[ \frac{1}{n} \sum_{i=1}^{n} x_i \overset{n\to\infty}{\longrightarrow} \frac{7}{2}. \] Obwohl sich die beobachteten Augenzahlen \( x_1, x_2, \dots \) komplett irregulär und unverhersehbar verhalten, finden wir in einer langen Reihe von Experimenten stets näherungsweise dasselbe arithmetische Mittel.
Beobachtungsaufträge:
-
Führen Sie 10 Mal je \(n = 50\) Würfelwürfe durch und notieren Sie jedesmal den absoluten Abstand des letzten Mittelwerts vom Erwartungswert – dieser wird Ihnen rechts unterhalb der Grafik angezeigt. Berechnen Sie den Mittelwert der 10 Abstände. Wiederholen Sie dasselbe Experiment anschließend mit \(n = 200\) Würfelwürfen. Was fällt Ihnen auf?
-
Wählen Sie selber eine Zahl \(n\) und führen Sie jeweils 10 Mal \(n\), \(4n\) und \(16n\) Würfelwürfe durch. Berechnen Sie jeweils den mittleren Abstand. Was fällt Ihnen auf? Wenn Sie ein kleines \(n\) wählen, können Sie auch noch \(64n\) Würfelwürfe durchführen.
Wenn wir die Zahl der Würfelwürfe vervierfachen, halbieren sich im Mittel die Abstände. Dies ist eine statistische Aussage; bei Ihren Experimenten kann es schon mal anders sein, aber Sie werden in jedem Fall beobachten, dass die Abstände bei \(n = 200\) deutlich kleiner sind als bei \(n = 50\). Wir beobachten hier die \(\sqrt{n}\)-Regel der Statistik: Die Genauigkeit statistischer Aussagen ist umgekehrt proportional zur Wurzel aus der Stichprobengröße bzw. der Zahl der Experimente. Im konkreten Fall kann man zeigen, dass ca. 95% der Abstände zwischen 0 und \(\frac{3.35}{\sqrt{n}}\) liegen.
Jedes Mal, wenn wir die Anzahl der Würfe vervierfachen, halbiert sich die Standardabweichung des arithmetischen Mittels. Natürlich hängt \(\left|\frac{1}{n}\sum_{i=1}^n x_i - \frac{7}{2}\right|\) vom Zufall ab und hat bei jeder Realisierung des Würfelexperiments einen anderen Wert, aber bei 10 Wiederholungen kann man bereits gut erkennen, dass dieser Abstand im Mittel bei \(4n\) nur etwa halb so groß ist wie bei \(n\), und bei \(16n\) sogar nur noch ein Viertel des ursprünglichen Abstands beträgt.
Dasselbe Verhalten beobachten wir auch bei einem Würfel, bei dem die unterschiedlichen Seiten nicht mit derselben Wahrscheinlichkeit oben liegen. Wieder konvergiert das arithmetische Mittel der Augenzahlen; allerdings eventuell gegen einen anderen Limes.
Beobachtungsauftrag:
Wählen Sie selber Wahrscheinlichkeiten \(p_1, \dots, p_6\) für die Augenzahlen \(1, \dots, 6\), und beobachten Sie das Verhalten der Folge der arithmetischen Mittel \(\frac{1}{n}\sum_{i=1}^n x_i,\: n=1, 2, \dots\). Können Sie erraten, gegen welchen Limes diese Folge konvergiert?
Nach dem Gesetz der großen Zahlen gilt \[ \frac{1}{n} \sum_{i=1}^{n} x_i \overset{n \to \infty}{\longrightarrow} \sum_{k=1}^{6} k \, p_k. \] Der Limes, das heißt \(\sum_{k=1}^6 k\cdot p_k\) ist der Erwartungswert der Augenzahl. In der Grafik ist dieser Limes als horizontale blaue Linie dargestellt.
Wahrscheinlichkeiten:
Relative Häufigkeiten bei vielen Wiederholungen
Wenn wir ein Zufallsexperiment durchführen, so können wir vorab nicht wissen, ob ein bestimmtes Ereignis A eintreten wird oder nicht. Wiederholen wir das Experiment aber sehr oft und notieren dabei jeweils, ob A eingetreten ist oder nicht, so konvergiert die relative Häufigkeit der Experimente, bei denen A eingetreten ist, gegen die entsprechende Wahrscheinlichkeit \( P(A) \). Für eine genaue Formulierung dieser Aussage bezeichnen wir mit \(N_n(A)\) die Zahl der Experimente unter den ersten \(n\) Experimenten, bei denen A eingetreten ist. Dann gilt \[ \frac{N_n(A)}{n} \overset{n\to\infty}{\longrightarrow} P(A). \] Diese Aussage wurde Ende des 17. Jahrhunderts von Jakob Bernoulli (1655–1705) erstmals mathematisch exakt bewiesen und 1713 in seinem berühmten Lehrbuch "Ars Conjectandi" publiziert. Es gibt hier eine enge Beziehung zum Gesetz der großen Zahlen. Wenn wir nämlich \(x_i = 1\) oder \(x_i = 0\) setzen, je nachdem ob das Ereignis A eingetreten ist oder nicht, so ist \(N_n(A) = \sum_{i=1}^n x_i \). In unserer interaktiven Anwendung illustrieren wir dieses Gesetz gleichzeitig für mehrere Ereignisse, indem wir in einem Balkendiagramm die relative Häufigkeit der Augenzahlen \(1, \dots , 6 \) unter den ersten \(n\) Experimenten abtragen.
Beobachtungsauftrag:
Wählen Sie selber Wahrscheinlichkeiten \(p_1, \dots, p_6\) für die Augenzahlen \(1, \dots, 6\), und führen Sie eine selbst gewählte Anzahl an Würfelwürfeln aus. Notieren Sie jeweils die absoluten und die relativen Häufigkeiten der einzelnen Augenzahlen. Was beobachten Sie? Wie ändern sich die Werte, wenn Sie \(n\) variieren? Welche absoluten und welche relativen Häufigkeiten hätten Sie erwartet?
Wenn wir \(n\) Experimente durchführen und ein Ereignis beobachten, das mit Wahrscheinlichkeit \(p\) eintritt, so erwarten wir, dass dieses Ereignis \((np)\)-fach eintritt. Wir erwarten also beim 30-achen Würfeln mit einem fairen Würfel fünfmal die Augenzahl 6 zu sehen. Die erwartete relative Häufigkeit ist entsprechend \(p\). Sowohl die absolute als auch die relative Häufigkeiten werden von den erwarteten Werten abweichen. Die relativen Häufigkeiten konvergieren aber für \(n\to\infty\) gegen die entsprechenden Wahrscheinlichkeiten \(p_1, \dots, p_6\). Die absoluten Häufigkeiten konvergieren nicht, aber unterliegen dennoch mathematischen Gesetzmäßigkeiten. So kann man zeigen, dass 95% der Werte im Intervall \(np_k \pm 2\sqrt{np_k(1-p_k)}\) liegen.
Wahrscheinlichkeiten:
Fälschungen entdecken mit dem \( \chi^2 \)-Test
Wenn wir einen Würfel \(n\)-mal werfen und am Ende notieren, wie oft jede der möglichen Augenzahlen geworfen wurde, so werden wir oft überrascht sein, wie unterschiedlich die einzelnen Häufigkeiten sind. Wir erkennen das sehr deutlich bei einer Darstellung der beobachteten Häufigkeiten in einem Balkendiagramm; siehe die interaktive Anwendung 2. Bei einem fairen Würfel erwarten wir vorab, dass jede der sechs möglichen Augenzahlen mit der Häufigkeit \( n/6 \) auftritt. In Wirklichkeit beobachten wir die Augenzahlen \( 1, \dots , 6 \) mit den zufälligen Häufigkeiten \(n_1, \dots , n_6 \) und fragen uns dann natürlich, ob diese Anzahlen im Einklang mit der Annahme sind, dass der Würfel fair ist. Für dieses Testproblem hat Karl Pearson (1857–1936) im Jahre 1900 ein Verfahren vorgeschlagen, bei dem man zunächst die Abweichungen zwischen den erwarteten und den beobachteten Anzahlen durch die folgende Kenngröße quantifizert: \[ X = \sum_{k=1}^6 \frac{(n_k - \frac{n}{6})^2}{\frac{n}{6}} \] Karl Pearson hat sich dann gefragt, welche Werte von \( X \) im normalen Bereich liegen, und wann man davon ausgehen muss, dass der Würfel nicht fair ist. Dazu hat Pearson die Verteilung von \( X \) unter der Annahme, dass der Würfel fair ist, mit Hilfsmitteln der mathematischen Statistik bestimmt. Wir können diese Frage hier durch eine Simulation beantworten, indem wir das \(n\)-fache Werfen eines fairen Würfels \(m\)-mal durchführen, jedesmal den Wert der obigen Kenngröße \( X \) notieren und am Ende das Histogramm aller \( X \)-Werte erstellen.
Beobachtungsauftrag:
Nehmen Sie zunächst einen fairen Würfel und betrachten Sie für verschiedene Werte von \(n\) und \(m\) das Histogramm der \(X\)-Werte. Wählen Sie dabei \(n\ge 30\) und \(m\ge 100\). Was beobachten Sie?
Für große Werte von \(m\) und \(n\) erhält man näherungsweise stets dasselbe Histogramm. Karl Pearson konnte zeigen, dass man im Limes die Dichtefunktion einer \(\chi^2_5\)-Verteilung erhält: \[ f_5(x) = \frac{1}{3\sqrt{2\pi}} x^{3/2} e^{-x/2} 1_{(0, \infty)} (x). \] Den Graph dieser Funktion finden Sie zusammen mit dem Histogramm in der rechten Grafik. Wenn Sie beispielsweise \(m=500\) Mal mit \(n = 60\) Würfeln werfen, jedesmal notieren, wie oft die Augenzahlen \(1, \dots, 6\) auftreten, dann die Pearsonsche Teststatistik \[ X = \sum_{k=1}^6 \frac{(n_k - \frac{n}{6})^2}{\frac{n}{6}} \] berechnen, und am Ende das Histogramm der \(m\) Werte von \(X\) zeichnen, so erhalten Sie näherungsweise die Dichte der \(\chi^2_5\)-Verteilung.
Man kann mit dem \(\chi^2\)-Test nicht nur testen, ob ein Würfel fair ist, sondern ob eine beliebige Hypothese über die Wahrscheinlichkeiten \(p_1, \dots, p_6\) gilt. Die zugehörige Teststatistik ist \[ X = \sum_{k=1}^6 \frac{(n_k - np^{(0)}_k)^2}{np^{(0)}_k}, \] wobei \(p_1^{(0)}, \dots, p_6^{(0)}\) die hypothetischen Wahrscheinlichkeiten der Augenzahlen \(1, \dots, 6\) sind.
Beobachtungsauftrag:
Wählen Sie beliebige positive Werte für \(p_1^{(0)}, \dots, p_6^{(0)}\), simulieren Sie \(n\) Würfelwürfe mit diesen Wahrscheinlichkeiten und berechnen Sie den zugehörigen \(X\)-Wert. Achten Sie darauf, dass \(np_k^{(0)} \ge 5\) für alle \(k\) gilt. Wiederholen Sie diesen Vorgang \(m\)-fach und zeichnen Sie das Histogramm der so erhaltenen \(X\)-Werte. Was beobachten Sie?
Für große Werte von \(m\) und \(n\) erhalten wir wieder dasselbe Bild wie oben für \(p_1^{(0)} = \dots = p_6^{(0)}\), das heißt die asymptotische Verteilung von \(X\) ist stets dieselbe, unabhängig von der Walh der Wahrscheinlichkeiten.
Betrachten Sie jetzt die linke Grafik. Hier wird für jede der \(m\) Durchführungen des Experiments der Wert der \(\chi^2\)-Teststatistik angegeben. Auf den ersten Blick erkent man hier wenig Ordnung; es scheint als ob die Punkte komplett regellos verteilt sind. Doch dieser erste Eindruck täuscht.
Beobachtungsauftrag:
Ziehen Sie in der linken Grafik gedanklich horizontale Linien, beginnend bei \(14\), \(13\), \(12\), usw. und bestimmen Sie die Anzahl der roten Punkte zwischen je zwei dieser Linien. Wo liegen die Punkte am dichtesten? Erkennen Sie den Zusammenhang mit dem Histogramm?
Die Anzahl der Punkte zwischen den Linien \(y = 12\) und \(y = 13\), geteilt durch \(m\), ist die relative Häufigkeit eines \(X\)-Werts im Intervall \([12, 13]\). Diese relative Häufigkeit findet man im Histogramm in der rechten Grafik wieder. Die Bereiche, in denen die Punkte am dichtesten liegen, sind genau die Bereiche, in denen das Histogramm einen großen Wert hat, und damit letztlich auch die Dichtefunktion der \(\chi^2_5\)-Verteilung.
Bislang haben wir das Verhalten des \(\chi^2\)-Tests nur unter der Hypothese untersucht, das heißt, dass der Würfel die hypothetische Verteilung \((p_1,\ldots,p_6)\) hatte, die wir vorgegeben hatten. Um zu zeigen, dass man mit Hilfe des \(\chi^2\)-Test Abweichungen von der Hypothese wirklich entdecken kann, muss man die Würfelexperimente mit anderen als den hypothetischen Wahrscheinlichkeiten durchführen. Der Einfachheit halber könnten wir uns auf einen Test auf Fairness des Würfels konzentrieren, d.h. die Hypothese formulieren, dass \[ p_1=\ldots=p_6=\frac{1}{6}. \] Die \(\chi^2\)-Teststatistik zu dieser Hypothese verwendet die Teststatistik \[ X=\sum_{i=1}^6 \frac{(n_i-n/6)^2}{ n/6 }. \] Wir können jetzt \(n\) Würfelwürfe simulieren, bei denen die Verteilung \((p_1,\ldots,p_6)\) von der Gleichverteilung abweicht und dazu den Wert von \(X\) berechnen. Wenn wir dieses Experiment \(m\)-fach ausführen, können wir die resultierenden \(X\)-Werte \(x_1,\ldots,x_m\) in einem Histogramm darstellen.
Beobachtungsauftrag:
Simulieren Sie jeweils \(m\)-fach bei selbst gewählten Werten von \(n\) und \(p_1, \dots, p_6\) Würfelexperimente und berechnen Sie dabei jeweils den Wert der \(\chi^2\)-Teststatistik auf Gleichverteilung, das heißt \[ X = \sum_{i=1}^6 \frac{(n_k - \frac{n}{6})^2}{\frac{n}{6}} \] Variieren Sie \(n\) und \(p_1, \dots, p_6\); \(m\) können Sie dabei fest lassen (zum Beispiel \(m=500\)). Was fällt Ihnen auf?
Wir stellen fest, dass das Histogramm der \(X\)-Werte gegenüber der \(\chi^2_5\)-Verteilung nach rechts verschoben ist, und zwar umso mehr je größer \(n\) und je weiter die Wahrscheinlichkeiten \(p_1, \dots, p_6\) von einer Gleichverteilung abweichen.