Prawo wielkich liczb

Q: Czy po serii dziesięciu orłów reszka jest bardziej prawdopodobna?

Nie - to paradoks hazardzisty. Moneta nie ma pamięci: każdy rzut to wciąż 50 na 50. Prawo wielkich liczb nie działa przez "wyrównywanie" przeszłości, tylko przez rozmywanie jej w masie przyszłych rzutów - po serii dziesięciu orłów oczekiwane saldo do końca gry wynosi dalej +10.

Q: Ile rzutów potrzeba, żeby częstość była blisko 50%?

Typowe odchylenie częstości od 1/2 maleje jak 1 przez pierwiastek z n. Po 100 rzutach wahania rzędu 5 punktów procentowych są normalne, po 10 000 - rzędu pół punktu. Dziesięć razy lepsza dokładność wymaga stu razy więcej rzutów.

Q: Czym różni się słabe prawo wielkich liczb od mocnego?

Słabe mówi, że dla dużego n odchylenie średniej od wartości oczekiwanej jest mało prawdopodobne (zbieżność według prawdopodobieństwa). Mocne mówi więcej: z prawdopodobieństwem 1 cała trajektoria średnich zbiega do wartości oczekiwanej. Na wykresie z symulatora oglądasz właśnie mocne prawo w akcji.

Q: Czy prawo wielkich liczb działa dla każdego rozkładu?

Nie - rozkład musi mieć wartość oczekiwaną. Klasyczny kontrprzykład to rozkład Cauchy’ego: średnia z n obserwacji ma dokładnie ten sam rozkład co pojedyncza obserwacja i nie zbiega do niczego, choćby n było miliardem.

Q: Jak z prawa wielkich liczb korzystają sondaże?

Frakcja odpowiedzi w próbie zbiega do frakcji w populacji, a typowy błąd maleje jak 1 przez pierwiastek z n. Stąd standardowa próba około 1000 osób: daje błąd rzędu 3 punktów procentowych niezależnie od tego, czy populacja liczy milion, czy miliard.

Niech $\bar{X}_n$ będzie średnią z n niezależnych powtórzeń tego samego doświadczenia o wartości oczekiwanej $\mu$ :

\bar{X}_n = \frac{X_1 + X_2 + \ldots + X_n}{n}

Słabe prawo wielkich liczb:

P\left(\left|\bar{X}_n - \mu\right| > \varepsilon\right) \xrightarrow{\ n \to \infty\ } 0 \quad \text{dla każdego } \varepsilon > 0.

Dla rzutów symetryczną monetą: częstość orłów zbiega do połowy:

\frac{\text{liczba orłów}}{n} \longrightarrow \frac{1}{2}.

Prawo wielkich liczb to pomost między teorią a doświadczeniem: prawdopodobieństwo objawia się w częstości, ale dopiero przy dużej liczbie prób. Pojedynczy rzut jest nieprzewidywalny; milion rzutów - przewidywalny z dokładnością do ułamka procenta. Zamiast wierzyć na słowo, rzuć monetą poniżej - choćby dziesięć tysięcy razy naraz.

P(orzeł) = 50%

Moneta czeka na pierwszy rzut.

Rzuty0

Orły / reszki0 / 0

Częstość orłów-

Odchylenie od celu-

Saldo orły − reszki0

Oczekiwane saldo ± wahanie-

Oś pozioma jest logarytmiczna - dzięki temu widać i dzikie wahania pierwszych rzutów, i spokojny ogon. Zwróć uwagę: częstość zbiega do celu, ale saldo wcale nie wraca do zera - przy monecie symetrycznej jego typowe wahanie rośnie jak √n, a przy stronniczej saldo ucieka wręcz liniowo.

Co właściwie mówi to prawo

Powtarzamy niezależnie to samo doświadczenie: rzut monetą, rzut kostką, pomiar obarczony losowym błędem. Każdy wynik z osobna jest losowy, ale średnia z wielu wyników zachowuje się coraz bardziej deterministycznie - przykleja się do wartości oczekiwanej $\mu$ .

Precyzyjnie: dla dowolnie małego marginesu $\varepsilon$ prawdopodobieństwo, że średnia odchyli się od $\mu$ o więcej niż ten margines, dąży do zera. Nie znaczy to, że duże odchylenie jest niemożliwe - znaczy, że przy dużym n jest astronomicznie mało prawdopodobne.

Najczęstszy błąd - paradoks hazardzisty

„Wypadło dziesięć orłów z rzędu, więc teraz musi iść reszka - prawo wielkich liczb!" To rozumowanie jest błędne, a symulator pozwala zobaczyć dlaczego. Moneta nie ma pamięci: po serii orłów szanse to nadal 50 na 50 i nic niczego nie wyrównuje.

Jak w takim razie częstość wraca do 50%? Przez rozmycie, nie kompensację. Nadwyżka dziesięciu orłów nigdzie nie znika - po prostu dzielenie jej przez coraz większe n spycha ją do zera: 10 nadmiarowych orłów to 10 punktów procentowych przy 100 rzutach, ale tylko 0,1 punktu przy 10 000. Saldo orłów i reszek typowo wcale nie maleje - rośnie jak $\sqrt{n}$ (po 100 rzutach saldo rzędu $\sqrt{100} = 10$ , po 10 000 - rzędu $\sqrt{10\,000} = 100$ ). Dlatego symulator pokazuje oba liczniki obok siebie.

Dowód słabego prawa wielkich liczb

Pokaż dowód Ukryj dowód

Zakładamy, że doświadczenie ma skończoną wariancję $\sigma^2$ (dla monety: wariancja pojedynczego rzutu wynosi ¼). Dowód składa się z trzech coraz mocniejszych nierówności.

Krok 1. Nierówność Markowa. Dla nieujemnej zmiennej losowej Y i dowolnego a > 0:

P(Y \geq a) \leq \frac{E[Y]}{a}.

Skąd to wiadomo? Z prostego oszacowania: zmienna nieujemna spełnia

Y \geq a \cdot \mathbf{1}_{\{Y \geq a\}},

bo gdy Y ≥ a, prawa strona wynosi a (a lewa jest większa), a gdy Y < a, prawa strona to zero. Biorąc wartość oczekiwaną obu stron, dostajemy E[Y] ≥ a · P(Y ≥ a) - czyli tezę. Intuicja: jeśli średni dochód w mieście to 5000 zł, to najwyżej połowa mieszkańców może zarabiać 10 000 zł lub więcej.

Krok 2. Nierówność Czebyszewa. Stosujemy nierówność Markowa do zmiennej Y = (X − $\mu$ )² - nieujemnej z definicji:

P\left(|X - \mu| \geq \varepsilon\right) = P\left((X - \mu)^2 \geq \varepsilon^2\right) \leq \frac{E\left[(X-\mu)^2\right]}{\varepsilon^2} = \frac{\sigma^2}{\varepsilon^2}.

Odchylenie od średniej o więcej niż $\varepsilon$ jest tym mniej prawdopodobne, im mniejsza wariancja.

Krok 3. Wariancja średniej maleje jak 1/n. Dla niezależnych składników wariancja sumy jest sumą wariancji, więc po podzieleniu przez n:

E[\bar{X}_n] = \mu, \qquad \mathrm{Var}(\bar{X}_n) = \frac{\sigma^2}{n}.

To jest serce całego prawa: uśrednianie nie zmienia wartości oczekiwanej, ale dusi wariancję.

Krok 4. Składamy wszystko. Nierówność Czebyszewa zastosowana do $\bar{X}_n$ daje:

P\left(\left|\bar{X}_n - \mu\right| \geq \varepsilon\right) \leq \frac{\sigma^2}{n\,\varepsilon^2} \xrightarrow{\ n \to \infty\ } 0. \qquad \blacksquare

Z ostatniej nierówności widać też tempo: typowe odchylenie średniej od $\mu$ jest rzędu $\tfrac{1}{\sqrt{n}}$ . Dziesięć razy lepsza dokładność kosztuje sto razy więcej prób - dokładnie to obserwujesz na wykresie.

Słabe a mocne prawo

Udowodniona wyżej wersja to prawo słabe: mówi o każdym ustalonym n z osobna. Istnieje wersja mocniejsza (Kołmogorow, 1930), zwana mocnym prawem wielkich liczb:

P\left(\lim_{n \to \infty} \bar{X}_n = \mu\right) = 1.

Różnica jest subtelna, ale realna: mocne prawo mówi, że z prawdopodobieństwem 1 cała trajektoria średnich zbiega do $\mu$ - nie zdarzy się, by częstość w nieskończoność wracała do dużych odchyleń. Krzywa w symulatorze, która po początkowych szaleństwach grzecznie tuli się do linii celu, to portret mocnego prawa.

Czego prawo NIE mówi

Nie przewiduje pojedynczego rzutu. Następny rzut to zawsze pełnoprawna losowość - prawo mówi o średnich, nie o wynikach.
Nie wyrównuje strat. Ruletka nie „odda" przegranych - przeciwnie, im dłużej grasz, tym pewniej zrealizuje się ujemna wartość oczekiwana. Prawo wielkich liczb jest matematycznym powodem, dla którego kasyno zawsze wygrywa na dystansie.
Nie działa bez wartości oczekiwanej. Dla rozkładu Cauchy'ego (gęstość $f(x) = \tfrac{1}{\pi(1+x^2)}$ ) średnia z miliona obserwacji jest tak samo rozrzucona jak jedna obserwacja - żadnej zbieżności.
Nie mówi nic o małych próbach. Po 20 rzutach częstość 65% orłów to nic nadzwyczajnego. Wyciąganie wniosków z małej próby to błąd, który prawo wielkich liczb raczej demaskuje, niż popełnia.

Po co to komu

Ubezpieczenia. Pojedyncza szkoda jest nieprzewidywalna, ale średnia szkoda w portfelu miliona polis - już nie. Cała kalkulacja składek stoi na tym prawie.
Kasyno. Przewaga domu bywa mikroskopijna (w ruletce ok. 2,7%), ale materializuje się nieubłaganie w masie zakładów - to samo prawo, kierunek przeciwny.
Sondaże. Frakcja w próbie zbiega do frakcji w populacji, z błędem rzędu $\tfrac{1}{\sqrt{n}}$ . Stąd magiczna próba ~1067 osób: błąd około $\tfrac{1}{\sqrt{1067}} \approx 3\%$ - niezależnie od wielkości kraju.
Metoda Monte Carlo. Chcesz policzyć trudną całkę albo prawdopodobieństwo wygranej w grze? Zasymuluj doświadczenie milion razy i uśrednij - prawo wielkich liczb gwarantuje, że wynik zbiega do prawdy. Dokładnie tak działa przycisk „zagraj 1000 razy" w naszym symulatorze Monty Halla.

Kto i kiedy

Pierwszą wersję - dla rzutów monetą i innych prób zero-jedynkowych - udowodnił Jakob Bernoulli w dziele Ars Conjectandi, wydanym pośmiertnie w 1713 roku. Nad dowodem pracował, jak sam pisał, dwadzieścia lat i nazwał wynik swoim „złotym twierdzeniem"; nazwa „prawo wielkich liczb" pochodzi od Poissona (1837).

Ogólne słabe prawo, z eleganckim dowodem przez nierówność z kroku 2, dał Pafnutij Czebyszew (1867). Mocne prawo dla monety udowodnił Émile Borel (1909), a w pełnej ogólności - Andriej Kołmogorow (1930), którego aksjomatyka z 1933 roku uczyniła z rachunku prawdopodobieństwa pełnoprawną gałąź matematyki. Ten sam nurt domyka centralne twierdzenie graniczne, które opisuje kształt wahań wokół średniej - dzwon Gaussa o szerokości $\tfrac{1}{\sqrt{n}}$ .

Najczęstsze pytania

Czy po serii dziesięciu orłów reszka jest bardziej prawdopodobna?
Nie - to paradoks hazardzisty. Moneta nie ma pamięci: każdy rzut to wciąż 50 na 50. Prawo wielkich liczb nie działa przez "wyrównywanie" przeszłości, tylko przez rozmywanie jej w masie przyszłych rzutów - po serii dziesięciu orłów oczekiwane saldo do końca gry wynosi dalej +10.

Ile rzutów potrzeba, żeby częstość była blisko 50%?
Typowe odchylenie częstości od 1/2 maleje jak 1 przez pierwiastek z n. Po 100 rzutach wahania rzędu 5 punktów procentowych są normalne, po 10 000 - rzędu pół punktu. Dziesięć razy lepsza dokładność wymaga stu razy więcej rzutów.

Czym różni się słabe prawo wielkich liczb od mocnego?
Słabe mówi, że dla dużego n odchylenie średniej od wartości oczekiwanej jest mało prawdopodobne (zbieżność według prawdopodobieństwa). Mocne mówi więcej: z prawdopodobieństwem 1 cała trajektoria średnich zbiega do wartości oczekiwanej. Na wykresie z symulatora oglądasz właśnie mocne prawo w akcji.

Czy prawo wielkich liczb działa dla każdego rozkładu?
Nie - rozkład musi mieć wartość oczekiwaną. Klasyczny kontrprzykład to rozkład Cauchy’ego: średnia z n obserwacji ma dokładnie ten sam rozkład co pojedyncza obserwacja i nie zbiega do niczego, choćby n było miliardem.

Jak z prawa wielkich liczb korzystają sondaże?
Frakcja odpowiedzi w próbie zbiega do frakcji w populacji, a typowy błąd maleje jak 1 przez pierwiastek z n. Stąd standardowa próba około 1000 osób: daje błąd rzędu 3 punktów procentowych niezależnie od tego, czy populacja liczy milion, czy miliard.

Podsumowanie

Średnia z niezależnych powtórzeń doświadczenia zbiega do wartości oczekiwanej - częstość orłów do 50%.
Dowód słabego prawa to trzy nierówności: Markowa, Czebyszewa i „wariancja średniej maleje jak 1/n".
Mechanizm to rozmycie, nie kompensacja: saldo orłów i reszek rośnie jak √n, a mimo to częstość zbiega, bo dzielimy przez n.
Typowa dokładność średniej jest rzędu 1/√n - dziesięć razy lepsza wymaga stu razy większej próby.
Konieczne jest istnienie wartości oczekiwanej (kontrprzykład Cauchy'ego); na tym prawie stoją ubezpieczenia, sondaże, kasyna i metoda Monte Carlo.

Zobacz też: problem Monty Halla (symulator), paradoks urodzin, twierdzenie Bayesa oraz wszystkie twierdzenia.