Centralne twierdzenie graniczne

Dla niezależnych powtórzeń doświadczenia o wartości oczekiwanej $\mu$ i skończonym odchyleniu $\sigma$ wystandaryzowana średnia zbiega do rozkładu normalnego:

P\left(\frac{\bar{X}_n - \mu}{\sigma/\sqrt{n}} \leq x\right) \xrightarrow{\ n \to \infty\ } \Phi(x) = \frac{1}{\sqrt{2\pi}} \int_{-\infty}^{x} e^{-t^2/2}\, dt.

W praktyce: dla dużych n średnia zachowuje się jak zmienna normalna

\bar{X}_n \approx N\!\left(\mu,\ \frac{\sigma^2}{n}\right).

- niezależnie od tego, jak wygląda rozkład wyjściowy.

Prawo wielkich liczb mówi, że średnia trafia w cel. Centralne twierdzenie graniczne bierze lupę i patrzy na drgania wokół celu: mają kształt dzwonu Gaussa - zawsze tego samego, choćby pojedyncze doświadczenie było płaskie jak kostka, dwuszpilkowe jak moneta czy krzywe jak rozkład wygranych na loterii. Nie wierz na słowo - wybierz rozkład poniżej i zobacz, jak uśrednianie mieli go w dzwon.

Średnia z n prób:

Wybierz rozkład i dodaj pierwsze średnie.

Zebrane średnie0

Średnia: teoria / pomiar-

Odchylenie: teoria (σ/√n) / pomiar-

Słupki to Twoje próby, krzywa - teoretyczny dzwon Gaussa o szerokości σ/√n. Przy n = 1 oglądasz rozkład wyjściowy (dzwon do niego nie pasuje - i o to chodzi); zwiększaj n i patrz, jak histogram wciska się w krzywą, a zarazem zwęża - to jednocześnie centralne twierdzenie graniczne i prawo wielkich liczb.

Co mówi twierdzenie

Kostka nie ma w sobie nic „dzwonowatego": każda ścianka wypada równie często, histogram pojedynczego rzutu jest płaski. Ale już średnia z dwóch rzutów układa się w trójkąt (7 łatwiej wyrzucić niż 2, bo na 7 jest więcej sposobów), a średnia z trzydziestu - w gładki dzwon. Twierdzenie mówi, że to nie przypadek ani własność kostki: suma wielu niezależnych losowości zawsze przybiera ten sam kształt, opisany gęstością

\varphi(x) = \frac{1}{\sqrt{2\pi}}\, e^{-x^2/2}.

Rozkład wyjściowy decyduje tylko o dwóch liczbach - środku $\mu$ i szerokości $\sigma/\sqrt{n}$ - a cała reszta jego indywidualności zostaje zmielona. Matematycy mówią o uniwersalności: dzwon jest atraktorem, do którego uśrednianie ściąga wszystko, co ma skończoną wariancję.

Dowód - szkic przez funkcje charakterystyczne

Pokaż szkic dowodu Ukryj szkic dowodu

Pełny dowód wymaga narzędzi analizy (twierdzenia Lévy'ego o ciągłości), ale jego pomysł jest krótki i piękny. Uczciwie: to szkic - ostatni krok przyjmiemy bez dowodu.

Krok 1. Standaryzujemy sumę. Badamy zmienną

Z_n = \frac{X_1 + X_2 + \ldots + X_n - n\mu}{\sigma\sqrt{n}}.

o średniej 0 i wariancji 1 - to jej rozkład ma zbiec do dzwonu.

Krok 2. Każdemu rozkładowi przypisujemy „odcisk palca". Funkcja charakterystyczna zmiennej Y to

\varphi_Y(t) = E\left[e^{\,itY}\right].

Ma dwie kluczowe własności: wyznacza rozkład jednoznacznie oraz zamienia sumę niezależnych zmiennych na iloczyn. Dla naszej sumy identycznych składników:

\varphi_{Z_n}(t) = \left[\varphi\!\left(\frac{t}{\sqrt{n}}\right)\right]^{n},

gdzie φ jest funkcją charakterystyczną pojedynczego wystandaryzowanego składnika.

Krok 3. Przybliżamy odcisk palca w zerze. Ze standaryzacji wynika φ′(0) = 0 oraz φ″(0) = −1, więc rozwinięcie Taylora daje

\varphi(s) = 1 - \frac{s^2}{2} + o(s^2).

Tu ginie indywidualność rozkładu: kostka, moneta i loteria różnią się dopiero wyrazami, które za chwilę znikną w granicy.

Krok 4. Przechodzimy do granicy. Podstawiając s = t/√n:

\varphi_{Z_n}(t) = \left(1 - \frac{t^2}{2n} + o\!\left(\tfrac{1}{n}\right)\right)^{\!n} \xrightarrow{\ n \to \infty\ } e^{-t^2/2}.

- to ta sama granica, która definiuje liczbę e. Wynik $e^{-t^2/2}$ jest funkcją charakterystyczną rozkładu normalnego N(0, 1).

Krok 5. Wniosek (tu potrzebna analiza). Twierdzenie Lévy'ego mówi, że zbieżność funkcji charakterystycznych pociąga zbieżność rozkładów - a więc rozkład Z_n zbiega do N(0, 1). To jedyny krok, który przyjmujemy bez dowodu. ∎

Najstarszy przypadek szczególny - dla rzutów monetą - udowodnili de Moivre i Laplace wprost ze wzoru dwumianowego i przybliżenia Stirlinga, sto lat przed narodzinami funkcji charakterystycznych. Ich wynik możesz obejrzeć w symulatorze: moneta, n = 30.

Reguła trzech sigm

Skoro wahania są normalne, znamy ich rozkład z dokładnością do dwóch parametrów - i stąd najpraktyczniejsza tabelka statystyki:

w pasie $\mu \pm \sigma$ mieści się około 68,3% wyników;
w pasie $\mu \pm 2\sigma$ - około 95,4%;
w pasie $\mu \pm 3\sigma$ - około 99,7%.

Na tym stoją przedziały ufności sondaży (słynne „±3%" przy próbie ~1067 osób), granice kontrolne w fabrykach i próg „5 sigm", od którego fizycy ogłaszają odkrycie cząstki. Dokładność samego przybliżenia dzwonem też jest znana: błąd maleje jak $\tfrac{1}{\sqrt{n}}$ (twierdzenie Berry'ego-Esseena).

Czego twierdzenie NIE mówi

Nie wymaga normalności danych. Przeciwnie - całą siłą twierdzenia jest to, że dane mogą mieć dowolny rozkład. Normalna robi się dopiero średnia.
Nie działa bez skończonej wariancji. Dla rozkładu Cauchy'ego średnia z miliona obserwacji ma wciąż rozkład Cauchy'ego - dzwon nie powstaje wcale. To ten sam kontrprzykład, który psuje prawo wielkich liczb.
Nie obiecuje dzwonu przy małym n. Tempo zbieżności zależy od skośności rozkładu wyjściowego - w symulatorze rozkład skośny przy n = 5 wciąż wyraźnie odstaje od krzywej, podczas gdy kostka pasuje niemal idealnie.
Najsłabiej przybliża ogony. Środek dzwonu dopasowuje się szybko, skrajne percentyle - wolno. Zakładanie normalności rzadkich zdarzeń (krachy giełdowe, powodzie stulecia) to klasyczny sposób na ich niedoszacowanie.
Wymaga niezależności. Dla danych silnie skorelowanych (np. kolejnych pomiarów tej samej wielkości) twierdzenie w tej postaci nie obowiązuje.

Po co to komu

Statystyka w całości. Przedziały ufności, testy istotności, regresja - wszystkie standardowe narzędzia zakładają w tle normalność średnich, którą gwarantuje właśnie to twierdzenie.
Błędy pomiaru. Błąd przyrządu to suma wielu drobnych, niezależnych zakłóceń - dlatego histogramy błędów pomiarowych układają się w dzwon i dlatego Gauss odkrył swój rozkład, analizując obserwacje astronomiczne.
Deska Galtona. Kulka spadająca po planszy z kołeczkami sumuje kilkanaście losowych odbić w lewo i w prawo - a rynienki na dole wypełniają się dzwonem. To mechaniczny odpowiednik naszego symulatora, budowany w muzeach nauki na całym świecie.
Symulacje Monte Carlo. Wynik symulacji (jak w naszym symulatorze Monty Halla) to średnia z wielu prób - twierdzenie mówi, jak duży jest jej losowy błąd i ile prób potrzeba, by zejść poniżej zadanego progu.

Kto i kiedy

Przypadek monety rozstrzygnął Abraham de Moivre (1733), a uogólnił i spopularyzował Pierre-Simon Laplace (1810) - stąd nazwa „twierdzenie de Moivre'a-Laplace'a" dla wersji dwumianowej. Ogólne sformułowania z precyzyjnymi założeniami dali Aleksandr Lapunow (1901) i Jarl Lindeberg (1922); nazwę „centralne" ukuł George Pólya (1920) - twierdzenie jest „centralne" ze względu na swoją rolę w teorii, nie na środek dzwonu.

Najsłynniejszy komentarz zostawił Francis Galton, konstruktor deski z kołeczkami: nazwał to prawo „najwyższym prawem Bezrozumu" - im większy chaos pojedynczych przyczyn, tym doskonalszy porządek ich sumy. Zobacz też: Andriej Kołmogorow, który domknął aksjomatycznie cały rachunek prawdopodobieństwa.

Najczęstsze pytania

Dlaczego akurat dzwon, a nie inny kształt?
Bo dzwon Gaussa jest punktem stałym uśredniania: suma dwóch niezależnych zmiennych normalnych znów jest normalna. Każdy inny kształt uśrednianie stopniowo "domiela" właśnie do tej formy - w szkicu dowodu widać to jako granicę e^(−t²/2), która nie zależy od rozkładu wyjściowego.

Czy n = 30 zawsze wystarcza, żeby uznać rozkład średniej za normalny?
To popularna reguła kciuka, nie twierdzenie. Dla rozkładów symetrycznych dzwon pojawia się już przy n rzędu kilku; dla mocno skośnych (jak dochody) trzeba setek prób. W symulatorze widać to wprost: porównaj kostkę i rozkład skośny przy tym samym n.

Co się dzieje, gdy rozkład nie ma wariancji?
Twierdzenie przestaje obowiązywać. Dla rozkładu Cauchy’ego średnia z n obserwacji ma dokładnie ten sam rozkład Cauchy’ego - żadnego dzwonu, żadnego zwężania. Skończona wariancja jest założeniem istotnym, nie technicznym.

Czym różni się centralne twierdzenie graniczne od prawa wielkich liczb?
Prawo wielkich liczb mówi, DOKĄD zbiega średnia (do wartości oczekiwanej). Centralne twierdzenie graniczne opisuje KSZTAŁT wahań wokół tego celu: są w przybliżeniu normalne, o szerokości sigma przez pierwiastek z n. Pierwsze to kierunek, drugie to lupa na drgania.

Czy dane w przyrodzie są zawsze normalne?
Nie. Normalność pojawia się tam, gdzie wielkość jest sumą wielu małych, niezależnych wpływów (błędy pomiaru, wzrost). Ale dochody, wielkości miast czy ruchy giełdowe mają rozkłady skośne albo o grubych ogonach - tam bezrefleksyjne stosowanie dzwonu prowadzi do niedoszacowania rzadkich, skrajnych zdarzeń.

Podsumowanie

Wystandaryzowana średnia niezależnych powtórzeń zbiega do rozkładu normalnego - niezależnie od rozkładu wyjściowego (byle miał skończoną wariancję).
Praktyczna postać: $\bar{X}_n$ ≈ N( $\mu$ , σ²/n) - prawo wielkich liczb daje cel, a to twierdzenie kształt i szerokość wahań.
Szkic dowodu: funkcja charakterystyczna sumy to potęga, rozwinięcie Taylora zabija indywidualność rozkładu, a granica $e^{-t^2/2}$ to odcisk palca dzwonu.
Reguła trzech sigm: 68% / 95% / 99,7% - fundament przedziałów ufności i progów odkryć w fizyce; błąd przybliżenia maleje jak $\tfrac{1}{\sqrt{n}}$ .
Granice stosowalności: skończona wariancja (kontrprzykład Cauchy'ego), niezależność, ostrożnie z ogonami i małymi próbami przy rozkładach skośnych.

Zobacz też: prawo wielkich liczb (symulator), problem Monty Halla (symulator), twierdzenie Bayesa oraz wszystkie twierdzenia.