Twierdzenie Bayesa

Co mówi twierdzenie

Zapis $P(A \mid B)$ oznacza prawdopodobieństwo zdarzenia $A$ pod warunkiem, że zaszło $B$. Twierdzenie Bayesa pozwala odwrócić warunek: jeśli znamy $P(B \mid A)$, umiemy policzyć $P(A \mid B)$.

To brzmi technicznie, ale odpowiada na pytanie, które zadajemy codziennie. Test wykrywa chorobę w $99\%$ przypadków - to $P(\text{wynik dodatni} \mid \text{choroba})$. Pacjenta interesuje jednak coś zupełnie innego: $P(\text{choroba} \mid \text{wynik dodatni})$. To nie jest ta sama liczba i różnica bywa dramatyczna.

Dowód

Przykład - test na rzadką chorobę

Dane. Choroba występuje u $1\%$ populacji. Test wykrywa ją u chorego w $99\%$ przypadków (czułość), ale u osoby zdrowej daje fałszywy alarm w $5\%$ przypadków.

Pytanie. Twój wynik jest dodatni. Jakie jest prawdopodobieństwo, że naprawdę jesteś chory?

Krok 1. Oznaczenia. Niech $C$ - „osoba jest chora”, $D$ - „test dał wynik dodatni”. Dane:

$P(C) = 0{,}01, \qquad P(D \mid C) = 0{,}99, \qquad P(D \mid C') = 0{,}05.$

Krok 2. Prawdopodobieństwo dodatniego wyniku (wzór na prawdopodobieństwo całkowite):

$P(D) = 0{,}99 \cdot 0{,}01 + 0{,}05 \cdot 0{,}99 = 0{,}0099 + 0{,}0495 = 0{,}0594.$

Krok 3. Twierdzenie Bayesa.

$P(C \mid D) = \frac{0{,}99 \cdot 0{,}01}{0{,}0594} = \frac{0{,}0099}{0{,}0594} = \frac{1}{6} \approx 16{,}7\%.$

Odpowiedź. Mimo „$99$-procentowego” testu szansa na chorobę wynosi tylko około $17\%$.

Dlaczego to tak zaskakuje

Rachunek staje się oczywisty, gdy zamiast procentów policzymy ludzi. Wyobraźmy sobie $10\,000$ osób:

• chorych jest $1\%$, czyli $100$ osób. Test wykryje $99$ z nich;
• zdrowych jest $9900$. Test pomyli się u $5\%$ z nich, czyli u $495$ osób.

Dodatni wynik dostaje więc $99 + 495 = 594$ osób, ale tylko $99$ z nich jest chorych:

$\frac{99}{594} = \frac{1}{6}.$

Zdrowych jest tak wielu, że nawet niewielki odsetek pomyłek daje więcej fałszywych alarmów niż prawdziwych wykryć. To jest sedno twierdzenia Bayesa: wynik testu trzeba ważyć częstością choroby, a nie samą jakością testu.

Zmieńmy jeden parametr: gdyby chorobę miało $10\%$ populacji (a nie $1\%$), to samo obliczenie dałoby

$P(C \mid D) = \frac{0{,}99 \cdot 0{,}1}{0{,}99 \cdot 0{,}1 + 0{,}05 \cdot 0{,}9} = \frac{0{,}099}{0{,}144} \approx 68{,}8\%.$

Ten sam test, zupełnie inny wniosek - bo zmieniło się prawdopodobieństwo wstępne.

Częsty błąd - odwracanie warunku

Mylenie $P(D \mid C)$ z $P(C \mid D)$ ma własną nazwę: błąd prokuratora. W sądzie brzmi tak: „prawdopodobieństwo, że ślad DNA pasuje do przypadkowej osoby, wynosi jeden na milion, więc prawdopodobieństwo niewinności oskarżonego to jeden na milion”. To rozumowanie jest błędne - pomija liczbę osób, które w ogóle mogły zostać sprawdzone.

Prosty test na to, czy warunki są zamienne: prawdopodobieństwo, że ktoś jest wysoki, skoro jest koszykarzem, jest bardzo duże. Prawdopodobieństwo, że ktoś jest koszykarzem, skoro jest wysoki - znikome.

Po co to komu

• Diagnostyka medyczna - interpretacja testów przesiewowych, dokładnie jak w przykładzie wyżej.
• Filtry antyspamowe - „naiwny klasyfikator bayesowski” ocenia, jak bardzo słowa w wiadomości podnoszą prawdopodobieństwo, że to spam.
• Uczenie maszynowe - cała rodzina metod bayesowskich aktualizuje przekonania w miarę napływu danych.
• Nauka i codzienne myślenie - twierdzenie Bayesa jest matematycznym zapisem zdrowej zasady: nowa informacja zmienia ocenę, ale nie kasuje tego, co wiedzieliśmy wcześniej.

Kto i kiedy

Twierdzenie pochodzi z pracy Thomasa Bayesa, angielskiego duchownego i matematyka, wydanej pośmiertnie w 1763 roku przez Richarda Price’a. Ogólną postać i zastosowania rozwinął niezależnie Pierre-Simon Laplace pod koniec XVIII wieku.

Przez większą część XX wieku podejście bayesowskie było w statystyce marginalizowane; wróciło z impetem wraz z komputerami, bo dopiero one pozwoliły liczyć skomplikowane modele bayesowskie numerycznie.

Najczęstsze pytania

Czym różni się $P(A \mid B)$ od $P(B \mid A)$? Wszystkim. Pierwsze pyta o $A$, gdy wiemy o $B$; drugie odwrotnie. Twierdzenie Bayesa podaje przelicznik między nimi i mówi wprost, że są równe tylko wtedy, gdy $P(A) = P(B)$.

Co to jest prawdopodobieństwo a priori i a posteriori? A priori ($P(A)$) to nasza ocena przed zobaczeniem danych, a posteriori ($P(A \mid B)$) - po. Twierdzenie Bayesa opisuje przejście od jednego do drugiego.

Dlaczego dodatni wynik dobrego testu daje tak małą pewność? Bo choroba jest rzadka. Osób zdrowych jest tak wiele, że nawet $5\%$ pomyłek daje więcej fałszywych alarmów niż jest prawdziwych chorych. Dlatego testy przesiewowe powtarza się innym, niezależnym badaniem.

Czy to jest w programie szkoły średniej? Prawdopodobieństwo warunkowe i wzór na prawdopodobieństwo całkowite - tak, na poziomie rozszerzonym. Sam wzór Bayesa bywa pomijany, choć jest jedynie krokiem dalej.

Jaki jest związek z problemem Monty Halla? Bezpośredni - problem Monty Halla to zadanie, w którym otwarcie drzwi przez prowadzącego jest właśnie nową informacją, a twierdzenie Bayesa mówi, jak zaktualizować szanse.

Podsumowanie

• Twierdzenie Bayesa odwraca warunek: z $P(B \mid A)$ wylicza $P(A \mid B)$.
• Dowód to jedno podstawienie - dwa zapisy tej samej wielkości $P(A \cap B)$.
• Wynik testu trzeba ważyć częstością zjawiska: przy chorobie u $1\%$ populacji test o czułości $99\%$ daje po dodatnim wyniku zaledwie około $17\%$ pewności.
• Mylenie $P(A \mid B)$ z $P(B \mid A)$ to błąd prokuratora - kosztowna pomyłka także poza matematyką.
• Zastosowania: diagnostyka, filtry spamu, uczenie maszynowe, racjonalna aktualizacja przekonań.