Wzór na prawdopodobieństwo całkowite i wzór Bayesa - przykłady z drzewkiem

Klasa 4 liceum i technikum

Wzór na prawdopodobieństwo całkowite pozwala obliczyć prawdopodobieństwo zdarzenia $A$, które może zajść w kilku wykluczających się przypadkach $B_1, \ldots, B_n$: mnożymy prawdopodobieństwo każdego przypadku przez prawdopodobieństwo $A$ w tym przypadku i wyniki dodajemy. Wzór Bayesa odwraca pytanie: wiedząc, że $A$ zaszło, podaje prawdopodobieństwo, że zaszło to w przypadku $B_k$. Na drzewku pierwszy wzór to suma gałęzi sprzyjających, a drugi - udział jednej z tych gałęzi w sumie.

Twierdzenie o prawdopodobieństwie całkowitym

Twierdzenie. Jeżeli $B_1, \ldots, B_n$ są rozbiciem $\Omega$ i $P(B_i) > 0$ dla każdego $i$, to dla dowolnego zdarzenia $A$

$P(A) = \sum_{i=1}^{n} P(A \mid B_i) \cdot P(B_i).$

Dowód. Zdarzenia $A \cap B_1, \ldots, A \cap B_n$ wykluczają się parami (bo wykluczają się $B_i$), a ich suma to $A \cap (B_1 \cup \ldots \cup B_n) = A \cap \Omega = A$. Z aksjomatu addytywności $P(A) = P(A \cap B_1) + \ldots + P(A \cap B_n)$, a ze wzoru na iloczyn $P(A \cap B_i) = P(A \mid B_i) \cdot P(B_i)$. $\blacksquare$

W praktyce $B_i$ to „przypadki pierwszego etapu” (która urna, która maszyna, czy ktoś jest chory), a $A$ - wynik drugiego etapu. Wzór niczym nie różni się od drzewka z lekcji o doświadczeniach wieloetapowych - nadaje mu tylko nazwę.

Przykład: trzy maszyny

Przykład 1. Fabryka produkuje śruby na trzech maszynach. Maszyna $M_1$ wytwarza $50\%$ śrub, z których $2\%$ jest wadliwych; $M_2$ - $30\%$ śrub z $3\%$ braków; $M_3$ - $20\%$ śrub z $5\%$ braków. Losujemy jedną śrubę.

a) Jakie jest prawdopodobieństwo, że jest wadliwa?

b) Wylosowana śruba okazała się wadliwa. Jakie jest prawdopodobieństwo, że pochodzi z maszyny $M_3$?

Krok 1. Rozbicie. $M_1, M_2, M_3$ wykluczają się i razem obejmują całą produkcję: $P(M_1) = 0{,}5$, $P(M_2) = 0{,}3$, $P(M_3) = 0{,}2$.

Krok 2. Prawdopodobieństwo całkowite. $B$ - „śruba wadliwa”:

$P(B) = 0{,}02 \cdot 0{,}5 + 0{,}03 \cdot 0{,}3 + 0{,}05 \cdot 0{,}2 = 0{,}010 + 0{,}009 + 0{,}010 = 0{,}029.$

Krok 3. Wzór Bayesa. Interesuje nas udział gałęzi $M_3$ w zdarzeniu $B$:

$P(M_3 \mid B) = \frac{P(B \mid M_3) \cdot P(M_3)}{P(B)} = \frac{0{,}010}{0{,}029} = \frac{10}{29} \approx 0{,}345.$

Odpowiedź: a) $0{,}029$; b) $\tfrac{10}{29} \approx 34{,}5\%$. Choć $M_3$ robi tylko $20\%$ śrub, odpowiada za ponad jedną trzecią braków. Dla porównania $P(M_1 \mid B) = \tfrac{10}{29}$ i $P(M_2 \mid B) = \tfrac{9}{29}$ - trzy odpowiedzi sumują się do $1$, bo wadliwa śruba musiała przyjść z którejś maszyny.

Sprawdzenie na liczbach. Z $1000$ śrub $500$ pochodzi z $M_1$ ($10$ wadliwych), $300$ z $M_2$ ($9$ wadliwych), $200$ z $M_3$ ($10$ wadliwych). Wadliwych jest $29$, w tym $10$ z $M_3$ - stąd $\tfrac{10}{29}$. Takie „przeliczenie na $1000$ sztuk” to najpewniejszy sposób na kontrolę rachunków.

Przykład: kostka wybiera urnę

Przykład 2. Rzucamy kostką. Jeśli wypadnie $1$ lub $2$, losujemy kulę z urny I ($3$ białe, $1$ czarna), w przeciwnym razie z urny II ($1$ biała, $3$ czarne). Wylosowano kulę białą. Jakie jest prawdopodobieństwo, że pochodzi z urny I?

Krok 1. $P(U_1) = \tfrac{2}{6} = \tfrac{1}{3}$, $P(U_2) = \tfrac{2}{3}$; $P(b \mid U_1) = \tfrac{3}{4}$, $P(b \mid U_2) = \tfrac{1}{4}$.

Krok 2. $P(b) = \tfrac{3}{4} \cdot \tfrac{1}{3} + \tfrac{1}{4} \cdot \tfrac{2}{3} = \tfrac{3}{12} + \tfrac{2}{12} = \tfrac{5}{12}$.

Krok 3. $P(U_1 \mid b) = \dfrac{3/12}{5/12} = \tfrac{3}{5}$.

Odpowiedź: $\tfrac{3}{5}$. Przed losowaniem urna I była mniej prawdopodobna ($\tfrac{1}{3}$), ale biała kula jest „śladem”, który przemawia za nią - i prawdopodobieństwo wzrosło do $\tfrac{3}{5}$.

Przykład: filtr spamu

Przykład 3. $40\%$ poczty przychodzącej na pewną skrzynkę to spam. Słowo „promocja” występuje w $30\%$ wiadomości będących spamem i w $2\%$ zwykłych wiadomości. Przyszła wiadomość ze słowem „promocja”. Jakie jest prawdopodobieństwo, że to spam?

Krok 1. $P(S) = 0{,}4$, $P(S') = 0{,}6$; $P(W \mid S) = 0{,}3$, $P(W \mid S') = 0{,}02$.

Krok 2. $P(W) = 0{,}3 \cdot 0{,}4 + 0{,}02 \cdot 0{,}6 = 0{,}12 + 0{,}012 = 0{,}132$.

Krok 3. $P(S \mid W) = \tfrac{0{,}12}{0{,}132} = \tfrac{10}{11} \approx 0{,}909$.

Odpowiedź: około $91\%$. Na tym rachunku opierały się pierwsze filtry antyspamowe (tzw. naiwny klasyfikator Bayesa): każde podejrzane słowo przesuwa prawdopodobieństwo „spam”.

Dlaczego wzór Bayesa bywa zaskakujący

Wzór Bayesa najmocniej zaskakuje przy rzadkich przypadkach. Test na rzadką chorobę może mylić się rzadko, a mimo to większość osób z wynikiem dodatnim jest zdrowa - bo zdrowych jest tak wielu, że nawet mały odsetek fałszywych alarmów przewyższa liczbę chorych. Pełny przykład z liczbami i dowodem: twierdzenie Bayesa. Ten sam wzór wyjaśnia też problem Monty Halla: otwarcie drzwi przez prowadzącego to „ślad”, który zmienia prawdopodobieństwa położenia samochodu.

Schemat rozwiązywania

1. Nazwij przypadki $B_1, \ldots, B_n$ (urny, maszyny, chory/zdrowy) i sprawdź, że tworzą rozbicie.
2. Wypisz dane: $P(B_i)$ i $P(A \mid B_i)$ - zwykle są w treści jako procenty.
3. Prawdopodobieństwo całkowite: $P(A) = \sum P(A \mid B_i) \cdot P(B_i)$ (suma gałęzi).
4. Jeśli pytanie jest „odwrócone” (wiadomo, że $A$ zaszło - skąd przyszło?), podziel jedną gałąź przez sumę: $P(B_k \mid A) = \tfrac{P(A \mid B_k) \cdot P(B_k)}{P(A)}$.
5. Kontrola: przelicz na $1000$ obiektów albo sprawdź, że $\sum_k P(B_k \mid A) = 1$.

Typowe błędy

• Dodawanie $P(A \mid B_i)$ bez mnożenia przez $P(B_i)$ - np. $0{,}02 + 0{,}03 + 0{,}05$.
• Średnia arytmetyczna procentów braków zamiast średniej ważonej udziałami maszyn.
• Odpowiedź $P(B \mid M_3)$ zamiast $P(M_3 \mid B)$ - czyli $5\%$ zamiast $34{,}5\%$.
• Przypadki, które nie tworzą rozbicia (zachodzą na siebie albo nie obejmują wszystkiego).

Najczęstsze pytania

Jaki jest wzór na prawdopodobieństwo całkowite?$P(A) = P(A \mid B_1) P(B_1) + \ldots + P(A \mid B_n) P(B_n)$, gdzie $B_1, \ldots, B_n$ wykluczają się parami i w sumie dają $\Omega$.

Kiedy stosować wzór Bayesa? Gdy znamy prawdopodobieństwa „przypadek → wynik” ($P(A \mid B_k)$), a pytanie dotyczy kierunku odwrotnego: „wynik zaszedł - jaka jest szansa, że w przypadku $B_k$?”.

Czym różni się prawdopodobieństwo całkowite od wzoru Bayesa? Prawdopodobieństwo całkowite to suma wszystkich gałęzi prowadzących do $A$. Wzór Bayesa to iloraz jednej z tych gałęzi przez tę sumę.

Jak zapamiętać wzór Bayesa? „Moja gałąź przez wszystkie gałęzie”: licznik to iloczyn na drodze przez $B_k$ do $A$, mianownik - prawdopodobieństwo całkowite $P(A)$.

Czy wzór na prawdopodobieństwo całkowite jest na maturze? Tak, w zakresie rozszerzonym. Zadania da się też rozwiązać samym drzewkiem - wzór to jego zapis symbolami.

Przećwicz

• Prawdopodobieństwo całkowite i wzór Bayesa - zadania → - dwie urny, przełożenie kuli, maszyny i braki, test na rzadką chorobę, filtr spamu, świadek i taksówki (zadania z pełnym rozwiązaniem krok po kroku).
• Cały zestaw: rachunek prawdopodobieństwa - zadania z rozwiązaniami →

Podsumowanie

• Rozbicie $\Omega$: przypadki $B_i$ wykluczają się parami i razem dają $\Omega$.
• $P(A) = \sum P(A \mid B_i) \cdot P(B_i)$ - suma gałęzi drzewka prowadzących do $A$.
• $P(B_k \mid A) = \tfrac{P(A \mid B_k) P(B_k)}{P(A)}$ - jedna gałąź podzielona przez sumę gałęzi.
• Rzadkie przypadki dają zaskakujące wyniki Bayesa - liczbowo sprawdzaj na $1000$ obiektów.
• Prawdopodobieństwa a posteriori $P(B_k \mid A)$ sumują się do $1$.