Bayesin teoreema

Tapahtuman A todennäköisyys ehdolla B (merkitään P(A|B)) on yleisessä tapauksessa eri asia kuin todennäköisyys tapahtumalle B ehdolla A (merkitään P(B|A)). Näiden kahden ehdollisen todennäköisyyden välillä on kuitenkin suhde, jota Bayesin teoreema kuvaa. Teoreema kuuluu seuraavasti:

${\displaystyle P(B\mid A)={\frac {P(A\mid B)\;P(B)}{P(A)}}\!}$

missä

• ${\displaystyle P(B\mid A)}$ on B:n todennäköisyys ehdolla A. Tätä kutsutaan myös posterioritodennäköisyydeksi. Se on haluttu lopputulos.
• ${\displaystyle P(A\mid B)}$ on A:n uskottavuus eli A:n todennäköisyys ehdolla B.
• ${\displaystyle P(B)\,}$ on B:n priori-todennäköisyys eli todennäköisyys ilman lisätietoja.
• ${\displaystyle P(A)\,}$ on reunatodennäköisyys. Huomattavaa on, ettei se riipu B:stä. Se kuvaa tehtyjen havaintojen todennäköisyyttä.

Monissa käytännön sovelluksissa riittää tietää, että

${\displaystyle P(B\mid A)\propto P(A\mid B)\;P(B)}$

Tällöin vältytään arvioimasta ${\displaystyle P(A)\,}$, mikä on todellisen mittausdatan tapauksessa yleensä varsin vaikeaa.

Käytännössä Bayesin kaavaa käytetään yleensä posterioritodennäköisyyden tiheysfunktion määrittämiseen, sillä se on usein tuntematon tai ainakin erittäin vaikea lausua suljetussa muodossa. Tällöin yhtälön oikealla puolella oleville todennäköisyyksille valitaan tiheysfunktiot, jotka joko tiedetään tai oletetaan. Erityisesti prioritodennäköisyyden ${\displaystyle P(B)\,}$ tiheysfunktion valinta on bayesilaisen päättelyn keskeisimpiä kysymyksiä.

Oletetaan, että meillä on kaksi purkillista keksejä. Purkissa A on 10 suklaakeksiä sekä 30 kookoskeksiä, kun taas purkissa B on molempia laatuja 20 kappaletta. Matti valitsee ensin sattumanvaraisesti toisen purkeista ja sitten nostaa valitsemastaan purkista sattumanvaraisesti yhden keksin. Havaitaan, että Matin valitsema keksi on kookoskeksi. Millä todennäköisyydellä se on peräisin purkista A?

Intuitiivisesti on tietenkin helppo nähdä, että koska kookoskeksejä on purkissa A enemmän kuin purkissa B, on todennäköisyyden oltava suurempi kuin 0,5. Tarkka todennäköisyys voidaan laskea Bayesin teoreeman avulla. Nyt

${\displaystyle P(purkki\ A|kookoskeksi)}$

on todennäköisyys sille, että Matin valitsema purkki on purkki A siinä tapauksessa, että hän on valinnut purkista kookoskeksin. Tälle todennäköisyydelle etsimme ratkaisua.

${\displaystyle P(kookoskeksi)}$ on todennäköisyys sille, että Matin valitsema keksi on kookoskeksi. Tätä todennäköisyyttä kuvaa luonnollisesti kookoskeksien osuus kaikista mahdollisista kekseistä. Kookoskeksejä on ensimmäisessä purkissa 30 kappaletta ja toisessa purkissa 20 kappaletta eli yhteensä 50 kappaletta. Koska molemmissa purkeissa on 40 keksiä, on keksien kokonaismäärä 80 kappaletta. Näin saadaan

${\displaystyle P(kookoskeksi)={\frac {50}{80}}=0{,}625}$

Vastaavasti ${\displaystyle P(purkki\ A)}$ on todennäköisyys sille, että Matin valitsema purkki on nimenomaan purkki A. Kahdesta purkista yhden tietyn valitsemisen todennäköisyys on luonnollisesti 0,5.

${\displaystyle P(purkki\ A)=0{,}5}$

${\displaystyle P(kookoskeksi|purkki\ A)}$ on todennäköisyys sille, että Matin valitsema keksi on kookoskeksi siinä tapauksessa, että hän on valinnut purkin A. Koska purkissa A on yhteensä 40 keksiä, joista 30 on kookoskeksejä, saadaan todennäköisyydeksi

${\displaystyle P(kookoskeksi|purkki\ A)={\frac {30}{40}}=0{,}75}$

Tämän informaation avulla voimme nyt laskea todennäköisyyden sille, että Matin valitsema kookoskeksi on peräisin juuri purkista A:

${\displaystyle P(purkki\ A|kookoskeksi)={\frac {P(kookoskeksi|purkki\ A)P(purkki\ A)}{P(kookoskeksi)}}={\frac {0{,}75\cdot 0{,}5}{0{,}625}}=0{,}6}$

On siis 60% todennäköisyys, että Matin kookoskeksi on purkista A.

Ehdollisen todennäköisyyden määritelmän mukaisesti tapahtuman A todennäköisyys ehdolla B on

${\displaystyle P(A|B)={\frac {P(A\cap B)}{P(B)}}.}$

Vastaavasti tapahtuman B todennäköisyys ehdolla A on

${\displaystyle P(B|A)={\frac {P(A\cap B)}{P(A)}}.\!}$

Näistä kahdesta yhtälöstä saadaan

${\displaystyle P(A|B)\,P(B)=P(A\cap B)=P(B|A)\,P(A).\!}$

Jakamalla näin saadun yhtälön molemmat puolet tekijällä P(B) saadaan Bayesin teoreema

${\displaystyle P(A|B)={\frac {P(B|A)\,P(A)}{P(B)}}.\!}$