Suurten lukujen laki

Suurten lukujen lakia esittävä simulaatio. Joka kerta heitetään kolikkoa, jonka on toiselta puolelta punainen, toiselta sininen, ja vastaavaan sarakkeeseen tehdään merkintä. Pylväiden korkeus osoittaa tuloksina saatujen punaisten ja sinisten lukumäärät kuhunkin hetkeen mennessä. On huomattava, että suhteellinen osuus saattaa aluksi vaihdella paljonkin, mutta vähitellen se lähestyy 50 prosenttia.

Heikko suurten lukujen laki eli Khintšinin laki sanoo, että otoksen keskiarvo konvergoi stokastisesti kohti odotusarvoa. Jos X₁, X₂, ... X_i on joukko pareittain riippumattomia, samoin jakautuneita satunnaismuuttujia, joilla on sama odotusarvo EX_i = μ ja varianssi D²X_i = σ² ja niiden keskiarvolle käytetään merkintää ${\displaystyle {\overline {X}}_{n}}$, niin[9]

${\displaystyle {\overline {X}}_{n}\ {\xrightarrow {\text{i.p.}}}\ \mu \qquad {\textrm {kun}}\ n\to \infty .}$

Tämä merkitsee, että jokaiselle positiiviselle luvulle ε pätee:

${\displaystyle \lim _{n\to \infty }\Pr \!\left(\,|{\overline {X}}_{n}-\mu |>\varepsilon \,\right)=0.}$

Tulos merkitsee oleellisesti, että valittiinpa mieli­­valtainen kuinka pieni positiivinen reaaliluku tahansa tarpeeksi suurella otoksella todennäköisyys, että havaintojen keskiarvo poikkeaa odotus­arvosta enemmän kuin tämän luvun verran eli jää sen välin ulkopuolelle, joka ulottuu odotus­arvosta kyseisen luvun verran kumpaankin suuntaan, lähestyy nollaa.

Tätä stokastista konvergenssia[9] eli suppenemista in probability (i.p.) sanotaan myös satunnais­muuttujan heikoksi konvergenssiksi. Tätä suurten lukujen lain muotoa sanotaan heikoksi, koska satunnais­muuttujat voivat supeta heikosti (in probability) tässä selitetyllä tavalla, vaikka ne eivät suppenisikaan vahvasti (melkein varmasti) jäljempänä selitetyllä tavalla.

Bernoullin lause on suurten lukujen lain kauimmin tunnettu muoto ja itse asiassa heikon suurten lukujen lain erikoistapaus. Se koskee toistokokeita, joissa on vain kaksi mahdollista tulosta: jokin "suotuisa" tulos joko saadaan tai ei. Bernoullin lause sanoo, että jos tällainen koe suoritetaan n kertaa ja joka kerta tämä suotuista tulos tietyllä toden­näköisyydellä p, toistokertojen lukumäärän kasvaessa toden­näköisyys, että sellaisten kertojen suhteellinen osuus, jolloin tämä tulos saadaan, poikkeaa p:stä enemmän kuin annetun vakion ε verran, lähestyy nollaa. Toisin sanoen:[10]

${\displaystyle \lim _{n\to \infty }\Pr \!\left(\,|f_{n}(a)-p|>\varepsilon \,\right)=0}$

Tällaisen toistokokeen suoritus­kerta voidaan nimittäin käsittää diskreetiksi, Bernoullin jakaumaa noudattavaksi satunnais­muuttujaksi, joka voi saada vain kahta arvoa. Jos toista niistä merkitään luvulla 1, toista luvulla 0, ja arvo 1 saadaan joka kerta toden­näköisyydellä p, tämän satunnais­muuttujan odotus­arvo on p.

Vahva suurten lukujen laki sanoo, että samoilla ehdoilla otoksen keskiarvo suppenee melkein varmasti (engl. almost surely, lyh. a.s.) kohti odotusarvoa. Jos X₁, X₂, ... X_i on joukko pareittain riippumattomia, samoin jakautuneita satunnaismuuttujia, joilla on sama odotusarvo EX_i = μ ja varianssi D²X_i = σ² ja niiden keskiarvolle käytetään merkintää ${\displaystyle {\overline {X}}_{n}}$, niin[9]

${\displaystyle {\overline {X}}_{n}\ {\xrightarrow {\text{a.s.}}}\ \mu \qquad {\textrm {kun}}\ n\to \infty .}$

Toisin sanoen jono {X_n} suppenee perusjoukon jokaisella alkeistapauksella lukuun ottamatta mahdollisesti tapahtumaa, jonka todennäköisyys on nolla[9], eli

${\displaystyle \Pr \!\left(\lim _{n\to \infty }{\overline {X}}_{n}=\mu \right)=1.}$

Tämän todistus on monimutkaisempi kuin heikon lain.[11] Laki oikeuttaa (Lebesguen mielessä integroituvien) satunnais­muuttujien tapauksessa odotusarvon intuitiivisen tulkinnan "pitkän aikavälin keskiarvona."

Melkein varmaa konvergenssia sanotaan myös satunnais­muuttujan vahvaksi konvergenssiksi. Tätä versiota sanotaan "vahvaksi laiksi", koska jokainen satunnais­muuttujien joukko, joka suppenee vahvasti (melkein varmasti), suppenee myös heikosti (in probablity). Vahvasta laista seuraakin heikko laki, mutta ei päin vastoin. Kun vahvan lain edellytykset täyttyvät, satunnais­muuttuja suppenee sekä vahvasti (melkein varmasti) että heikosti (in probability).

Matemaatikkojen keskuudessa on esitetty näkemyksiä, että molemmat lait olisi yhdistettävä ja että heikolla suurten lukujen lailla sellaisenaan on vain vähän mielenkiintoa.[12] Molemmille laeille on kuitenkin olemassa yleistyksiä, jotka osoittavat niiden pätevän tietyillä edellä esitettyjä yleisemmilläkin edellytyksillä. On sellaisiakin tapauksia, joissa heikon lain tulos pätee, mutta vahvan ei.

Vahvan suurten lukujen lain laajin yleistys on Kolmogorovin lause, joka on samalla välttämätön ehto satunnais­muuttujien keskiarvon melkein varmalle kongervenssille. Jos X₁, X₂, ... X_i on joukko pareittain riippumattomia, samoin jakautuneita satunnais­muuttujia, joilla on sama odotusarvo EX_i = μ, niin

${\displaystyle {\overline {X}}_{n}\ {\xrightarrow {\text{a.s.}}}\ \mu \qquad {\textrm {kun}}\ n\to \infty .}$,

jos ja vain jos odotusarvo EX_i = μ on olemassa.[9]

Heikko laki sanoo, että annetulle suurelle luvulle n keskiarvo ${\displaystyle {\overline {X}}_{n}}$ on toden­näköisesti lähellä arvoa μ Se jättää siis avoimeksi, voiko tapahtuma, jossa ${\displaystyle |{\overline {X}}_{n}-\mu |>\varepsilon }$, sattua vaikka äärettömän monta kertaa, joskin pitkin väliajoin.

Vahva laki osoittaa, että niin melkein varmasti ei tapahdu. Erityisesti siitä seuraa, että todennäköisyydellä 1 jokaiselle ε > 0 epäyhtälö ${\displaystyle |{\overline {X}}_{n}-\mu |<\varepsilon }$ pätee kaikilla riittävän suurilla arvoilla n.[13]

Seuraavissa tapauksissa vahva suurten lukujen laki ei päde, heikko laki kylläkin. [14][15][16]

1. Olkoon x eksponentti­jakautunut satunnais­muuttuja parametrin arvolla 1. Silloin siitä johdetun satunnaismuuttujan :${\displaystyle {\frac {\sin(x)e^{x}}{x}}}$ odotusarvo on

${\displaystyle E\left({\frac {\sin(x)e^{x}}{x}}\right)=\ \int _{0}^{\infty }{\frac {\sin(x)e^{x}}{x}}e^{-x}dx={\frac {\pi }{2}}}$

2. Olkoon x geometrisesti jakautunut satunnaismuuttuja parametrin arvolla 0,5. Silloin on

${\displaystyle E\left({\frac {2^{x}(-1)^{x}}{x}}\right)=\ \sum _{1}^{\infty }{\frac {2^{x}(-1)^{x}}{x}}2^{-x}=-\ln(2)}$

3. ${\displaystyle 1-F(x)={\frac {e}{2x\ln(x)}},x\geq e}$

${\displaystyle F(x)={\frac {e}{-2x\ln(-x)}},x\leq -e}$[17][18]

Olkoon f(x,θ) jokin joukossa Θ määritelty jatkuva funktio. Olkoon lisäksi jokaisella arvolla ${\displaystyle \theta \in \Theta }$ jono {f(X₁,θ), f(X₂,θ), …} sellainen jono riippumattomia ja samoin jakautuneita satunnais­muuttujia, että tämä jono konvergoi stokastisesti (in probability) kohti arvoa to E[f(X,θ)]. Tällaista sanotaan pisteittäiseksi konvergenssiksi Θ:ssa.

Uniforminen suurten lukujen laki osoittaa ehdot, joilla tämä suppeneminen tapahtuu tasaisesti joukossa Θ. Jos [19] [20]

1. Θ on kompakti,
2. f(x,Θ) on jatkuva jokaisessa pisteessä ${\displaystyle \theta \in \Theta }$

melkein kaikilla arvoilla x ja se on jokaisella θ:n arvolla x:n mitallinen funktio

1. on olemassa sellainen dominoiva funktio d(x), että E[d(X)] < ∞, ja

   ${\displaystyle \left\|f(x,\theta )\right\|\leq d(x)\quad {\text{kaikilla}}\ \theta \in \Theta .}$

Silloin E[f(X,θ)] on jatkuva joukossa Θ, ja

${\displaystyle \sup _{\theta \in \Theta }\left\|{\frac {1}{n}}\sum _{i=1}^{n}f(X_{i},\theta )-\operatorname {E} [f(X,\theta )]\right\|{\xrightarrow {\mathrm {a.s.} }}\ 0.}$

Tulos on käyttökelpoinen laajojen estimaattorien luokan johtamisessa.

Borelin suurten lukujen laki, joka on nimetty Émile Borelin mukaan, sanoo, että jos jokin koe toistetaan suuri määrä kertoja, toisistaan riippumatta saman­laisissa olosuhteissa, niiden kertojen lukumäärä, jolloin tietty tapahtuma esiintyy, on liki­pitäen yhtä suuri kuin tapahtuman todennäköisyys kullakin kerralla; mitä suurempi toistojen lukumäärä on, sitä parempi likiarvo saadaan. Tarkemmin sanottuna, jos E merkitsee kyseistä tapahtumaa, p sen toden­näköisyyttä ja N_n(E) niiden kertojen lukumäärää, joilla tapahtuma E sattuu n ensimmäisen toisto­kerran aikana, niin toden­näköisyydellä 1 pätee:[21]

${\displaystyle {\frac {N_{n}(E)}{n}}\to p{\text{ as }}n\to \infty .\,}$

Tämä voidaan todistaa Tšebyšovin epäyhtälön avulla: Olkoon X satunnaismuuttuja, jolla on äärellinen odotusarvo μ ja äärellinen nollasta poikkeava varianssi σ². Silloin jokaiselle reaali­luvulle k > 0 pätee

${\displaystyle \Pr(|X-\mu |\geq k\sigma )\leq {\frac {1}{k^{2}}}.}$

Tulos vahvistaa intuitiivisen käsityksen toden­näköisyydestä tapahtuman esiintymisen pitkäaikaisena suhteellisena frekvenssinä. Se on erikois­tapaus useista toden­näköisyys­teoriassa esiintyvistä yleisimmistä suurten lukujen lain versioista.

Tämä todistus edellyttää, että satunnais­muuttujilla on äärellinen varianssi ${\displaystyle \operatorname {Var} (X_{i})=\sigma ^{2}}$ (kaikilla ${\displaystyle i}$). Satunnais­muuttujien riippumattomuus merkitsee, ettei niiden välillä ei ole korrelaatiota, ja tällöin on

${\displaystyle \operatorname {Var} ({\overline {X}}_{n})=\operatorname {Var} ({\tfrac {1}{n}}(X_{1}+\cdots +X_{n}))={\frac {1}{n^{2}}}\operatorname {Var} (X_{1}+\cdots +X_{n})={\frac {n\sigma ^{2}}{n^{2}}}={\frac {\sigma ^{2}}{n}}.}$

Sarjan yhteinen keskiarvo μ on otoksen keskiarvon odotusarvo:

${\displaystyle E({\overline {X}}_{n})=\mu .}$

Soveltamalla Tšebyšovin epäyhtälöä keskiarvoon ${\displaystyle {\overline {X}}_{n}}$ saadaan:

${\displaystyle \operatorname {P} (\left|{\overline {X}}_{n}-\mu \right|\geq \varepsilon )\leq {\frac {\sigma ^{2}}{n\varepsilon ^{2}}}.}$

Tästä seuraa edelleen:

${\displaystyle \operatorname {P} (\left|{\overline {X}}_{n}-\mu \right|<\varepsilon )=1-\operatorname {P} (\left|{\overline {X}}_{n}-\mu \right|\geq \varepsilon )\geq 1-{\frac {\sigma ^{2}}{n\varepsilon ^{2}}}.}$

Kun n kasvaa rajatta, tämä lauseke lähestyy arvoa 1. Stokastisen konvergenssin (in probability) määritelmän mukaan tämä osoittaa, että

${\displaystyle {\overline {X}}_{n}\,{\xrightarrow {P}}\,\mu \qquad {\textrm {kun}}\qquad n\to \infty .}$

M.O.T..

Kompleksifunktioita koskevan Taylorin lauseen mukaan minkä tahansa satunnais­muuttujan X karakteristinen funktio äärellisellä keskiarvolla μ voidaan kirjoittaa muotoon

${\displaystyle \varphi _{X}(t)=1+it\mu +o(t),\quad t\rightarrow 0.}$

Kaikilla satunnais­muuttujilla X₁, X₂, ... on sama karakteristinen funktio, joten käytetään sille yksinkertaisesti merkintää φ_X.

Karakteristisen funktion perusominaisuuksiin kuuluu, että

${\displaystyle \varphi _{{\frac {1}{n}}X}(t)=\varphi _{X}({\tfrac {t}{n}})\quad {\text{ja}}\quad \varphi _{X+Y}(t)=\varphi _{X}(t)\varphi _{Y}(t)\quad }$ jos X ja Y ovat riippumattomat.

Näiden sääntöjen avulla voidaan laskea keskiarvon ${\displaystyle \scriptstyle {\overline {X}}_{n}}$ karakteristinen funktio φ_X:n avula:

${\displaystyle \varphi _{{\overline {X}}_{n}}(t)=\left[\varphi _{X}\left({t \over n}\right)\right]^{n}=\left[1+i\mu {t \over n}+o\left({t \over n}\right)\right]^{n}\,\rightarrow \,e^{it\mu },\quad {\text{as}}\quad n\rightarrow \infty .}$

Raja-arvo  e^itμ  on vakioarvoisen satunnaismuuttujan μ karakteristinen funktio, ja näin ollen Lévyn jatkuvuuslauseen mukaan ${\displaystyle \scriptstyle {\overline {X}}_{n}}$ lähestyy rajajakaumaa μ:

${\displaystyle {\overline {X}}_{n}\,{\xrightarrow {\mathcal {D}}}\,\mu \qquad {\text{kun}}\qquad n\to \infty .}$

Tässä μ on vakio, mistä seuraa, että jakaumakonvergenssi kohti μ:tä ja stokastinen konvergenssi kohti μ:tä ovat yhtäpitäviä ominaisuuksia. Sen vuoksi

${\displaystyle {\overline {X}}_{n}\,{\xrightarrow {P}}\,\mu \qquad {\text{kun}}\qquad n\to \infty .}$

Tämä osoittaa, että otoksen keskiarvo konvergoi stokastisesti kohti karakteristisen funktion derivaattaa origoissa niin kauan kuin sellainen on olemassa.