Informazio kantitate

Probabilitate bati dagokion informazio kantitatea erakusten duen grafikoa

${\displaystyle X}$ ausazko aldagaia eta haren ${\displaystyle p\left(x\right)}$ probabilitate-funtzioa izanik, ${\displaystyle X}$ aldagaiak ${\displaystyle x}$ emaitza lortzeak ematen duen informazio kantitatea horrela definitzen da:

${\displaystyle I\left(x\right)=-\log p{\left(x\right)}=\log {\dfrac {1}{p\left(x\right)}}}$

Grafikoan ikusten den bezala, ${\displaystyle x}$ gertaeraren ${\displaystyle p\left(x\right)}$ probabilitatea baxua bada (0tik gertukoa), haren informazio ekarpena altua da; probabilitatea altua bada (1etik gertukoa), ordea, informazio-kantitate txikia ekarriko du. ${\displaystyle p\left(x\right)}$ probabilitate bat izanik, ${\displaystyle \left[0,1\right]}$ tarteko balio bat hartuko du; 0 bada, informazio kantitatea kalkulatzeak ez dauka zentzurik, emaitza hori gertatzea ezinezkoa delako.

Logaritmo funtziorako aukeratzen den oinarriaren arabera, informazio kantitatea unitate desberdinean neurtzen da. Oinarria 2 bada, unitatea shannon ala bita da.

Entropia ausazko aldagai diskretu baten informazio-kantitatearen itxaropen matematikoa da. Batzuetan, entropia aldagaiaren “informazio kantitatea” dela esaten da, seguraski ${\displaystyle \mathrm {H} (X)=\operatorname {I} (X;X)}$ betetzen delako, ${\displaystyle \operatorname {I} (X;X)}$ izanik ${\displaystyle X}$ aldagaiak bere buruarekin partekatzen duen elkarrekiko informazioa.

Informazioa sortzen duen entitate batek beste entitate bati informazioa transmititzen diola esaten da, bigarrenak informazio hori aldez aurretik ez bazuen ezagutzen. Izan ere, aldez aurretik eta ziurtasun osoz ezagutuko balu, transmititutakoaren informazio kantitatea zero izango litzateke.

Etorkizuneko gertaera baten emaitza jakina bada aldez aurretik ziurtasun osoz, hau da 1eko probabilitatearekin, gertaera hori behatzeak ez du inolako informaziorik emango. Informazioa emango du hartzaileak ziurtasun osoz mezuaren edukia ez badu ezagutzen; ezaguna bada 1 baino txikiagoa den probabilitatez.

Gertaera bat behatzeak behatzaileari ematen dion informazioa, gertaera horren emaitzak duen probabilitatearen araberakoa da:

${\displaystyle \operatorname {I} (\omega _{n})=f(\operatorname {P} (\omega _{n}))}$

non ${\displaystyle \omega _{n}}$ emaitzak ematen duen informazio kantitatea ${\displaystyle \operatorname {I} (\omega _{n})}$ den. ${\displaystyle f(\operatorname {P} (\omega _{n}))}$ funtzioa ${\displaystyle \omega _{n}}$ emaitzaren probabilitatearen ${\displaystyle f}$ funtzio bat da. Zera bete behar da:

${\displaystyle \operatorname {P} (\omega _{n})=1}$ denean ${\displaystyle \operatorname {I} (\omega _{n})=0}$,

ezaguna den emaitza batek ez baitu informaziorik transmititzen. Zera ere bete behar da:

${\displaystyle \operatorname {P} (\omega _{n})<1}$ denean ${\displaystyle \operatorname {I} (\omega _{n})>0}$,

ziurtasun osoz ezaguna ez den emaitza batek informazioa transmitituko duelako; handiagoa edo txikiagoa izango da, ziurgabetasun mailaren arabera.

Gainera, definizioz, informazio kantitatea batukorra da eta ez da negatiboa. ${\displaystyle C}$ gertakaria ${\displaystyle A}$ eta ${\displaystyle B}$ bi gertakari independenteren ebakidura bada, ${\displaystyle C}$ gertaerari buruzko mezuak ematen duen informazioa ${\displaystyle A}$ eta ${\displaystyle B}$ gertaerei buruzko mezuek batera ematen duten informazio bera da.

${\displaystyle \operatorname {I} (C)=\operatorname {I} (A\cap B)=\operatorname {I} (A)+\operatorname {I} (B)}$

${\displaystyle A}$ eta ${\displaystyle B}$ gertaerak independenteak direnez

${\displaystyle \operatorname {P} (C)=\operatorname {P} (A\cap B)=\operatorname {P} (A)\cdot \operatorname {P} (B)}$

Propietate hori kontutan izanik, ${\displaystyle f}$ funtzioari buruz beste zerbait jakin dezakegu

${\displaystyle {\begin{aligned}\operatorname {I} (C)&=\operatorname {I} (A)+\operatorname {I} (B)=\\f(\operatorname {P} (C))&=f(\operatorname {P} (A))+f(\operatorname {P} (B))\\&=f{\big (}\operatorname {P} (A)\cdot \operatorname {P} (B){\big )}\\\end{aligned}}}$

Beraz ${\displaystyle f}$ funtzioak honako propietatea du:

${\displaystyle f(x\cdot y)=f(x)+f(y)}$

Propietate hori betetzen duten funtzioak logaritmikoak dira, edozein oinarritan. Oinarri ezberdinetako logaritmoen arteko desberdintasun bakarra faktore lineal bat da. Oinarri batetik bestera pasatzea erraza da, zera betetzen baita:

${\displaystyle \log _{b}x={\frac {\log _{k}x}{\log _{k}b}}}$

Oinarria finkatuz gero, ${\displaystyle 2}$ adibidez, ${\displaystyle f}$ funtzioak honako itxura izango du:

${\displaystyle f(x)=K\log _{2}(x)}$

Gertaeren probabilitateak 0 eta 1 balioen artean daudenez eta ${\displaystyle \log(x)}$ funtzioa negatiboa denez tarte horretan, ${\displaystyle K<0}$ izan beharko da ${\displaystyle f(x)=K\log(x)}$ tarte horretan positiboa izatea nahi baldin badugu.

${\displaystyle K}$-ren edozein balio negatibo zuzena izango litzateke informazio kantitatea definitzeko. ${\displaystyle K}$-ren balio absolutuaren arabera funtzioak azkarrago edo geldoago dibergituko du argumentua (probabilitatea) 0ra hurbiltzen den ahala. ${\displaystyle K}$-ren balioa aldatzea, ${\displaystyle K}$ mantentzea eta logaritmoaren oinarria aldatzearen baliokidea da. Ohikoena ${\displaystyle K=-1}$ hartzea izaten da, hau da:

${\displaystyle \operatorname {I} (\omega _{n})=-\log _{2}(\operatorname {P} (\omega _{n}))}$

Interesgarria izan liteke adierazpen aljebraikoaren beste interpretazio hau aztertzea:

${\displaystyle -\log _{2}(\operatorname {P} (\omega _{n}))=\log _{2}\left({\frac {1}{\operatorname {P} (\omega _{n})}}\right)}$

Gertakariaren probabilitatea logaritmoaren argumentuaren zatitzailean dagoenez, probabilitate altuagoek informazio kantitate txikiagoak eragingo dituzte eta alderantziz. Hori bat dator emandako definizioarekin.

${\displaystyle K}$ren balio ezberdinei dagokienez, ${\displaystyle K=-1}$ finkatuz gero eta logaritmoaren oinarri moduan 2 aukeratuz (ohikoena), lortzen den informazio kantitatearen unitateari bit deritzo; oinarria ${\displaystyle e}$ denean (logaritmo nepertarra) nat da unitatea eta oinarria 10 denean informazio unitateari hartley deritzo.

• Entropia (informazio-teoria)
• Informazio-unitate

• A Mathematical Theory of Communication. Claude Shannon.Bell Systems Technical Journal, Vol. 27, pp 379–423, (Part I), 1948.