Informazio-teoria

Informazio-teoria informazioaren kuantifikazioaren, biltegiratzearen eta komunikazioaren azterketa zientifikoa da. 1920ko hamarkadan Harry Nyquist eta Ralph Hartley idazleek eta Claude Shannonek sortu zuten. Probabilitatearen teoriaren, estatistikaren, informatikaren, mekanika estatistikoaren, informazioaren ingeniaritzaren eta ingeniaritza elektrikoaren arteko elkargunean dago.

Historia

Informazio-teoriaren historia bi zati nagusitan banatzen da, 1948 baino lehen eta 1948 ondoren.

1948 baino lehen Telekomunikazioetan Morse kodea erabiltzen zen, kodeketa horrek, informazio-teoriaren ideiak biltzen ditu.

1948ean lehen aldiz: Claude E. Shannonen "A Mathematical Theory of Communication" the Bell System Technical Journalean.

1948tik aurrera, teoriaren garapen eta aplikazio asko gertatu dira, datu-trasmisiorako eta datuak gordetzeko gailu moderno asko ahalbidetu dituztenak, CD-ROMak eta telefono mugikorrak adibidez.

Geroagoko garapenak informazio teoriaren epe batean zerrendatzen dira, besteak beste:

  • 1951n, Huffmanek, galerarik gabeko datu-konpresiorako kode alternatiboak aurkitzeko metodoa asmatu zuen.
  • 1960ko Reed - Salomonen kodeen proposamena.
  • 1968an, Elwyn Berlekamp, Berlekamp – Massey algoritmoa asmatu zuen; BCH eta Reed - Solomon kodeak dekodetzeko aplikazioa James L. Masseyk adierazten du hurrengo urtean.
  • 1989an, Phil Katz-ek deflate (LZ77 + Huffman Coding) izeneko zip formatua argitaratzen du, ondoren, gehien erabiltzen den artxibo-bilduma bihurtzeko.
  • 1995ean Benjamin Schumacherrek qubit terminoa idatzi zuen eta zaratarik gabeko kodetzeko teorema kuantikoa frogatzen du.

Teoriaren garapena

Shannonek 1948an proposatu zuen eredua komunikazioaren sistema orokor bat da, mezu bat igortzen duen informazio-iturri batetik helburu batera doana. Transmisore bati esker, kanal batetik seinale bat bidaltzen da, non zarataren batek oztopatu dezakeen. Kanal horretatik hartzaile batengana iristen da, eta hor informazioa deskodetu eta gero, hasierako mezua berreskuratzen da.

Informazio-teoriak, mezu bat kodetzeko modurik merkeena, azkarrena eta seguruena zein den zehaztu nahi du, zarataren bat egoteak mezuaren transmisioa zaildu gabe. Horretarako, hartzaileak seinalea behar bezala ulertu behar du, baina hor arazo bat sortzen da, igorleak eta hartzaileak kodeketa berdina ukaiteak ez duelako esan nahi bortxaz elkar ulertuko dutenik. Kodeketa bi helbururekin erabiltzen da: batetik, ahotsa edo irudia seinale elektriko edo elektromagnetiko bihurtzeko, eta, bestetik, mezuak zifratzeko, hau da, pribatutasuna ziurtatzeko.

Informazio-teoriaren funtsezko kontzeptu bat da mezu batean jasotako informazio-kantitatea balio matematiko ondo definitu eta neurgarria dela.

Kopuruak ez dio datuen zenbatekoari erreferentzia egiten, baizik eta mezu bat, mezu posibleen multzo baten barruan, jasotzeko probabilitateari. Informazioaren kantitateari dagokionez, baliorik altuena, jasotzeko aukera gutxien duen mezuari esleitzen zaio. Ziur baldin bagaude mezu bat jasoko dela, bere informazio kopurua zero izango da.

Beste modu batez adierazita, mezu bat jasotzeko probabilitatea altua baldin bada, mezu hori jasotzea ez da harrigarria eta orduan mezua jaso izanak informazio berri gutxi ematen du. Jakintzarekin ere erabiltzen ahal da, gai bati buruz gero eta gehiago jakin, orduan eta informazio berri gutxiago jakingo da. Hortaz, informazio kantitatea gertakariaren probabilitatearen aurkakoa da.

Helburua

Informazio-teoriak lantzen dituen arlo garrantzitsuen artean zaratak eragindako distortsioarekiko erresistentzia, kodetzeko eta deskodetzeko erraztasuna eta transmisio-abiadura dira. Horregatik esaten da mezu batek esanahi asko izan ditzakeela, eta hartzaileak mezuari eman behar zaion zentzua erabakitzen duela, betiere kode bera izanik. Informazioaren teoriak muga batzuk ditu, esaterako; kodearen kontzeptuaren adiera. Transmititu nahi den esanahiak ez du gertaera anbiguotasunik gabe definitzeko behar den alternatiba-kopuruak haina balio. Mezuaren hautaketa bi aukera ezberdinen artean bakarrik planteatzen bada, Shannonen teoriak, arbitrarioki, informazioaren balioa bat dela adierazten du. Informazio-unitate honek bit izena jasotzen du. Informazioaren balioa bit bat izan dadin, aukera guztiek probabilitate bera izan behar dute eta eskuragarri egon behar dute. Garrantzitsua da jakitea ea informazio-iturriak askatasun maila bera duen edozein aukera aukeratzeko, edo nolabaiteko aukerara bultzatzen duen eraginen baten pean dagoen. Informazioaren kantitatea handitu egiten da aukera guztiak probabilitate berekoak direnean edo zenbat eta handiagoa izan alternatiben kopurua. Baina, praktika komunikatibo errealean alternatiba guztiak ez dira probabilitate berdinekoak, Márkov izeneko prozesu estokastiko mota bat delarik. Markoven azpimotak sinboloen katea honela konfiguratuta dagoela dio: kate horren edozein sekuentzia kate osoaren adierazgarria da.

Teknologiari aplikatutako teoria

Gaur egun informazio-teoriak lotura asko du Internetekin. Informazio iturri garrantzitsu bat da, erabiltzaile guztiek ia edozein informazio eskura izan dezaketelako. Gainera, informazioa puntu batetik bestera bidaltzen dugunean, TCI/IP protokoloa erabiltzen da, eta informazioa kodetu/deskodetu egiten da, hartzaileak igorleak bidalitako mezua jasotzeko.

Beste aplikazio bat ZIP artxiboak dira, azkarrago transmititzeko galerarik gabeko konpresioa egiten baita.

Teoriaren elementuak

Iturria

Iturri bat mezuak igortzen dituen guztia da. Adibidez, iturri bat ordenagailu bat izan daiteke eta bere fitxategiak mezuak; iturri bat datuak eta mezuak transmititzeko gailu bat izan daiteke, bidalitako datuak, etab. Iturri bat, berez, mezu multzo mugatu bat da: iturri horrek eman ditzakeen mezu posible guztiak. Datuak konprimitzeko, konprimitu beharreko fitxategia hartuko da iturritzat, eta mezutzat, berriz, fitxategi hori osatzen duten karaktereak.

Iturri motak

Bere mezuen izaera sortzailea dela eta, iturri bat ausazkoa edo determinista izan daiteke. Igorritako mezuen arteko erlazioa dela eta, iturri bat egituratua edo egituratu gabea (edo kaotikoa) izan daiteke.

Hainbat iturri mota daude, baina informazio-teorian ausazko iturriak eta iturri egituratuak erabiltzen dira. Iturri bat ausazkoa da, hark igorri beharreko hurrengo mezua zein den iragartzea ezinezkoa denean. Aldiz, iturri bat egituratua da erredundantzia-maila jakin bat duenean; egituratu gabeko edo informazio hutseko iturri bat da mezu guztiak erabat ausazkoak direnean inolako loturarik eta itxurazko zentzurik gabe. Iturri mota horrek konprimitu ezin diren mezuak igortzen ditu; mezu batek, konprimitu ahal izateko, nolabaiteko erredundantzia izan behar du; informazio hutsa ezin da konprimitu mezuari buruzko ezagutza galdu gabe.

Mezua

Mezu bat zerokoen eta batekoen multzoa da. Fitxategi bat, sare batetik bidaiatzen duen datu-pakete bat eta irudikapen bitarra duen edozer mezu har daiteke mezutzat. Mezuaren kontzeptua bi sinbolo baino gehiagoko alfabetoei ere aplikatzen zaie, baina informazio digitalaz ari garenez, ia beti mezu bitarrez ari gara.

Kodea

Kode bat aldez aurretik ezarritako arau edo konbentzioen arabera mezu jakin bat irudikatzeko erabiltzen diren batekoen eta zerokoen multzoa da. Adibidez, 0010 mezua funtzioa (not) kodetzeko erabilitako 1101 kodearekin adieraz dezakegu. Kodetzeko modua arbitrarioa da. Mezu bat, kasu batzuetan, jatorrizko mezua baino luzera txikiagoko kode batekin adieraz daiteke. Demagun edozein mezu kodetzen dugula algoritmo jakin bat erabiliz, halako moldez non s bakoitza L (s) bitetan kodifikatzen den; orduan, s mezuan jasotako informazioa mezu bat kodetzeko behar den bit kopuru minimo gisa definitzen dugu.

Informazioa

Mezu batean jasotako informazioa mezuaren ordezkari izateko gutxienez behar diren bit-kopuruarekiko proportzionala da. Informazioaren kontzeptua errazago uler daiteke adibide bat kontuan hartzen badugu. Demagun mezu bat irakurtzen ari garela eta "c karaktere" irakurri dugula; mezuak "katea" hitzarekin jarraitzeko probabilitatea oso handia da. Beraz, jarraian "katea" jasotzen dugunean, iritsitako informazio kopurua oso txikia izango da, zer gertatuko den iragartzeko gai garelako. Agertzeko probabilitate handia duten mezuak azaltzeak hain gertagarriak ez diren mezuak azaltzeak baino informazio gutxiago ematen dute. "C karakterea" ondoren "himichurri" irakurtzen badugu, jasotzen ari garen informazio kopurua askoz ere handiagoa izango da.

Entropia eta informazioa

Entropiak informazio iturri baten ziurgabetasuna neurtzen du, egoera baten batezbesteko informazio kantitatea da.

Hobeto ulertzeko txanponaren adibidea hartuko dugu. Bi alde ezberdin dituen txanpon bat botatzen badugu, ez dakigu zein alderen gainean eroriko den, txanpon jaurtiketa horren entropia 1ekoa izango da (maximoa). Bi aldeak berdinak badira aldiz, beti alde berdina aterako denez entropia 0 izango da (minimoa).

Beste arloetako aplikazioak

Informazio-teoriako kontzeptuak kriptografia eta kriptoanalisian erabiltzen dira, bai Alan Turingen makinan, besteak beste, eta gaur egungo kontzeptuetan ere bai. Adibidez indar gordineko eraso batekin posible da enkriptatze simetriko eta asimetrikoa erabiltzen duten algoritmo batzuk haustea. Izan ere, sistema hauen segurtasuna denboran dago, suposatzen baitugu denbora jakin batean ezinezkoa dela algoritmo horiek haustea.

  • Sasi-ausazko zenbakien sorrera:

Ausazko zenbakiak sortzeko, entropia erabiltzen da neurketa gisara, sortutako zenbakia “nahiko ausazkoa” den edo ez neurtzeko.

Informazio-teoriaren aplikazio komertzialetako bat petrolioa aurkitzeko esplorazio sismikoa egitea izan da. Helburua jasotako informaziotik zarata kentzea da, ahalik eta seinale garbiena jasotzeko.

Pertsona batzuen arteko zeinu hizkerak deskodetzeko erabil daiteke, gehien agertzen diren zeinuak aztertuz hain zuzen ere.

Erreferentziak

Ikus, gainera

Aplikazioak

Historia

Teoria

Kontzeptuak

Kanpo estekak
This article is issued from Wikipedia. The text is licensed under Creative Commons - Attribution - Sharealike. Additional terms may apply for the media files.