Pertzeptroi

Ikasketa-algoritmoa berdina da neurona guztientzat, eta jarraian datorren guztia neurona bakar bati aplikatzen zaio isolamenduan. Lehenengo aldagai batzuk definitzen dira:

• ${\displaystyle x(j)}$ j. posizioan dagoen sarrerako bektoreari egiten dio erreferentzia
• ${\displaystyle w(j)}$ j. posizioan dagoen pisu-bektoreari egiten dio erreferentzia
• ${\displaystyle y}$ neurona sarearen irteera
• ${\displaystyle \delta }$ espero den irteera
• ${\displaystyle \alpha }$ konstante bat da non ${\displaystyle 0<\alpha <1}$

Bi ikaskuntza moten desberdintasuna urrats honetan dago. Lehenengo ikaskuntza motarako, ikaskuntza-tasa erabiliz, pisuak horrela eguneratuko ditugu:

• ${\displaystyle w(j)'=w(j)+\alpha (\delta -y)x(j)}$

Bigarren ikaskuntza motarako, ikaskuntza-tasa erabili gabe, pisuak horrela eguneratuko ditugu:

• ${\displaystyle w(j)'=w(j)+(\delta -y)x(j)}$

Beraz, iterazio bakoitzaren ondoren pisu-bektorea eguneratu egingo da ${\displaystyle y}$ irteera ${\displaystyle \delta }$ iragarpenarekin bat dator ez denean. Horrela, pausoka iragarpena fintzen joango da. Hainbat iterazio egiteko, aldagai gehiago definitu behar ditugu:

• ${\displaystyle x_{i}}$ ${\displaystyle i}$. iterazioaren sarrera-bektoreari egiten dio erreferentzia
• ${\displaystyle w_{i}}$ ${\displaystyle i}$.iterazioaren pisu-bektoreari egiten dio erreferentzia
• ${\displaystyle y_{i}}$ ${\displaystyle i}$.iterazioaren irteera balioari egiten dio erreferentzia
• ${\displaystyle D_{m}=\{(x_{1},y_{1}),...,(x_{m},y_{m})\}}$ m iterazioko ikaskuntza prozesuari egiten dio erreferentzia

Iterazio bakoitzean, honela eguneratzen da pisu-bektorea:

• ${\displaystyle (x,y)}$ sarrera-irteera pare bakoitzeko, ${\displaystyle D_{m}=\{(x_{1},y_{1}),...,(x_{m},y_{m})\}}$
• ${\displaystyle (x_{i},y_{i},w_{i})}$ hirukotea, eguneratze funtziotik pasako dugu: ${\displaystyle w(j)'=w(j)+\alpha (\delta -y)x(j)}$

Ikaskuntza prozesuan ${\displaystyle D_{m}}$ linealki bereizgarria dela esaten da baldin eta ${\displaystyle \gamma }$ balio positibo bat eta ${\displaystyle w}$ pisu-bektore bat existitzen badira non ${\displaystyle y_{i}\cdot (\langle -w,x_{i}\rangle +u)>\gamma }$ betetzen duten ${\displaystyle i}$ guztientzako.

Novikoff-ek (1962) frogatu zuen ikaskuntza-algoritmoak iterazio kopuru mugatu baten ondoren konbergitzen duela, baldin eta datuak linealki bereizgarriak badira eta errore kopurua honetara mugatuta badaude: ${\displaystyle ({\frac {2R}{\gamma }})^{2}}$

Hala ere, datuak linealki bereizgarriak ez badira, aurreko algoritmo-lerroak ez du bermatzen konbergituko duenik.

Pertzeptroi bakarra sailkatzaile lineal bat da. Sarrera-bektore guztiak ongi sailkatuta dauden kasuan bakarrik irits daiteke egoera egonkor batera. ${\displaystyle D}$ entrenamendu datu multzoa ez bada linealki banagarria, hau da, kasu positiboak ezin badira kasu negatiboetatik banandu hiperplano baten bidez, orduan algoritmoak ez du konbergituko ez delako soluziorik existituko.

Banangarritasun linerrak denbora ordena honetan frogagarria da ${\displaystyle min(O(n^{d/2}),O(d^{2n}),O(n^{d-1}\ln {n}))}$ , non ${\displaystyle n}$ datu puntu kopurua den , eta ${\displaystyle d}$ puntu bakoitzaren dimentsio kopurua den[1].

Entrenamendu datu multzoa linealki banangarria bada, bermatuta dago pertzeptroiaren algoritmoak konbergituko duela errore kopuru finitu baten ondoren. Rosenblatt eta bestek (1989) emandako teorema:

Pertzeptroiaren konbergentziaren teorema: ${\displaystyle D}$ datu multzoa edukita, ${\displaystyle max_{(x,y)\in D}||x||_{2}=R}$ betetzen bada, linealki banangarria da ${\displaystyle w^{*}}$ unitate bektorearen bidez, ${\displaystyle \gamma }$ edukita: ${\displaystyle \gamma$ :=min_{(x,y)\in D}y(w^{*}\cdot x)} izanda. Asko bezala ${\displaystyle (R/\gamma )^{2}}$ akatsetara iristean, algoritmoa konbergitu egingo da edozein ikasketa tasarentzat, eta edozein datu multzorentzat.

Hurrengo froga (Novikoff 1962) sendoagoa da[2]. Frogaren ideia hau da: pisu-bektorea mugatutako balio baten araberakoa izango da berarekin biderketa eskalar negatibo bat duen norabide batean. Horregatik ${\displaystyle O({\sqrt {t}})}$-ren gainetik mugatuta egon daiteke, non ${\displaystyle t}$ pisu bektorearen aldaketa kopurua den. Hala ere, ${\displaystyle O(t)}$-tik behera ere mugatuta egon daiteke, baliozko pisu-bektore ezezagun bat existitzen bada. Kasu horretan, aldaketa guztiek norabide ezezagun horretara mugituko dute emaitza, sarrera-bektorean oinarritutako balio positibo batean.

Nahiz eta bermatuta dagoen pertzeptroairen algoritmoa emaitza batera konbergituko dela edozein entrenamendu multzo banangarrirako, honek edozein soluzio har dezake eta problema askok kalitate aldakorreko soluzio asko onartu ditzakete. Arazo hau konpontzeko, pertzeptroiaren bertsio bat sortu zen egonkortasun optimoa duena. Bertsio horri lineal euskarri bektoredun makina deritzo gaur egun (Krauth eta Mezard, 1987)[3].

OR eta AND funtzioak linealki bereizgarriak direnez, pertzeptroi bat erabili dezakegu horiek ikasteko.

XOR funtzioa ezin da pertzeptroi bakar batekin ikasi klaseak bereizteko gutxienez bi lerro behar baitutu (0 eta 1). Geruza gehiagarri bat behar dugu pertzeptroi batekin ikaskuntza gauzatzeko.