Neuroverkot

Neuronin ${\displaystyle k}$ summaaja laskee syöttösynapseilta tulleiden signaalien summan

${\displaystyle u_{k}=\sum _{j=1}^{m}w_{kj}x_{j}+b_{k}}$

jossa ${\displaystyle x_{j}}$ ovat syötesignaaleita ja ${\displaystyle b_{k}}$ on vakiotermi (bias). Tämä esitetään usein matriisimuodossa

${\displaystyle \mathbf {u} =W\mathbf {x} +\mathbf {b} }$

notaation ja derivaattojen laskennan selkeyttämiseksi.

Aktivaatiofunktio ${\displaystyle \phi }$ laskee summasta ${\displaystyle u_{k}}$ epälineaarisen kuvauksen

${\displaystyle y_{k}=\phi (u_{k})}$

jossa ${\displaystyle y_{k}}$ on ulostulosignaali. Aktivaatiofunktio lasketaan yleensä jokaiselle kerroksen neuronille erikseen.

Epälineaarisuus mahdollistaa mielivaltaisen funktion approksimoimisen. Epälineaarinen aktivaatiofunktio voi olla esimerkiksi askelfunktio

${\displaystyle y(x)=\left\{{\begin{matrix}1,&{\mbox{kun }}x\geq 0\\0,&{\mbox{kun }}x<0\end{matrix}}\right.}$

tai logistinen (sigmoidi) funktio

${\displaystyle y(x)={\frac {1}{1+e^{-x}}}.}$

Nykyisin yleisin aktivaatiofunktio on ReLU (engl. Rectified linear unit)

${\displaystyle y(x)=\left\{{\begin{matrix}x,&{\mbox{kun }}x\geq 0\\0,&{\mbox{kun }}x<0\end{matrix}}\right.}$

muun muassa sen helpon derivoituvuuden vuoksi. Se ei myöskään kärsi häviävien gradienttien ongelmasta toisin kuin sigmoidiset funktiot.

Jotta neuroverkkoa voidaan opettaa, sille on määriteltävä hukkafunktio (engl. loss function). Hukkafunktio antaa numeerisen arvon sille, kuinka hyvin neuroverkon ennustukset vastaavat havaittua dataa. Regressiotehtävissä käytetään usein virheiden neliösummaa

${\displaystyle J=\sum _{i=1}^{N}({\hat {y}}(\mathbf {x} _{i})-y_{i})^{2}}$

jossa ${\displaystyle {\hat {y}}(\mathbf {x} _{i})}$ on neuroverkon ennuste datapisteen ${\displaystyle \mathbf {x} _{i}}$ perusteella, ja luokittelutehtävissä ristientropiaa (engl. categorical cross-entropy)

${\displaystyle J=\sum _{i=1}^{N}-\log({\hat {y}}_{C(i)}(\mathbf {x} _{i}))}$

jossa ${\displaystyle C(i)}$ on datapisteen ${\displaystyle i}$ oikea luokka.

Kun hukkafunktio on määritelty, käytetään gradienttimenetelmää (engl. gradient descent) sen minimoimiseksi. Siinä virhefunktion gradientti lasketaan painokertoimien suhteen ja siirrytään askel askeleelta vastakkaiseen suuntaan gradienttiin nähden. Askeleen pituus voi olla osa gradientin pituudesta, esimerkiksi 0.02, tai se voidaan määrittää . Usein gradientin laskemiseksi ei käytetä koko datasettiä joka askelmalla, vaan gradientti lasketaan satunnaistetusta alijoukosta dataa (engl. Mini-batch gradient descent).

Monikerroksisten neuroverkkojen opetuksessa käytetään vastavirta-algoritmia (engl. backpropagation), [2] joka nopeuttaa gradientin laskemista. Vastavirta-algoritmi aloittaa gradientin laskemisen verkon viimeisestä kerroksesta. Se laskee gradientin aina yhdelle kerrokselle kerrallaan ja käyttää tätä gradienttia edellisen laskemiseen.

Ohjatussa oppimisessa (engl. supervised learning) neuroverkolle syötetään ennalta luokiteltuja näytteitä. Neuroverkon tuottamien arvojen ja näytteen luokittelun perusteella neuronien painoarvoja muutetaan siten, että neuroverkko tuottaisi syötteen luokittelun mukaisen tuloksen. [3][4][5]

Ohjaamattomassa oppimisessa (engl. unsupervised learning) syväoppimisen -malli (engl. deeplearning model) yrittää automaattisesti luokitella syötettä, ilman että sitä ohjataan millään tavalla.[5] Ohjaamatonta oppimista ovat muun muassa sellaiset autoenkooderit, jotka muuttavat vastaanottamansa syötteen matalampiulotteiseen muotoon ja yrittävät muokata sen takaisin alkuperäiseksi syötteeksi.

Osittain ohjatussa oppimisessa (engl. semi-supervised learning) osa näytteistä on luokiteltuja ja osa ei.[5] Tämä voi tarkoittaa esimerkiksi sitä, että osaa verkosta esiharjoitetaan ohjaamattomasti, ja sitten tätä neuroverkkoa käytetään osana ohjattua arkkitehtuuria.

Vahvistusoppimisessa (engl. reinforcement learning) syväoppimisen -malli oppii palautteen perusteella, jota ympäristö antaa suorituksen aikana.[5]