Regressioanalyysi
Regressioanalyysi on tilastotieteen menetelmä, jonka avulla tarkastellaan vastemuuttujan riippuvuutta valituista selittävistä muuttujista.
Regressioanalyysissa käytetään tyypillisesti seuraavaa esitystapaa:
- Tuntemattomat parametrit merkitään skalaarilla tai vektorilla β
- Selittäviä muuttujia eli kovariaatteja merkitään vektorilla tai matriisilla X
- Selitettävää muuttujaa merkitään Y
Yleisessä muodossa regressiomalli esittää muuttujan Y muuttujan X ja parametrien β funktiona: E(Y | X) = f(X, β). Analyysin suorittamiseksi mallin funktiomuoto f pitää määrittää. Yleisimmin käytetään lineaarista mallia. Regressioanalyysissa lasketaan vastemuuttujan Y odotusarvo ehdolla selittävät tekijät X ja valitaan parametrit β siten, että mallin ennusteet vastaavat mahdollisimman hyvin havaittuja vastemuuttujan Y arvoja. Tuloksena saadaan mallin parametrien β arviot eli estimaatit. Ennustettujen ja havaittujen arvojen etäisyyttä minimoidaan eri tavoin riippuen estimointimenetelmästä. Yleisimmin käytetään pienimmän neliösumman menetelmää.
Lineaarinen regressioanalyysi
- Pääartikkeli: Lineaarinen regressioanalyysi
Kun tehdään tavallinen lineaarinen regressioanalyysi skalaarimuuttujille X ja Y, oletetaan että E(Y|X) = aX + b. Tämän funktion estimaatti on y* = a*X + b*, missä a* ja b* ovat aineistosta oletettavat regressiokertoimet, a* = Cov(X,Y) / Var(X), ja b* = Keskiarvo(Y) - a*Keskiarvo(X).
(Integroituva) satunnaismuuttuja/vektori Y voidaan yleisesti kirjoittaa hajotelmana Y = E(Y|X) + u. Tällöin E(Y|X) on regressiofunktio, joka pyritään laskemaan, ja u on satunnaisvaihtelua, jonka määritelmä on yksinkertaisesti u:= Y - E(Y|X). Riippuu E(Y|X):n ja u:n tapauskohtaisista ominaisuuksista (E(Y|X):n funktioluokka, sileys ym.; u:n varianssi, mahdollinen autokorrelaatiorakenne ym.), pystytäänkö regressioanalyysia soveltamaan, ja mikä analyysimenetelmä on suositeltavin.
Muita menetelmiä
Regressioanalyysin menetelmiä ovat muun muassa:
- Epälineaarinen malli
- Yleistetty lineaarinen malli
- Kvantiiliregressio
- Ei-parametrinen regressioanalyysi
- Yleistetty additiivinen malli
Aiheesta muualla
- Sykes, A.O. "An Introduction to Regression Analysis" (Arkistoitu – Internet Archive) (Inaugural Coase Lecture)