Erregresio-analisi

Artikulu hau estatistika prozedurari buruzkoa da; beste esanahietarako, ikus «Erregresio (argipena)».

Karratu txikienen erregresio zuzena. Lerro gorriak datu-multzoaren doikuntza optimoa adierazten du, esta puntu urdinek benetako behaketak. Helburua puntuen eta lerroen arteko distantzia bertikalen karratuen batura minimizatzea da.

Estatistikan, erregresio-analisia aldagai batek beste aldagai batekiko duen mendekotasuna adierazten duen prozedura da.  Adibidez, pertsona baten adina bere soldatari zelan eragiten dion ulertzeko, erregresioa erabil daiteke bi aldagaien arteko erlazio bat aurkituz. Laburbilduta, bi aldagairen arteko erlazioa zuzen baten bidez erakusten da grafiko batean, datuen joera jarraituz.

Erregresio-analisia mendeko aldagaiaren aldaketa adierazten du aldagai independentearen arabera, azkenengo hau finkaturik. Bestela esanda, mendeko aldagaiaren batezbesteko balioa estimatzen du aldagai independenteak finkatzean; prozesu honen helburua erregresio funtzio bat lortzea da. Are gehiago, interesekoa da erregresio funtzioarekiko mendeko aldagaien bariantza bereiztea, probabilitate-banaketa baten bidez deskribatuta dagoena.

Erregresio-analisia oso erabilia da aurreikuspenerako. Bere sinpletasunagatik, ikasketa automatikoaren eremuan erabiltzen den lehenengo tresna matematikoetako bat da. Erregresioa erabiltzen da, halaber , ulertzeko ze lotura dute aldagai independenteak, mendeko aldagaiarekin.

Erregresioa aztertzeko modurik ohikoena erregresio lineala da, non irizpide matematiko zehatz baten arabera datuetara gehien hurbiltzen den lerroa (edo konbinazio lineal konplexuago bat) aurkitzen da.

Historia

Ezagutzen den erregresio linealaren lehen forma Isaac Newton-en lan batean ikusi zen, 1700.urtean; lan horrek ekinokzioak aztertzen zituen (hots, eguzkia ekuatorean dagoen momentua, egunaren eta gauaren iraupena berdina duena mundu osoan). Lan horri esker, erregresio linealaren hasiera egotzi zitzaion Newtoni, Tobias Mayer-ek baino 50 urte lehenago datu multzo baten batezbestekoa egiteaz gain, hondarrak batuz eta emaitza osoa zerora berdintzean, erregresioaren lerroa batez besteko puntutik pasatzera behartu baitzuen. Gainera, aurretik, batez besteko puntua lortzeko metodo bat erabili zuen 1671ko bere lanean, non Newtonen eraztunak aztertzen baitzituen; eta horrek ez zuen aurrekaririk garai hartan.

Karratu txikienen metodoa Legendre-k eta Gauss-ek argitaratu zuten 1805ean eta 1809an, hurrenez hurren. Biek metodoa aplikatu zioten Eguzkiaren inguruko gorputzen orbitak zehatzeko problemari. Geroago, 1821ean, Gaussek  karratu txikienen teoriaren garapen bat argitaratu zuen, Gauss-Markov teoremaren bertsio bat barne.

“Erregresio” terminoa Francis Galton-ek eskaini zuen XIX. mendean, fenomeno biologiko bat deskribatzeko. Fenomeno horren arabera, arbaso altuen ondorengoen altuerek batezbesteko normal batera itzultzeko joera dute (''batezbestekorako erregresio'' ere esaten zaio). Galtonentzat, erregresioak esanahi biologikoa baino ez zuen, baina aurrerago Udny Yule-k eta Karl Pearson-ek testuinguru estatistiko orokorrago batera zabaldu zuten. Zabalpen horretan suposatzen da mendeko aldagaiaren eta aldagai independentearen banaketa bateratua gausiarra dela, baina R.A. Fisher-ek hipotesi hori ahuldu egin zuen 1922an eta 1925ean egindako lanekin. Fisherrek onartu zuen mendeko aldagaiaren baldintzazko banaketa gausiarra dela, baina ikusi zuen banaketa bateratuak ez duela zertan izan.  

1950eko eta 1960ko hamarkadetan, ekonomialariek mahai gaineko kalkulagailu elektromekanikoak erabiltzen zituzten erregresioak kalkulatzeko. Garai hartan, ez zen arraroa hogeita lau ordu behar izatea erregresio baten emaitza jakiteko.

Gaur egun, erregresio-metodoek ikerketa-eremu aktiboa izaten jarraitzen dute. Azken hamarkadan metodo berriak garatu dira erregresio mota askotarako, erregresio sendoetatik hasi eta behaketak baino aldagai iragarle gehiago dituzten erregresioetaraino.

Erregresio-analisi modernoa, normalean, ordenagailuetako estatistika-softwareko paketeekin eta kalkulu-orriekin egiten da, baita kalkulagailu zientifiko eta kalkulagailu grafiko eramangarrietan ere. Teknologiaren aurrerapenak asko lagundu du horien kalkulua azkarragoa eta errazagoa izaten.

Erregresio-analisi motak

Erregresio lineala:

Estatistikan, erregresio lineala edo doikuntza lineala eredu matematiko bat da, mendeko aldagai baten ($Y$) eta m aldagai independenteren  ($X_{i}$) arteko mendekotasun-harremana hurbiltzeko  erabiltzen dena, $\epsilon$ ausazko termino baten laguntzarekin (non $m\in Z^{+}$ eta $\epsilon$ ausazko termino bat den). Metodo hau oso erabilgarria da hainbat egoeratan, bi aldagairen edo gehiagoren arteko harremanak aztertzeko edo portaera baten aurreikuspena egiteko, baita teknologiarekin zuzenean loturarik ez duten kasuetan ere. Bestalde, azterlan batean erregresio-eredua aplikagarria ez denean, ondorioztatzen da aldagaien artean ez dagoela korrelaziorik. Erregresio linealaren eredua honela adieraz daiteke:

Erregresio linealaren adibidea

$Y=\beta _{0}+\beta _{1}X_{1}+...\beta _{m}X_{m}+\epsilon$

non:

$Y$: mendeko aldagaia den. Aurreikusi edo azaldu nahi duguna.

$X_{1}+X_{2}...+X_{m}$: aldagai independenteak. Emaitzan eragina duten baldintzak, gertaerak…

$\beta _{1}+\beta _{2}+...\beta _{m}$: ereduaren parametroak dira, eta haien bidez neurtzen da aldagai independenteek mendeko aldagaian ($Y$-n) duten eragina.

Erregresio linealaren eredua  aldagai independentea ($X$) jarraitua den egoeretan erabiltzen da. Eredu linealak mendeko aldagaiaren ($Y$) eta m aldagai erregresoreren edo aldagai independenteen ($X_{j}$) arteko erlazioa ezartzen du, non $j=1,2,...,m$ den.  Bestela, $\beta _{i}$ parametro ezezagunak erabiliz, erlazio hori hiperplano baten bidez adieraz daiteke, $X_{j}$ aldagaien eraldaketen bidez lortua:

$Y=\beta _{0}+\beta _{1}X_{1}+...\beta _{m}X_{m}+\epsilon$

$=\beta _{0}+\sum _{j=1}^{m}\beta _{j}X_{j}+\epsilon$

ε ausazko aldagaia da, eta honek benetako errealitatean kontrolaezinak edo behagarriak ez diren faktore guztiak biltzen ditu. Faktore horiek, beraz, zorizko osagaitzat hartzen dira eta ereduaren azalpenetik kanpo geratzen dira.

Erregresioaren arazoa honako honetan datza: $\beta _{j}$ parametro ezezagunei balio egokiak esleitzean, ekuazioa erabat zehaztuta gera dadin. Horretarako, beharrezkoa da behatze multzo bat edo eredu horretatik eratorritako lagin estatistiko bat izatea; honen  bidez parametro horiek estimatu eta eredua doitu ahal izango da.

Anscombeko laukoteko datu-multzoak gutxi gorabehera erregresio linealeko lerro bera izateko diseinatuta daude baina grafikoki oso desberdinak dira. Horrek agerian uzten du aldagaien arteko erlazioa ulertzeko doitutako eredu batean soilik oinarritzeak sortzen dituen eragozpenak.

Erregresio linealetarako zenbakizko metodoak:

• Erregresio sinplea: Erregresio lineal sinpleko eredua bi aldagaik soilik osatzen dute, hau da, $X$ eta $Y$ aldagaiek. Aldagai independente bakarra, $X$, hartzen da kontuan, eta mendeko aldagai bat, $Y$. Bi aldagai horien arteko harremana lineala dela suposatzen da.

$Y=\beta _{0}+\beta _{1}X_{1}+\epsilon$

• Erregresio lineal anizkoitza: Erregresio linealak, bi aldagai aztertu ez ezik, aldagai anitzen arteko harremana aztertzeko aukera ere ematen du ekuazioen bidez; azken honi erregresio anizkoitza edo erregresio lineal anizkoitza deritzo. Ikerketa estatistikoaren praktikan maiz gertatzen da zenbait aldagai elkarri lotuta egotea; horregatik, posible da aldagai bat beste aldagai batzuen funtzio gisa adierazi ahal izatea matematikoki. Eredu honek zenbait aldagai erregresore ditu eta, ondorioz, zenbait parametro ere bai. Erregresio lineal anizkoitzaren kasuan, $Y$ mendeko aldagaia $X_{0},X_{1},...,X_{m}$ aldagai erregresoreekin erlazionatuta dagoela suposatzen da, honako erlazio funtzionalaren bidez:

$Y=\beta _{0}+\beta _{1}X_{1}+...\beta _{m}X_{m}+\epsilon$

Erregesio ez-lineala

Estatistikan, erregresio ez-lineala interferentzia-metodo bat da, hurrengo eredu mota baterako:

$Y=f(X,\theta )$

Non $f(X,\theta )$ parametro ezezagunen mendeko funtzio ez lineala den.

Metodo honetan, gutxienez, doikuntza-kurbarik onenarekin lotutako parametroen balioak lortu nahi dira, normalean, karratu txikienen metodoaren bidez. Eredua egokia den zehazteko, beharrezkoa izan daiteke inferentzia estatistikoaren kontzeptuak erabiltzea, hala nola parametroetarako konfiantza-tarteak eta doikuntzaren egokitasun probak.

Erregresio ez-lineal baten adibidea

Kasu bakoitzean, erregresio ez-linealaren beharra argitu daiteke erregresio polinomikoaren kasua kontuan hartzean; izan ere, batzuetan hobe da erregresio ez-linealtzat ez hartzea. Zehazki, f funtzioak ondorengo forma hartzen duenean:

$f(X)=aX^{2}+bX+c$

$f$ funtzioa ez-lineala izango $x$-en funtzio gisa, baina lineala $a$, $b$ eta $c$ parametro ezezagunekiko. Horixe da erregresio estatistikoaren testuinguruan “lineal” terminoak duen esanahia. Erregresio polinomialerako prozedura konputazionalak erregresio linealeko (anizkoitzeko) prozedurak dira; kasu honetan, bi aldagai aurresale dituzte: $X$ eta $X^{2}$. Hala ere, batzuetan aditzera ematen da erregresio ez-lineala polinomioak doitzeko ere beharrezkoa dela. Interpretazio txar honen ondorio praktikoek optimizazio-prozedura ez-lineal bat erabiltzera eraman dezakete, erregresio linealeko emaitza eskuragarri egonda ere.  

Erregresio ez-linealetarako zenbakizko metodoak:

Erregresio esponentziala

Esperimentu jakin batzuetan, gehienak biologikoak, $X$ eta $Y$ aldagaien arteko mendekotasuna esponentziala da. Kasu horietan, mota honetako funtzio bat doitu nahi zaio puntuen hodeiari:

$Y=a\cdot e^{bX}$

Transformazio lineal baten bidez, logaritmoak hartuz, erregresio linealeko problema bihurtzen da; hau da, logaritmoak hartuz, hurrengo hau lortzen da:

$\ln(Y)=\ln(a)+bX$

Adibidea

x	y	ln(y)	x2	x ln(y)
1	3	1,0986	1	1,0986
1,2	3,4	1,2237	1,44	1,4684
1,5	5	1,6094	2,25	2,4141
2	2	0,6931	4	1,3862
3	4,1	1,4109	9	4,2327
3,7	5	1,6094	13,69	5,9547
4	7	1,9459	16	7,7836
4,5	6,5	1,8718	20,25	8,4231
Σ 20,9	Σ 36	Σ 11,4628	Σ 67,63	Σ 32,7614

Datu zenbakia: $n=8$

X-ren batezbestekoa:

${\bar {x}}={\frac {1}{n}}\sum _{i=1}^{n}a_{i}={\frac {20,9}{8}}=2,6125$

Y-ren batezbestekoa:

${\overline {\ln(y)}}={\frac {1}{n}}\sum _{i=1}^{n}a_{i}={\frac {11,4628}{8}}=1,43285$

Erregresio esponentzialaren forma lineala erabilita:

$b={\frac {\sum x\ln(y)-{\overline {\ln(y)}}\sum x}{\sum x^{2}-{\bar {x}}\sum x}}$ = ${\frac {32,7614-1,43285(20,9)}{67,63-2,6125(20,9)}}=0,216047$

$a=e^{{\overline {ln(y)}}-b{\bar {x}}}=e^{1,43285-0,216047*2,6125}=e^{0,868427}=2,38316$

Sistema modelatzen duen ekuazioa hau da:

${\hat {y}}=2,3831597\;e^{0,216047x}$

Erregresio logaritmikoa

$Y=a\cdot \ln(X)+b$ kurba logaritmikoa ere zuzena da, baina $X$ eta $Y$ jatorrizko aldagai gisa adierazita egon beharrean, $\ln(X)$ eta $Y$ aldagaiekiko dago.

Adibidea

x	y	ln x	ln2 x	ln x * y	y2
1	3	0	0	0	9
1.2	3.4	0.1823	0.0332	0.6198	11.56
1.5	5	0.4054	0.1643	2.027	25
2	2	0.6931	0.4803	1.3862	4
3	4.1	1.0986	1.2069	4.5042	16.81
3.7	5	1.3083	1.7116	6.5415	25
4	7	1.3862	1.9215	9.7034	49
4.5	6.5	1.5040	2.2620	9.776	42.25
Σ 20.9	Σ 36	Σ 6.5779	Σ 7.7798	Σ 34.5581	Σ 182.62

$a={\frac {\sum \ln(x)y-{\bar {y}}\sum \ln(x)}{\sum (\ln(x))^{2}-{\bar {\ln(x)}}\sum \ln(x)}}={\frac {34,5581-4,5(6,5779)}{7,7798-0,8222(6,5779)}}=2,090513$

$b={\bar {y}}-(a{\overline {ln(x)}})=4,5-(2,090513)(0,8222)=2,78117$

Sistema modelatzen duen ekuazioa hau da:

${\hat {y}}=2,090513\;ln(x)+2,78117$

Erregresio polinomiala

Batzuetan, mendeko aldagaien eta aldagai independenteen arteko erlazioa ez-lineala denean, erabilgarria da termino polinomialak sartzea, mendeko aldagaiaren aldaketa azaltzen laguntzeko.

Erregresio polinomialak hainbat terminorekin doi ditzake aldagai independentea.

$y=a+b\;x+c\;x^{2}\longleftarrow {\text{Bigarren maila}}$

$y=a+b\;x+c\;x^{2}+d\;x^{3}\longleftarrow {\text{Hirugarren maila}}$ $y=a_{0}+a_{1}\;x+a_{2}\;x^{2}+...a_{n}\;x^{n}\longleftarrow {\text{ Ekuazio orokorra edozein mailarako}}$

Koefiziente bakoitzarekiko deribatuz, ekuazio sistema bat ematen digu planteamenduak:

Erregresio polinomiala

$\mathbb {S} =\;{\begin{Bmatrix}am&b\sum x&c\sum x^{2}&d\sum x^{3}&\cdots \ &=&\sum y\\a\sum x&b\sum x^{2}&c\sum x^{3}&d\sum x^{4}&\cdots \ &=&\sum xy\\a\sum x^{2}&b\sum x^{3}&c\sum x^{4}&d\sum x^{5}&\cdots \ &=&\sum x^{2}y\\a\sum x^{3}&b\sum x^{4}&c\sum x^{5}&d\sum x^{6}&\cdots \ &=&\sum x^{3}y\\\vdots &\vdots &\vdots &\vdots &\vdots &\vdots &\vdots \\\end{Bmatrix}}$

$\mathbb {\;} {\begin{bmatrix}m&\sum x&\sum x^{2}&\sum x^{3}&\cdots \\\sum x&\sum x^{2}&\sum x^{3}&\sum x^{4}&\cdots \\\sum x^{2}&\sum x^{3}&\sum x^{4}&\sum x^{5}&\cdots \\\sum x^{3}&\sum x^{4}&\sum x^{5}&\sum x^{6}&\cdots \ \\\vdots &\vdots &\vdots &\vdots &\vdots \\\end{bmatrix}}\times \mathbb {\;} {\begin{bmatrix}a\\b\\c\\d\\\vdots \\\end{bmatrix}}=\mathbb {\;} {\begin{bmatrix}\sum y\\\sum xy\\\sum x^{2}y\\\sum x^{3}y\\\vdots \\\end{bmatrix}}$

Bibliografia

• Canavos, George C.; Probabilidad y Estadística. Aplicaciones y Métodos. McGraw-Hill. México. ISBN 9684518560.
• Devore, Jay L.; Probabilidad y Estadística para Ingeniería y Ciencias. International Thomson Editores. México. ISBN 9706864571.
• Walpole, Ronald E.; Raymond, H.; Myers, Sharon L.; Probabilidad y Estadística para Ingenieros. Prentice-Hall Hispanoamericana, S.A. México. ISBN 9701702646.

• G.A.F Seber and C.J. Wild. Nonlinear Regression. New York: John Wiley and Sons, 1989.
• R.M. Bethea, B.S. Duran and T.L. Boullion. Statistical Methods for Engineers and Scientists. New York: Marcel Dekker, Inc 1985 ISBN 0-8247-7227-X

Kanpo estekak

• Datuak: Q208042
• Multimedia: Regression analysis / Q208042