miniatura|Punts de dades aleatoris i la seva regressió lineal. La regressió estadística o regressió a la mitjana és la tendència d'una mesura extrema a presentar-se més propera a la mitjana en una segona mesura. La regressió s'utilitza per predir una mesura basant-nos en el coneixement d'una altra.
Origen del concepte El terme regressió va ser introduït per Francis Galton en el seu llibre Natural Inheritance (1889) i va ser confirmada pel seu amic Karl Pearson. El seu treball es va centrar en la descripció dels trets físics dels descendents (variable A) a partir dels dels seus pares (variable B). Estudiant l'altura de pares i fills a partir de més de mil registres de grups familiars, es va arribar a la conclusió que els pares molt alts tenien una tendència a tenir fills que heretaven part d'aquesta alçada, però que revelaven també una tendència a tornar a la mitjana. Galton va generalitzar aquesta tendència sota la «llei de la regressió universal»: «Cada peculiaritat en un home és compartida pels seus descendents, però en mitjana, en un grau menor.»
Models de regressió A la pràctica, els investigadors primer seleccionen un model que volen estimar i després utilitzen el mètode escollit (per exemple, els mínims quadrats ordinaris) per estimar els paràmetres d'aquest model. Els models de regressió impliquen els components següents:
Els paràmetres desconeguts, sovint denotats com a escalars o vectors .
Les variables independents, que s'observen en les dades i sovint es denoten com a vector (on denota una fila de dades).
La variable dependent, que s'observa en les dades i sovint es denota mitjançant l'escalar .
Els termes d'error, que no s'observen directament a les dades i sovint es denoten mitjançant l'escalar .
En diversos camps d'aplicació, s'utilitzen diferents terminologies en lloc de variables dependents i independents.
La majoria de models de regressió proposen que és una funció (funció de regressió) de i , amb representant un terme d'error additiu que pot substituir els determinants no modelats de o soroll estadístic aleatori:
En el model de regressió estàndard, les variables independents es consideren lliures d'errors. El model d'errors en variables es pot utilitzar si se suposa que les variables independents contenen errors. Es poden fer altres modificacions al model de regressió estàndard per tenir en compte diversos escenaris, com ara situacions que impliquen variables omeses, variables de confusió o endogeneïtat.
L'objectiu dels investigadors és estimar la funció que s'ajusta més a les dades. Per dur a terme una anàlisi de regressió, la forma de la funció s'ha d'especificar. De vegades, la forma d'aquesta funció es basa en el coneixement de la relació entre i que no es basa en les dades. Si no es disposa d'aquest coneixement, es pot utilitzar un formulari flexible o convenient per a és escollit. Per exemple, una regressió univariant simple pot proposar , cosa que suggereix que l'investigador creu una aproximació raonable per al procés estadístic que genera les dades.
Un cop els investigadors determinen el seu model estadístic preferit, diferents formes d'anàlisi de regressió proporcionen eines per estimar els paràmetres. . Per exemple, els mínims quadrats (inclosa la seva variant més comuna, els mínims quadrats ordinaris) troben el valor de que minimitza la suma d'errors quadràtics . Un mètode de regressió determinat proporcionarà en última instància una estimació de , normalment denotat per distingir l'estimació del valor real (desconegut) del paràmetre que va generar les dades. Amb aquesta estimació, l'investigador pot utilitzar el valor ajustat per a la predicció o per avaluar la precisió del model a l'hora d'explicar les dades. Si l'investigador està intrínsecament interessat en l'estimació o el valor previst dependrà del context i dels seus objectius. Tal com es descriu en els mínims quadrats ordinaris, el mètode dels mínims quadrats s'utilitza àmpliament perquè la funció estimada aproxima l’expectativa condicional Tanmateix, les variants alternatives (per exemple, les desviacions mínimes absolutes o la regressió quàntil) són útils quan els investigadors volen modelar altres funcions. .
Hi ha d'haver prou dades per estimar un model de regressió. Per exemple, suposem que un investigador té accés a files de dades amb una variable dependent i dues variables independents: . Suposem a més que l'investigador vol estimar un model lineal bivariant mitjançant mínims quadrats: . Si l'investigador només té accés a punts de dades, aleshores podrien trobar infinites combinacions que expliquen les dades igualment bé: es pot triar qualsevol combinació que satisfaci , tots els quals condueixen a i, per tant, són solucions vàlides que minimitzen la suma dels residus al quadrat. Per entendre per què hi ha infinites opcions, cal tenir en compte que el sistema de L'equació s'ha de resoldre per a 3 incògnites, cosa que fa que el sistema estigui subdeterminat. Alternativament, es poden visualitzar infinits plans tridimensionals que passen per punts fixos.
Més generalment, per estimar un model de mínims quadrats amb paràmetres diferents, cal tenir punts de dades diferents. Si , aleshores generalment no existeix un conjunt de paràmetres que s'ajustin perfectament a les dades. La quantitat apareix sovint en l'anàlisi de regressió i es coneix com a graus de llibertat en el model. A més, per estimar un model de mínims quadrats, les variables independents ha de ser linealment independent: no s'ha de poder reconstruir cap de les variables independents sumant i multiplicant la resta de variables independents. Com s'ha comentat en els mínims quadrats ordinaris, aquesta condició garanteix que és una matriu invertible i, per tant, una solució única existeix.
Supòsits subjacents En si mateixa, una regressió és només un càlcul realitzat sobre un conjunt de dades. Per interpretar la regressió resultant com un model estadístic significatiu que quantifiqui les relacions del món real, els investigadors sovint es basen en diversos supòsits clàssics. Aquestes suposicions sovint inclouen:
La mostra és representativa de la població en general. Les variables independents es mesuren sense errors. Les desviacions del model tenen un valor esperat de zero, condicionat a les covariables: La variància dels residuals és constant entre observacions (homoscedasticitat). Els residus no estan correlacionats entre si. Matemàticament, la matriu de variància-covariància dels errors és diagonal.
Un grapat de condicions són suficients perquè l'estimador de mínims quadrats posseeixi les propietats desitjables: en particular, les suposicions de Gauss-Markov impliquen que les estimacions dels paràmetres seran imparcials, consistents i eficients en la classe dels estimadors lineals imparcials. Els professionals han desenvolupat diversos mètodes per mantenir algunes o totes aquestes propietats desitjables en entorns reals, perquè és poc probable que aquestes suposicions clàssiques es compleixin exactament. Per exemple, modelar errors en variables pot conduir a estimacions raonables: les variables independents es mesuren amb errors. Els errors estàndard consistents amb l'heteroscedasticitat permeten la variància de canviar entre valors de . Els errors correlacionats que existeixen dins de subconjunts de dades o que segueixen patrons específics es poden gestionar mitjançant errors estàndard agrupats, regressió ponderada geogràficament o errors estàndard de Newey-West, entre altres tècniques. Quan les files de dades corresponen a ubicacions a l'espai, l'elecció de com modelar dins de les unitats geogràfiques pot tenir conseqüències importants. El subcamp de l'econometria se centra principalment en el desenvolupament de tècniques que permeten als investigadors treure conclusions raonables del món real en entorns reals, on els supòsits clàssics no es compleixen exactament.
Regressió lineal
En la regressió lineal, l'especificació del model és que la variable dependent, és una combinació lineal dels paràmetres (però no cal que sigui lineal en les variables independents). Per exemple, en la regressió lineal simple per a la modelització punts de dades hi ha una variable independent: , i dos paràmetres, i :
línia recta:
En la regressió lineal múltiple, hi ha diverses variables independents o funcions de variables independents.
Afegint un terme a a la regressió anterior dóna:
paràbola:
Això encara és una regressió lineal; tot i que l'expressió del costat dret és quadràtica en la variable independent , és lineal en els paràmetres , i
En ambdós casos, és un terme d'error i el subíndex indexa una observació concreta.
Regressió lineal simple n el cas de la línia recta, donada una mostra aleatòria de la població, estimem els paràmetres de la població i obtenim el model de regressió lineal mostral:
El residual, , és la diferència entre el valor de la variable dependent predita pel model, , i el valor real de la variable dependent, . Un mètode d'estimació és el mètode dels mínims quadrats ordinaris. Aquest mètode obté estimacions de paràmetres que minimitzen la suma dels residus al quadrat, SSR:
La minimització d'aquesta funció resulta en un conjunt d’equacions normals, un conjunt d'equacions lineals simultànies en els paràmetres, que es resolen per obtenir els estimadors de paràmetres, .
miniatura| Il·lustració de la regressió lineal en un conjunt de dades
En el cas de la regressió simple, les fórmules per a les estimacions de mínims quadrats són
on és la mitjana (promig) de la valors i és la mitjana de la valors.
Sota la suposició que el terme d'error de la població té una variància constant, l'estimació d'aquesta variància ve donada per:
Els errors estàndard de les estimacions dels paràmetres es donen per
Sota la suposició addicional que el terme d'error de la població té una distribució normal, l'investigador pot utilitzar aquests errors estàndard estimats per crear intervals de confiança i dur a terme proves d'hipòtesi sobre els paràmetres de la població.
Regressió lineal múltiple En el model de regressió lineal múltiple més general, hi ha variables independents:
on és el -èsima observació sobre la -èsima variable independent. Si la primera variable independent pren el valor 1 per a tots els , , aleshores s'anomena intersecció amb la regressió.
Les estimacions dels paràmetres dels mínims quadrats s'obtenen de equacions normals. El residu es pot escriure com
Les equacions normals són
En notació matricial, les equacions normals s'escriuen com
on el element de és , el element del vector columna és , i el element de és . Així és , és , i és . La solució és
Diagnòstics Un cop construït un model de regressió, pot ser important confirmar la bondat de l'ajust del model i la significació estadística dels paràmetres estimats. Les comprovacions de bondat de l'ajust que s'utilitzen habitualment inclouen l’R-quadrat, les anàlisis del patró de residus i les proves d'hipòtesis. La significació estadística es pot comprovar mitjançant una prova F de l'ajust global, seguida de proves t de paràmetres individuals.
Les interpretacions d'aquestes proves diagnòstiques es basen en gran mesura en les suposicions del model. Tot i que l'examen dels residuals es pot utilitzar per invalidar un model, els resultats d'una prova t o d’una prova F de vegades són més difícils d'interpretar si es violen les suposicions del model. Per exemple, si el terme d'error no té una distribució normal, en mostres petites els paràmetres estimats no seguiran distribucions normals i complicaran la inferència. Amb mostres relativament grans, però, es pot invocar un teorema del límit central de manera que les proves d'hipòtesis puguin procedir mitjançant aproximacions asimptòtiques.
Variables dependents limitades Les variables dependents limitades, que són variables de resposta categòriques o restringides a caure només dins d'un cert rang, sovint sorgeixen en econometria.