miniatura|En la regressió de crestes, la suma dels errors quadràtics es mostra com a línies de contorn el·líptiques. A més, l'àrea que especifica els coeficients del model forma un cercle en dues dimensions. El primer punt on aquestes àrees es creuen amb les línies de contorn el·líptiques es considera la solució al problema. La regressió de ridge (també coneguda com a regularització de Tikhonov, anomenada així per Andrey Tikhonov) és un mètode per estimar els coeficients dels models de regressió múltiple en escenaris on les variables independents estan altament correlacionades. S'ha utilitzat en molts camps, com ara l'econometria, la química i l'enginyeria. És un mètode de regularització de problemes mal plantejats. És particularment útil per mitigar el problema de la multicol·linealitat en la regressió lineal, que sol passar en models amb un gran nombre de paràmetres. En general, el mètode proporciona una eficiència millorada en problemes d'estimació de paràmetres a canvi d'una quantitat tolerable de biaix (vegeu el compromís biaix-variància).

La teoria va ser introduïda per primera vegada per Hoerl i Kennard el 1970 en els seus articles de Technometrics "Ridge regressions: biased estimation of nonorthogonal problems" i "Ridge regressions: applications in nonorthogonal problems".

La regressió de ridge es va desenvolupar com una possible solució a la imprecisió dels estimadors de mínims quadrats quan els models de regressió lineal tenen algunes variables independents multicolinearis (altament correlacionades), mitjançant la creació d'un estimador de regressió de ridge (RR). Això proporciona una estimació més precisa dels paràmetres de la cresta, ja que la seva variància i l'estimador quadràtic mitjà sovint són més petits que els estimadors de mínims quadrats derivats anteriorment.

Visió general En el cas més simple, el problema d'una matriu de moments gairebé singulars s'alleuja afegint elements positius a les diagonals, disminuint així el seu número de condició Anàlogament a l'estimador de mínims quadrats ordinaris, l'estimador de crestes simple ve donat per on és el regressant, és la matriu de disseny, és la matriu identitat i el paràmetre de la cresta serveix com la constant que desplaça les diagonals de la matriu de moments.For the choice of in practice, see Es pot demostrar que aquest estimador és la solució al problema dels mínims quadrats subjecte a la restricció , que es pot expressar com una minimització lagrangiana: la qual cosa demostra que no és res més que el multiplicador de Lagrange de la restricció. De fet, hi ha una relació biunívoca entre i i com que, a la pràctica, no sabem , definim heurísticament o trobar-ho mitjançant estratègies addicionals d'ajust de dades.

Tingueu en compte que, quan , en aquest cas la restricció no és vinculant, l'estimador de crestes es redueix a mínims quadrats ordinaris A continuació es discuteix un enfocament més general de la regularització de Tikhonov.

Història La regularització de Tikhonov es va inventar de manera independent en molts contextos diferents. Es va fer àmpliament conegut per la seva aplicació a les equacions integrals en els treballs d'Andrey Tikhonov i David L. Phillips. Alguns autors utilitzen el terme regularització de Tikhonov-Phillips El cas de dimensió finita va ser exposat per Arthur E. Hoerl, que va adoptar un enfocament estadístic, i per Manus Foster, que va interpretar aquest mètode com un filtre de Wiener-Kolmogorov (Kriging) Seguint Hoerl, a la literatura estadística es coneix com a regressió de ridge, anomenada així per l'anàlisi de ridge ("ridge" es refereix al camí des del màxim restringit).

Regularització de Tikhonov Suposem que per a una matriu real coneguda i vector , volem trobar un vector de tal manera que on i poden ser de diferents mides i pot no ser quadrat.

L'enfocament estàndard és la regressió lineal per mínims quadrats ordinaris. Tanmateix, si no compleix l'equació o més d'una ho fa —és a dir, la solució no és única—, es diu que el problema està mal plantejat En aquests casos, l'estimació per mínims quadrats ordinaris condueix a un sistema d'equacions sobredeterminat o, més sovint, subdeterminat La majoria dels fenòmens del món real tenen l'efecte dels filtres de pas baix en la direcció endavant on mapes a Per tant, en resoldre el problema invers, el mapatge invers funciona com un filtre de pas alt que té la tendència indesitjable d'amplificar el soroll (els valors propis /valors singulars són més grans en el mapatge invers, on eren més petits en el mapatge directe). A més, els mínims quadrats ordinaris anul·len implícitament tots els elements de la versió reconstruïda de que es troba a l'espai nul de , en lloc de permetre que un model s'utilitzi com a previ per a El mètode dels mínims quadrats ordinaris busca minimitzar la suma dels residus quadrats, que es pot escriure de manera compacta com on és la norma euclidiana

Per tal de donar preferència a una solució particular amb propietats desitjables, es pot incloure un terme de regularització en aquesta minimització: per a alguna matriu de Tikhonov escollida adequadament En molts casos, aquesta matriu es tria com a múltiple escalar de la matriu identitat ( ), donant preferència a solucions amb normes més petites ; això es coneix com a En altres casos, es poden utilitzar operadors de pas alt (per exemple, un operador de diferència o un operador de Fourier ponderat) per aplicar la suavitat si es creu que el vector subjacent és majoritàriament continu. Aquesta regularització millora el condicionament del problema, permetent així una solució numèrica directa. Una solució explícita, denotada per , ve donat per L'efecte de la regularització pot variar segons l'escala de la matriu Per a això es redueix a la solució de mínims quadrats no regularitzada, sempre que (ATA)−1 existeixi. Tingueu en compte que en el cas d'una matriu complexa , com és habitual, la transposició s'ha de substituir per la transposició hermitiana

regularization is used in many contexts aside from linear regression, such as classification with logistic regression or support vector machines, and matrix factorization.

Regularització de Lavrentyev En algunes situacions, es pot evitar l'ús de la transposició , tal com va proposar Mikhail Lavrentyev Per exemple, si és simètric definit positiu, és a dir, , també ho és la seva inversa , que per tant es pot utilitzar per establir la norma ponderada al quadrat en la regularització generalitzada de Tikhonov, que porta a minimitzar o, equivalentment fins a un terme constant,

Regularització en espai de Hilbert Normalment, els problemes lineals discrets mal condicionats resulten de la discretització d'equacions integrals, i es pot formular una regularització de Tikhonov en el context original de dimensió infinita. En l'anterior podem interpretar com a operador compacte en espais de Hilbert, i i com a elements del domini i rang de L'operador és llavors un operador invertible limitat autoadjunt

Interpretació bayesiana Tot i que al principi l'elecció de la solució a aquest problema regularitzat pot semblar artificial, i de fet la matriu sembla força arbitrari, el procés es pot justificar des d'un punt de vista bayesià Cal tenir en compte que per a un problema mal plantejat cal introduir necessàriament algunes suposicions addicionals per tal d'obtenir una solució única. Estadísticament, la distribució de probabilitat a priori de de vegades es considera una distribució normal multivariant Per simplificar, es fan les següents suposicions: les mitjanes són zero; els seus components són independents; els components tenen la mateixa desviació estàndard Les dades també estan subjectes a errors, i els errors de també se suposa que són independents amb mitjana zero i desviació estàndard Sota aquestes suposicions, la solució regularitzada de Tikhonov és la solució més probable donades les dades i la distribució a priori de , segons el teorema de Bayes.

Si la suposició de normalitat es substitueix per suposicions d'homoscedasticitat i no correlació d'errors, i si encara s'assumeix una mitjana zero, aleshores el teorema de Gauss-Markov implica que la solució és l'estimador lineal mínim no esbiaixat.

Referències

Categoria:Àlgebra lineal