En estadística i processament de senyals, un estimador d'error quadràtic mitjà mínim (MMSE) és un mètode d'estimació que minimitza l'error quadràtic mitjà (MSE), que és una mesura comuna de la qualitat de l'estimador, dels valors ajustats d'una variable dependent. En l'entorn bayesià, el terme MMSE es refereix més específicament a l'estimació amb funció de pèrdua quadràtica. En aquest cas, l'estimador MMSE ve donat per la mitjana posterior del paràmetre a estimar. Com que la mitjana posterior és difícil de calcular, la forma de l'estimador MMSE normalment està restringida a estar dins d'una determinada classe de funcions. Els estimadors MMSE lineals són una opció popular, ja que són fàcils d'utilitzar, fàcils de calcular i molt versàtils. Ha donat lloc a molts estimadors populars com el filtre de Wiener-Kolmogorov i el filtre de Kalman.
Motivació El terme MMSE es refereix més específicament a l'estimació en un entorn bayesià amb una funció de cost quadràtica. La idea bàsica darrere de l'enfocament bayesià de l'estimació prové de situacions pràctiques on sovint tenim informació prèvia sobre el paràmetre que s'ha d'estimar. Per exemple, podem tenir informació prèvia sobre el rang que pot assumir el paràmetre; o podem tenir una estimació antiga del paràmetre que volem modificar quan es posa a disposició una nova observació; o les estadístiques d'un senyal aleatori real com ara la parla. Això contrasta amb l'enfocament no bayesià com l'estimador no esbiaixat de mínima variància (MVUE), on se suposa que no es coneix absolutament res sobre el paràmetre per endavant i que no té en compte aquestes situacions. En l'enfocament bayesià, aquesta informació prèvia es captura mitjançant la funció de densitat de probabilitat prèvia dels paràmetres; i basant-se directament en el teorema de Bayes, ens permet fer millors estimacions posteriors a mesura que hi ha més observacions disponibles. Així, a diferència de l'enfocament no bayesià, on se suposa que els paràmetres d'interès són deterministes però constants desconegudes, l'estimador bayesià busca estimar un paràmetre que és en si mateix una variable aleatòria. A més, l'estimació bayesiana també pot tractar situacions en què la seqüència d'observacions no és necessàriament independent. Així, l'estimació bayesiana proporciona una altra alternativa a la MVUE. Això és útil quan el MVUE no existeix o no es pot trobar.
Definició Sigui una variable vectorial aleatòria oculta, i sigui ser un variable vectorial aleatòria coneguda (la mesura o l'observació), ambdues no necessàriament de la mateixa dimensió. Un estimador de és qualsevol funció de la mesura . El vector d'error d'estimació ve donat per i el seu error quadràtic mitjà (MSE) ve donat per la matriu de covariància de la traça de l'error
on l'expectativa és pres per control condicionat a . Quan és una variable escalar, l'expressió MSE es simplifica a . Tingueu en compte que MSE es pot definir de manera equivalent d'altres maneres, ja que
L'estimador MMSE es defineix llavors com l'estimador que aconsegueix un MSE mínim:
Propietats Quan les mitjanes i les variàncies són finites, l'estimador MMSE es defineix de manera única i ve donat per:
En altres paraules, l'estimador MMSE és l'esperança condicional de donat el valor observat conegut de les mesures. També, des que és la mitjana posterior, la matriu de covariància d'error és igual a la covariància posterior matriu, .
L'estimador MMSE és imparcial (sota els supòsits de regularitat esmentats anteriorment):*
L'estimador MMSE és asimptòticament inesbiaixat i convergeix en distribució a la distribució normal:
on és la informació de Fisher de . Per tant, l'estimador MMSE és asimptòticament eficient.
El principi d'ortogonalitat: quan és un escalar, un estimador restringit a tenir una certa forma és un estimador òptim, és a dir, si i només si
per a tots en un subespai lineal tancat de les mesures. Per a vectors aleatoris, com que l'EQM per a l'estimació d'un vector aleatori és la suma dels EQM de les coordenades, trobar l'estimador MMSE d'un vector aleatori es descompon en trobar els estimadors MMSE de les coordenades de X per separat:
per a tots els i i j. Dit de manera més succinta, la correlació creuada entre l'error mínim d'estimació i l'estimador hauria de ser zero,
Si i són conjuntament gaussianes, aleshores l'estimador MMSE és lineal, és a dir, té la forma per a la matriu i constant . Això es pot demostrar directament mitjançant el teorema de Bayes. Com a conseqüència, per trobar l'estimador MMSE, n'hi ha prou amb trobar l'estimador MMSE lineal.
Exemple Prendrem com a exemple un problema de predicció lineal. Sigui una combinació lineal de variables aleatòries escalars observades i s'utilitza per estimar una altra variable aleatòria escalar futura de tal manera que . Si les variables aleatòries són variables aleatòries gaussianes reals amb mitjana zero i la seva matriu de covariància donada per
llavors la nostra tasca és trobar els coeficients de manera que doni una estimació lineal òptima .
En termes de la terminologia desenvolupada a les seccions anteriors, per a aquest problema tenim el vector d'observació , la matriu de l'estimador com a vector de files, i la variable estimada com una magnitud escalar. La matriu d'autocorrelació es defineix com
La matriu de correlació creuada es defineix com
Ara resolem l'equació invertint i premultiplicant per obtenir
Així doncs, tenim i com els coeficients òptims per a . Calculant l'error quadràtic mitjà mínim, aleshores s'obté Tingueu en compte que no és necessari obtenir una matriu inversa explícita de per calcular el valor de . L'equació matricial es pot resoldre mitjançant mètodes coneguts com el mètode d'eliminació de Gauss. Un exemple més curt i no numèric es pot trobar al principi d'ortogonalitat.
Referències
Categoria:Estadística multivariant Categoria:Processament de senyals