miniaturadeimagen|250x250px|Estimación de la densidad del núcleo de 100 números aleatorios distribuidos normalmente utilizando diferentes anchos de banda de suavizado. En estadística, la estimación de la densidad de Kernel (KDE) es la aplicación del suavizado de kernel para la estimación de la densidad de probabilidad, es decir, un método no paramétrico para estimar la función de densidad de probabilidad de una variable aleatoria basada en kernels como pesos. KDE responde a un problema fundamental de suavizado de datos en el que se hacen inferencias sobre la población, basándose en una muestra finita de datos. En algunos campos, como el procesamiento de señales y la econometría, también se denomina método de la ventana de Parzen-Rosenblatt, en honor a Emanuel Parzen y Murray Rosenblatt, a quienes se suele atribuir su creación independiente en su forma actual.Una de las aplicaciones más conocidas de la estimación de la densidad del núcleo es la estimación de las densidades marginales condicionales de clase de los datos cuando se utiliza un clasificador Bayes ingenuo, que puede mejorar su precisión de predicción.
Definición Sean (x1, x2, ..., xn) muestras independientes e idénticamente distribuidas extraídas de alguna distribución univariante con una densidad desconocida ƒ en cualquier punto dado x. Nos interesa estimar la forma de esta función ƒ. Su estimador de densidad kernel es
Donde K es el núcleo (una función no negativa) y h > 0 es un parámetro de suavizado denominado ancho de banda. Un kernel con el subíndice h se denomina kernel escalado y se define como Kh(x) = 1/h K(x/h). Intuitivamente, uno quiere elegir h tan pequeño como permitan los datos; sin embargo, siempre hay un compromiso entre el sesgo del estimador y su varianza. La elección del ancho de banda se analiza con más detalle a continuación.
Se suele utilizar una serie de funciones de kernel: uniforme, triangular, biponderada, triponderada, Epanechnikov, normal y otras. El kernel de Epanechnikov es óptimo en el sentido del error cuadrático medio, aunque la pérdida de eficiencia es pequeña para los kernels enumerados anteriormente. Debido a sus convenientes propiedades matemáticas, a menudo se utiliza el kernel normal, que significa K(x) = ϕ(x), donde ϕ es la función de densidad normal estándar.
La construcción de una estimación de densidad de núcleo encuentra interpretaciones en campos ajenos a la estimación de densidad. Por ejemplo, en termodinámica, equivale a la cantidad de calor generada cuando se colocan kernel de calor (la solución fundamental de la ecuación del calor) en cada ubicación de punto de datos xi. Se utilizan métodos similares para construir operadores discretos de Laplace en nubes de puntos para el aprendizaje de variedades (por ejemplo, el mapa de difusión).
Ejemplo Las estimaciones de densidad de kernel están estrechamente relacionadas con los histogramas, pero pueden dotarse de propiedades como la suavidad o la continuidad mediante el uso de un kernel adecuado. El siguiente diagrama basado en estos 6 puntos de datos ilustra esta relación: +Muestra123456Valor -2.1 -1.3 -0.41.95.16.2 Para el histograma, primero se divide el eje horizontal en subintervalos o "bins" que cubren el intervalo de los datos: En este caso, seis intervalos de 2. Cada vez que un dato cae dentro de este intervalo, se coloca en él una caja de 1/12 de altura. Si hay más de un dato dentro del mismo intervalo, las cajas se apilan unas encima de otras.
Para la estimación de la densidad del núcleo, se colocan núcleos normales con una desviación estándar de 1,5 (indicados por las líneas discontinuas rojas) en cada uno de los puntos de datos xi. Los núcleos se suman para obtener la estimación de la densidad del núcleo (curva azul continua). La suavidad de la estimación de la densidad del kernel (en comparación con la discreción del histograma) ilustra cómo las estimaciones de la densidad del kernel convergen más rápidamente a la verdadera densidad subyacente para variables aleatorias continuas. centro|miniaturadeimagen|490x490px|Comparación del histograma (izquierda) y la estimación de la densidad del kernel (derecha) construidos con los mismos datos. Los seis núcleos individuales son las curvas rojas discontinuas, y la estimación de la densidad del núcleo, las curvas azules. Los puntos de datos son el rug plot (diagrama de alfombra) en el eje horizontal.
Selección de ancho de banda miniaturadeimagen|Estimación de la densidad del núcleo (KDE) con diferentes anchos de banda de una muestra aleatoria de 100 puntos de una distribución normal estándar. Gris: densidad real (normal estándar). Rojo: KDE con h=0,05. Negro: KDE con h=0,337. Verde: KDE con h=2. El ancho de banda del kernel es un parámetro libre que influye mucho en la estimación resultante. Para ilustrar su efecto, tomamos una muestra aleatoria simulada de la distribución normal estándar (representada en los picos azules del rug plot en el eje horizontal). La curva gris es la densidad real (una densidad normal con media 0 y varianza 1). En comparación, la curva roja está poco suavizada, ya que contiene demasiados datos espurios debido a la utilización de un ancho de banda h = 0,05, que es demasiado pequeño. La curva verde está demasiado suavizada, ya que el ancho de banda h = 2 oculta gran parte de la estructura subyacente. La curva negra con un ancho de banda de h = 0,337 se considera óptimamente suavizada, ya que su estimación de la densidad se aproxima a la densidad real. Una situación extrema se da en el límite (sin suavizado), donde la estimación es una suma de n funciones delta centradas en las coordenadas de las muestras analizadas. En el otro límite extremo la estimación conserva la forma del núcleo utilizado, centrada en la media de las muestras (completamente lisa).
El criterio de optimalidad más utilizado para seleccionar este parámetro es la función de riesgo L2 esperado, también denominada error cuadrático medio integrado:
Bajo supuestos débiles sobre ƒ y K, (ƒ es la función de densidad real, generalmente desconocida),
donde o es la notación o pequeña, y n el tamaño de la muestra (como arriba). El AMISE es el MISE asintótico, es decir, los dos términos principales,
Donde para una función g, y es la segunda derivada de y es el kernel. El mínimo de este AMISE es la solución de esta ecuación diferencial.
o
Ni las fórmulas AMISE ni las hAMISE pueden utilizarse directamente, ya que implican la función de densidad desconocida o su segunda derivada . Para superar esa dificultad, se han desarrollado diversos métodos automáticos basados en datos para seleccionar el ancho de banda. Se han realizado varios estudios de revisión para comparar su eficacia, con el consenso general de que los selectores de complemento y los selectores de validación cruzada son los más útiles en una amplia gama de conjuntos de datos.
Sustituyendo cualquier ancho de banda h que tenga el mismo orden asintótico n-1/5 que hAMISE en el AMISE se obtiene que AMISE(h) = O(n-4/5), donde O es la notación big o. Puede demostrarse que, bajo supuestos débiles, no puede existir un estimador no paramétrico que converja a un ritmo más rápido que el estimador kernel. Obsérvese que el ritmo n-4/5 es más lento que el típico ritmo de convergencia n-1 de los métodos paramétricos.
Si el ancho de banda no se mantiene fijo, sino que varía en función de la ubicación de la estimación (estimador de globo) o de las muestras (estimador puntual), se obtiene un método especialmente potente denominado estimación de densidad kernel adaptativa o de ancho de banda variable.
La selección del ancho de banda para la estimación de la densidad del kernel de distribuciones con colas gruesas es relativamente difícil.
Un estimador de ancho de banda basado en reglas empíricas Si se utilizan funciones de base gaussiana para aproximar datos univariantes, y la densidad subyacente que se estima es gaussiana, la elección óptima para h (es decir, el ancho de banda que minimiza el error cuadrático medio integrado) es:
Un valor se considera más robusto cuando mejora el ajuste para distribuciones de cola larga y sesgadas o para distribuciones de mezcla bimodales. Esto suele hacerse empíricamente sustituyendo la desviación típica por el parámetro a continuación:
donde IQR es el rango intercuartílico. miniaturadeimagen|290x290px|Comparación entre la regla empírica y el ancho de banda de resolución de ecuaciones. Otra modificación que mejorará el modelo es reducir el factor de 1,06 a 0,9. Entonces la fórmula final sería:
Esta aproximación se denomina aproximación de distribución normal, aproximación gaussiana o regla empírica de Silverman. Aunque esta regla empírica es fácil de calcular, debe utilizarse con precaución, ya que puede dar lugar a estimaciones muy imprecisas cuando la densidad no se aproxima a la normalidad. Por ejemplo, al estimar el modelo de mezcla gaussiana bimodal:
a partir de una muestra de 200 puntos, la figura de la derecha muestra la densidad real y dos estimaciones de densidad kernel: una que utiliza el ancho de banda de la regla empírica y otra que utiliza el ancho de banda de la solución de la ecuación. La estimación basada en el ancho de banda de la regla empírica está muy suavizada.
Relación con el estimador de densidad de la función característica Dada la muestra (x1, x2, ..., xn), es natural estimar la función característica φ(t) = E[eitX] como:
Conociendo la función característica, es posible hallar la correspondiente función de densidad de probabilidad mediante la fórmula de la transformada de Fourier. Una dificultad de la aplicación de esta fórmula de inversión es que conduce a una integral divergente, ya que la estimación no es fiable para t's grandes. Para evitar este problema, el estimador se multiplica por una función de amortiguación , que es igual a 1 en el origen y luego cae a 0 en el infinito. El "parámetro de ancho de banda" h controla la rapidez con la que intentamos amortiguar la función . En particular, cuando h es pequeño, entonces ψh(t) será aproximadamente uno para un amplio rango de t's, lo que significa que permanece prácticamente inalterado en la región más importante de t's.
La elección más común para la función ψ es la función uniforme }, lo que significa truncar el intervalo de integración en la fórmula de inversión a o la función gaussiana ψ (t) = eπt2. Una vez elegida la función ψ, se puede aplicar la fórmula de inversión, y el estimador de densidad será:
donde K es la transformada de Fourier de la función de amortiguación ψ. Así pues, el estimador de densidad kernel coincide con el estimador de densidad de función característica.
Características geométricas y topológicas Podemos ampliar la definición del modo (global) a un sentido local y definir los modos locales:
Concretamente, es la colección de puntos para los que la función de densidad se maximiza localmente. Un estimador natural de es un plug-in de KDE, donde y son la versión KDE de y . Bajo suposiciones suaves, es un estimador coherente de . Obsérvese que se puede utilizar el algoritmo de desplazamiento de la media para calcular el estimador numéricamente.
Aplicación estadística Una lista no exhaustiva de implementaciones de software de estimadores de densidad kernel incluye:
En la versión 4.4 de Analytica, la opción de suavizado para resultados PDF utiliza KDE, y a partir de las expresiones está disponible a través de la función Pdf incorporada. En C/C++, FIGTree es una biblioteca que puede utilizarse para calcular estimaciones de densidad de núcleos utilizando núcleos normales. Interfaz MATLAB disponible. En C++, libagf es una biblioteca para la estimación de la densidad del kernel variable. En C++, mlpack es una biblioteca que puede calcular KDE utilizando muchos núcleos diferentes. Permite establecer una tolerancia de error para un cálculo más rápido. Dispone de interfaces para Python y R.