A comparative study of robust regularization methods based on minimum density power and Rényi divergence losses

Resumen

En las últimas décadas se han desarrollado varios métodos de regularización para el modelo lineal de regresión con datos de alta dimensión. La influencia de los datos atípicos en la estimación es particularmente perjudicial en el contexto de datos de alta dimensión, y por tanto se han considerado métodos robustos de estimación. Los métodos de regularización llevan a cabo simultáneamente la selección de variables y la estimación paramétrica mediante la combinación de una función de pérdida, basada en los residuos del modelo, y una función de penalización que induce la selección de variables.
Han sido propuestas distintas penalizaciones como las penalizaciones LASSO y LASSO Adaptativo, una variante que mejora las propiedades oráculo del estimador, o penalizaciones no cóncavas como SCAD o MCP, que resuelven el problema de sesgo que presenta la penalización LASSO.
Se propone examinar las pérdidas robustas con distintas funciones de penalización, dando lugar a distintos estimadores, a saber, el estimador de mínima potencia (DPD) y de mínima pseudodistancia de Rényi penalizado con LASSO, LASSO adaptativo y SCAD . Se desarrolla un algoritmo de estimación para cada método, señalando sus diferencias y similitudes. Por último, se estudia el comportamiento de los métodos a través de un estudio de simulación.