Erwan Le Pennec

Pénalisation $\ell^1$

en collaboration avec K. Bertin et V. Rivoirard

Nous étudions ici un exemple de régularisation $\ell^1$ pour l'estimation de densité: l'estimateur de Dantzid adaptatif. On suppose que la densité $f$ inconnue est dans $L^2$ et on cherche à l'estimer par une combinaison linéaire $$ f_{\lambda} = \sum_{k=1}^p \lambda_k \phi_k $$ où $\{ \phi_k \}_{1 \leq k \leq p}$ est un dictionnaire de fonctions dans $L^2\cup L^{\infty}$. A partir des observations $X_1,\ldots,X_n$, on détermine des produits scalaires empiriques $$ \widehat{\beta}_k= \frac{1}{n} \sum_{i=1}^n \phi_k(X_i). $$ et des précisions associées $\eta_k$. L'estimateur de Dantzig $f_{\widehat{\lambda}}$ est défini à travers le vecteur $\widehat{\lambda}$: $$ \widehat{\lambda} = \mathop{\mathrm{argmin}} \|\lambda \|_1 \quad\text{sous}\quad \forall 1 \leq k \leq p, |\langle f_{\lambda}, \phi_k \rangle- \widehat{\beta}_k| \leq \eta_k. $$

Dans cette article, nous montrons que l'on peut choisir $\eta_k$ de manière adaptative essentiellement sous la forme $$ \eta_k = \sqrt{2\gamma\log p} \frac{\widehat{\sigma}_k}{\sqrt{n}} + \frac{7}{3} \gamma \log p \frac{\|\phi_k\|_{\infty}}{n} $$ où $\widehat{\sigma}^2_k$ est l'estimateur naturel de la variance de $\widehat{\beta}_k$. Nous expliqons également les liens entre cet estimateur et l'estimateur Lasso. Enfin, nous montrons que cette pénalité est bien calibrée: si le paramètre $\gamma$ est plus grand que $1$ on peut montrer que, sous des conditions faibles sur le dictionnaire, l'estimateur satifait une inégalité oracle alors que si il est choisi plus petit que $1$ il existe toujours des cas où l'estimateur ne satisfait pas de tels inégalités.

Publication

Exposés