Erwan Le Pennec

Maxiset pour la sélection de modèles

en collaboration avec F. Autin, J.-M. Loubes et V. Rivoirard

Quels sont les fonctions bien estimées par les techniques de sélection de modèles? Dans ce travail, on s'intéresse au cas du modèle de bruit blanc et des estimateurs par projection sur des espaces engendrés par des éléments d'un dictionnaire. Soit $m$ un tel espace, on définit l'estimateur $\widehat{s}_m$ associé à ce modèle pour un bruit de variance $\frac{1}{n}$ par $$ \widehat{s}_{m} = \mathop{\mathrm{argmin}}_{s \in \mathcal{M}_n}\ \gamma_n(s) $$ où $\gamma_n$ est le contraste empirique usuel. Soit $\mathcal{M}_n$ une collection de modèle et $\mathop{\mathrm{pen}}_n(m)$ une pénalité sur ces modèles, on définit l'estimateur pénalisé $\widehat{s}_{\widehat{m}}$ comme l'estimateur par projection précédent dans le modèle $\widehat{m}$ minimisant $$ \gamma_n(\widehat{s}_m) + \mathop{\mathrm{pen}}_n(m). $$

On suppose que la pénalité est telle que pour tout $n$ $$ \mathbb{E}[ \|s_0-\widehat{s}_{\widehat{m}}\|^2 ] \leq C \inf_{m \in \mathcal{M}_n}\ \inf_{s \in \mathcal{M}_n} \|s_0-s\|^2 + \mathop{\mathrm{pen}}_n(m) + \frac{c}{n}. $$ On montre alors que sous des hypothèses faibles sur la pénalité, sur la structure des collections $\mathcal{M}_n$ et sur les vitesses $\rho_n$, l'équivalence entre $$ (\rho_n)^{-2} \mathbb{E}[ \|s_0-\widehat{s}_{\widehat{m}}\|^2 ] < +\infty \quad\text{ et }\quad (\rho_n)^{-2} \left( \inf_{m \in \mathcal{M}_n}\ \inf_{s \in \mathcal{M}_n} \|s_0-s\|^2 + \mathop{\mathrm{pen}}_n(m) \right) < +\infty. $$ Les fonctions qui s'estiment bien sont exactement celle qui s'approchent bien!

Publication

Exposés