← Semaine 2 — Estimation

La vraisemblance du modèle uniforme saute en \(X_{n:n}\) ; celle d'un modèle régulier est lisse

On tire un échantillon \(X_1, \ldots, X_n\) de la loi uniforme sur \([0,\theta^\star]\), puis on trace la vraisemblance \(\vartheta \mapsto L_n(\vartheta)\) : elle est nulle à gauche de la plus grande observation \(X_{n:n}\), saute en ce point et décroît ensuite comme \(\vartheta^{-n}\), d'autant plus vite que \(n\) est grand. À côté, un échantillon de la loi exponentielle d'espérance \(\theta^\star\), construit à partir des mêmes variables uniformes, donne une vraisemblance strictement positive et dérivable, dont le maximum est atteint en un point critique, \(\bar Y_n\).

anim-s2-vraisemblance-uniforme

Modèle uniforme \(\unif([0,\vartheta])\), \(\vartheta \gt 0\)

\(L_n(\vartheta) = \vartheta^{-n}\,\indi{\{\vartheta \ge X_{n:n}\}}\), rapportée à sa valeur maximale \(X_{n:n}^{-n}\).

estimateur du maximum de vraisemblance \(X_{n:n}\)
vraie valeur \(\theta^\star\)

Modèle exponentiel d'espérance \(\vartheta\), \(\vartheta \gt 0\)

\(L_n(\vartheta) = \vartheta^{-n}\exp(-n\bar Y_n/\vartheta)\), rapportée à sa valeur maximale \(L_n(\bar Y_n)\).

estimateur du maximum de vraisemblance \(\bar Y_n\)
vraie valeur \(\theta^\star\)
observations (traits sur l'axe) vraisemblance rapportée à son maximum estimateur du maximum de vraisemblance vraie valeur \(\theta^\star\) (pointillés)

On illustre ici la différence entre un modèle régulier et un modèle dont le support dépend du paramètre : la vraisemblance du modèle exponentiel est lisse et son maximum, \(\bar Y_n\), est un point critique qui perd la moitié de sa valeur à distance d'ordre \(1/\sqrt n\) de \(\theta^\star\) ; celle du modèle uniforme saute en \(X_{n:n}\), qui n'est pas un point critique et se rapproche de \(\theta^\star\) à la vitesse bien plus rapide \(1/n\). Les deux échantillons sont construits à partir des mêmes variables uniformes, via \(X_i = \theta^\star U_i\) et \(Y_i = -\theta^\star\log(1-U_i)\). Voir l'exemple « Modèle uniforme : une vraisemblance non dérivable ».