Semaine 2 — Estimation ponctuelle

On a \[ \begin{aligned} \mathbf{X}^T\mathbf{X} &= \begin{bmatrix} n & \sum_{i=1}^n x_i \\[2pt] \sum_{i=1}^n x_i & \sum_{i=1}^n x_i^2\end{bmatrix} \eqsp, \\ \det(\mathbf{X}^T\mathbf{X}) &= n\sum_{i=1}^n x_i^2 - \Big(\sum_{i=1}^n x_i\Big)^2 = n\sum_{i=1}^n (x_i-\bar x)^2 \eqsp, \end{aligned} \] la dernière égalité venant de $\sum_{i=1}^n (x_i-\bar x)^2 = \sum_{i=1}^n x_i^2 - n\bar x^2$. Ce déterminant est positif, et nul si et seulement si $x_i = \bar x$ pour tout $i$, ce qui est exclu puisque deux des $x_i$ sont distincts : il est strictement positif et la matrice est inversible. Comme $u^T\mathbf{X}^T\mathbf{X}u = \|\mathbf{X}u\|^2 \geq 0$ pour tout $u \in \rset^2$, la matrice $\mathbf{X}^T\mathbf{X}$ est symétrique positive ; étant inversible, elle est définie positive. Explicitement, \[ (\mathbf{X}^T\mathbf{X})^{-1} = \frac{1}{n\sum_{i=1}^n (x_i-\bar x)^2}\begin{bmatrix} \sum_{i=1}^n x_i^2 & -\sum_{i=1}^n x_i \\[2pt] -\sum_{i=1}^n x_i & n \end{bmatrix} \eqsp. \] La condition « deux $x_i$ distincts » signifie que les colonnes $\bigone$ et $\mathbf{\underline{x}}$ de $\mathbf{X}$ sont linéairement indépendantes : le sous-espace $F \eqdef \operatorname{Im}(\mathbf{X}) = \operatorname{Vect}(\bigone,\mathbf{\underline{x}})$ de $\rset^n$ est de dimension $2$.

La vraisemblance est $\Lhood(\paramcur) = p_{\paramcur}(Y_1,\dots,Y_n) \gt 0$, et la log-vraisemblance normalisée s'écrit \[ \loghood(\paramcur) = -\frac12\log(2\pi v) - \frac{1}{2nv}\,\|\mathbf{Y} - \mathbf{X}b\|^2 \eqsp, \qquad \paramcur = (b,v) \in \rset^2\times\rset_+^* \eqsp. \] Elle est différentiable sur $\Param$, qui est ouvert : on est dans le cas régulier de la Méthode, et les équations de vraisemblance s'écrivent \[ \nabla_b\loghood(\paramcur) = \frac{1}{nv}\,\mathbf{X}^T(\mathbf{Y}-\mathbf{X}b) = 0 \eqsp, \qquad \frac{\partial\loghood}{\partial v}(\paramcur) = -\frac{1}{2v} + \frac{1}{2nv^2}\,\|\mathbf{Y}-\mathbf{X}b\|^2 = 0 \eqsp. \] Plutôt que de résoudre ce système directement, on maximise en deux temps, comme pour le modèle gaussien (Exemple).

Maximisation en $b$ à $v$ fixé. Maximiser $\loghood$ en $b$ revient à minimiser $J(b) \eqdef \|\mathbf{Y}-\mathbf{X}b\|^2$ sur $\rset^2$. Cette fonction est quadratique, de gradient $\nabla J(b) = -2\mathbf{X}^T(\mathbf{Y}-\mathbf{X}b)$ et de matrice hessienne $2\mathbf{X}^T\mathbf{X}$, définie positive d'après la question 1 : elle est strictement convexe et admet un unique minimum, caractérisé par les équations normales $\mathbf{X}^T\mathbf{X}\,b = \mathbf{X}^T\mathbf{Y}$, soit \[ \hat\beta \eqdef \begin{bmatrix}\hat\beta_1\\ \hat\beta_2\end{bmatrix} = (\mathbf{X}^T\mathbf{X})^{-1}\mathbf{X}^T\mathbf{Y} \eqsp. \] Les équations normales s'écrivent $nb_1 + b_2\sum_i x_i = \sum_i Y_i$ et $b_1\sum_i x_i + b_2\sum_i x_i^2 = \sum_i x_iY_i$ ; la première donne $b_1 = \bar Y - b_2\bar x$ et, en reportant dans la seconde, \[ \hat\beta_2 = \frac{\sum_{i=1}^n (x_i-\bar x)(Y_i-\bar Y)}{\sum_{i=1}^n (x_i-\bar x)^2} \eqsp, \qquad \hat\beta_1 = \bar Y - \hat\beta_2\,\bar x \eqsp. \] Posons $P \eqdef \mathbf{X}(\mathbf{X}^T\mathbf{X})^{-1}\mathbf{X}^T$. Cette matrice est symétrique, vérifie $P^2 = P$ et $P\mathbf{X} = \mathbf{X}$, et son image est $F$ : c'est la matrice de la projection orthogonale sur $F$, et $\Id_n - P$ celle de la projection orthogonale sur $F^\perp$, de dimension $n-2$. Ainsi $\mathbf{X}\hat\beta = P\mathbf{Y}$ est la projection orthogonale de $\mathbf{Y}$ sur $F$, $\mathbf{Y}-\mathbf{X}\hat\beta = (\Id_n-P)\mathbf{Y}$ et $J(\hat\beta) = \|(\Id_n-P)\mathbf{Y}\|^2$.

Maximisation en $v$. Posons $S \eqdef n^{-1}\|(\Id_n-P)\mathbf{Y}\|^2$. La fonction $v \mapsto \loghood(\hat\beta,v) = -\frac12\log(2\pi v) - S/(2v)$ a pour dérivée $(S-v)/(2v^2)$. Si $S \gt 0$, cette dérivée est strictement positive pour $v \lt S$ et strictement négative pour $v \gt S$ : le maximum est atteint en $v = S$ seulement. Pour tout $(b,v) \in \Param$, on a alors $\loghood(b,v) \leq \loghood(\hat\beta,v) \leq \loghood(\hat\beta,S)$, avec égalité si et seulement si $(b,v) = (\hat\beta,S)$. L'estimateur du maximum de vraisemblance existe donc, est unique, et vaut \[ \begin{aligned} (\hat\beta_1,\hat\beta_2,\hat\sigma^2) \qquad \text{avec} \qquad \hat\sigma^2 &\eqdef \frac1n\sum_{i=1}^n (Y_i-\hat\beta_1-\hat\beta_2x_i)^2 \\ &= \frac1n\,\|\mathbf{Y}-\mathbf{X}\hat\beta\|^2 = \frac1n\,\|(\Id_n-P)\mathbf{Y}\|^2 \eqsp. \end{aligned} \] Si $S = 0$, la fonction $v \mapsto \loghood(\hat\beta,v)$ tend vers $+\infty$ en $0$ et la vraisemblance n'a pas de maximum. On verra à la question 5 que $S \gt 0$ $\PP_\param$-presque sûrement dès que $n \geq 3$ ; pour $n = 2$, en revanche, $F = \rset^2$, $P = \Id_2$ et $S = 0$ toujours : l'estimateur du maximum de vraisemblance n'est pas défini.

L'estimateur $(\hat\beta_1,\hat\beta_2)$ est l'estimateur des moindres carrés proposé dans l'Exercice 4 (PC1) : dans le modèle gaussien, moindres carrés et maximum de vraisemblance coïncident pour les coefficients de régression (cas général dans les compléments, Exemple). L'estimateur du maximum de vraisemblance de $\sigma^2$ divise la somme des carrés des résidus par $n$, et non par $n-2$.

On a $\hat\beta = A\mathbf{Y}$ avec $A \eqdef (\mathbf{X}^T\mathbf{X})^{-1}\mathbf{X}^T \in \rset^{2\times n}$. Sous $\PP_\param$, $\mathbf{Y} \sim \gauss(\mathbf{X}\beta,\sigma^2\Id_n)$, et l'image d'un vecteur gaussien par une application linéaire est un vecteur gaussien (proposition « transformation affine » du chapitre 1) : \[ \hat\beta \sim \gauss\big(A\mathbf{X}\beta,\ \sigma^2AA^T\big) = \gauss\big(\beta,\ \sigma^2(\mathbf{X}^T\mathbf{X})^{-1}\big) \eqsp, \] puisque $A\mathbf{X} = \Id_2$ et $AA^T = (\mathbf{X}^T\mathbf{X})^{-1}\mathbf{X}^T\mathbf{X}(\mathbf{X}^T\mathbf{X})^{-1} = (\mathbf{X}^T\mathbf{X})^{-1}$. En particulier $\PE_\param[\hat\beta] = \beta$ : l'estimateur est sans biais. Avec l'expression de $(\mathbf{X}^T\mathbf{X})^{-1}$ obtenue à la question 1, \[ \begin{aligned} \operatorname{Var}_\param(\hat\beta_1) &= \frac{\sigma^2\sum_{i=1}^n x_i^2}{n\sum_{i=1}^n (x_i-\bar x)^2} \eqsp, \qquad \operatorname{Var}_\param(\hat\beta_2) = \frac{\sigma^2}{\sum_{i=1}^n (x_i-\bar x)^2} \eqsp, \\ \operatorname{Cov}_\param(\hat\beta_1,\hat\beta_2) &= -\frac{\sigma^2\sum_{i=1}^n x_i}{n\sum_{i=1}^n (x_i-\bar x)^2} = -\frac{\sigma^2\,\bar x}{\sum_{i=1}^n (x_i-\bar x)^2} \eqsp. \end{aligned} \]

Sous $\PP_\param$, $(\hat\beta_1,\hat\beta_2)$ est un vecteur gaussien ; ses deux coordonnées sont indépendantes si et seulement si elles sont décorrélées (proposition « indépendance et décorrélation » du chapitre 1), c'est-à-dire si et seulement si $\operatorname{Cov}_\param(\hat\beta_1,\hat\beta_2) = 0$. D'après la question 3, et puisque $\sigma^2 \gt 0$ et $\sum_i (x_i-\bar x)^2 \gt 0$, cette covariance est nulle si et seulement si $\bar x = n^{-1}\sum_{i=1}^n x_i = 0$. Avec la paramétrisation centrée de la remarque de l'énoncé, l'estimateur de $\tilde\beta_1 = \beta_1 + \beta_2\bar x$ est $\hat\beta_1 + \hat\beta_2\bar x = \bar Y$, et il est indépendant de $\hat\beta_2$.

Sous $\PP_\param$, $\mathbf{Y} \sim \gauss(\mathbf{X}\beta,\sigma^2\Id_n)$, et $\rset^n = F \oplus F^\perp$ est une somme orthogonale de sous-espaces de dimensions $2$ et $n-2$. Le théorème de Cochran du chapitre 1 affirme que $\|P_{F^\perp}(\mathbf{Y}-\mathbf{X}\beta)\|^2/\sigma^2 \sim \chi^2(n-2)$. Or $\mathbf{X}\beta \in F$, donc $P_{F^\perp}(\mathbf{X}\beta) = 0$ et $P_{F^\perp}(\mathbf{Y}-\mathbf{X}\beta) = (\Id_n-P)\mathbf{Y}$. Ainsi \[ \frac{n\hat\sigma^2}{\sigma^2} = \frac{\|(\Id_n-P)\mathbf{Y}\|^2}{\sigma^2} \sim \chi^2(n-2) \eqsp, \] autrement dit $\hat\sigma^2$ a la loi de $\frac{\sigma^2}{n}U$ avec $U \sim \chi^2(n-2) = \gammadist\big(\frac{n-2}{2},\frac12\big)$, c'est-à-dire la loi $\gammadist\big(\frac{n-2}{2},\frac{n}{2\sigma^2}\big)$ (bases de maths du chapitre 1). Comme $\PE[U] = n-2$, on obtient $\PE_\param[\hat\sigma^2] = \frac{n-2}{n}\sigma^2$ : l'estimateur du maximum de vraisemblance de $\sigma^2$ est biaisé, et $\frac{n}{n-2}\hat\sigma^2 = \frac{1}{n-2}\|\mathbf{Y}-\mathbf{X}\hat\beta\|^2$ est sans biais. Enfin, la loi $\chi^2(n-2)$ ayant une densité par rapport à la mesure de Lebesgue dès que $n \geq 3$, $\PP_\param(\hat\sigma^2 = 0) = 0$, ce qui achève la question 2.

Le théorème de Cochran affirme aussi que les projections $P_F\mathbf{Y} = P\mathbf{Y}$ et $P_{F^\perp}\mathbf{Y} = (\Id_n-P)\mathbf{Y}$ sont indépendantes sous $\PP_\param$. Or $\hat\sigma^2 = n^{-1}\|(\Id_n-P)\mathbf{Y}\|^2$ est une fonction mesurable de $(\Id_n-P)\mathbf{Y}$, et $\hat\beta$ une fonction mesurable de $P\mathbf{Y}$, puisque $\mathbf{X}^TP = (P\mathbf{X})^T = \mathbf{X}^T$ donne \[ \hat\beta = (\mathbf{X}^T\mathbf{X})^{-1}\mathbf{X}^T\mathbf{Y} = (\mathbf{X}^T\mathbf{X})^{-1}\mathbf{X}^TP\mathbf{Y} \eqsp. \] Des fonctions mesurables de variables aléatoires indépendantes sont indépendantes : $\hat\sigma^2$ et $(\hat\beta_1,\hat\beta_2)$ sont indépendants. On peut aussi appliquer directement le corollaire « transformations linéaires indépendantes » du chapitre 1 au vecteur centré $\mathbf{Y}-\mathbf{X}\beta \sim \gauss(0,\sigma^2\Id_n)$ et aux projecteurs $P$ et $\Id_n-P$, dont le produit est nul.

Sous $\PP_\param$, la variable aléatoire $n\hat\sigma^2/\sigma^2$ suit la loi $\chi^2(n-2)$ quelle que soit la valeur de $\param$ : c'est la situation décrite après la Définition. Notons $q_{\alpha/2}^{n-2}$ et $q_{1-\alpha/2}^{n-2}$ les quantiles d'ordre $\alpha/2$ et $1-\alpha/2$ de la loi $\chi^2(n-2)$. Cette loi a une densité strictement positive sur $\rset_+^*$, donc une fonction de répartition continue et strictement croissante sur $\rset_+^*$ : ces quantiles sont bien définis, $0 \lt q_{\alpha/2}^{n-2} \lt q_{1-\alpha/2}^{n-2}$, et \[ \PP_\param\Big(q_{\alpha/2}^{n-2} \leq \frac{n\hat\sigma^2}{\sigma^2} \leq q_{1-\alpha/2}^{n-2}\Big) = \Big(1-\frac\alpha2\Big) - \frac\alpha2 = 1-\alpha \eqsp. \] Comme $\sigma^2 \gt 0$ et $\hat\sigma^2 \gt 0$ presque sûrement, l'encadrement se résout par rapport à $\sigma^2$ : \[ \PP_\param\Big(\frac{n\hat\sigma^2}{q_{1-\alpha/2}^{n-2}} \leq \sigma^2 \leq \frac{n\hat\sigma^2}{q_{\alpha/2}^{n-2}}\Big) = 1-\alpha \eqsp. \] L'intervalle aléatoire $\big[n\hat\sigma^2/q_{1-\alpha/2}^{n-2},\ n\hat\sigma^2/q_{\alpha/2}^{n-2}\big]$, dont les bornes sont des statistiques, est donc un intervalle de confiance de niveau $1-\alpha$ pour $\sigma^2$ au sens de la Définition, et son niveau est égal à $1-\alpha$. D'autres choix de quantiles, par exemple $0$ et $q_{1-\alpha}^{n-2}$, donnent d'autres intervalles de même niveau ; leur comparaison est l'objet du chapitre suivant.

Pour tout $x \in \rset$, en séparant les cas $x \in \ccint{0,a}$ et $x \in \ocint{a,b}$, \[ f_\paramcur(x) = \Big(\frac{\paramcur}{a} + \frac{1-\paramcur}{b}\Big)\indi{\ccint{0,a}}(x) + \frac{1-\paramcur}{b}\,\indi{\ocint{a,b}}(x) \eqsp. \] Sous $\PP_\param$, les observations sont dans $\ccint{0,b}$ presque sûrement ; $N_a$ d'entre elles sont dans $\ccint{0,a}$ et les $n - N_a$ autres dans $\ocint{a,b}$. La vraisemblance vaut donc \[ \Lhood(\paramcur) = \prod_{i=1}^n f_\paramcur(X_i) = \Big(\frac{\paramcur}{a} + \frac{1-\paramcur}{b}\Big)^{N_a}\Big(\frac{1-\paramcur}{b}\Big)^{n-N_a} \eqsp, \qquad \paramcur \in \ooint{0,1} \eqsp. \] Elle ne dépend des observations que par la statistique $N_a$.

Sur $\ooint{0,1}$, $\Lhood \gt 0$ et la log-vraisemblance normalisée s'écrit \[ \loghood(\paramcur) = \frac{N_a}{n}\log\Big(\frac{\paramcur}{a} + \frac{1-\paramcur}{b}\Big) + \Big(1-\frac{N_a}{n}\Big)\log\frac{1-\paramcur}{b} \eqsp. \] Comme $\frac{\paramcur}{a} + \frac{1-\paramcur}{b} = \frac{a + \paramcur(b-a)}{ab}$, la fonction $\loghood$ est dérivable sur $\ooint{0,1}$, de dérivée \[ \loghood'(\paramcur) = \frac{N_a}{n}\,\frac{b-a}{a+\paramcur(b-a)} - \frac{n-N_a}{n}\,\frac{1}{1-\paramcur} = \frac{bN_a - na - n\paramcur(b-a)}{n(1-\paramcur)\big(a+\paramcur(b-a)\big)} \eqsp. \] Le dénominateur est strictement positif sur $\ooint{0,1}$. Le numérateur est une fonction affine strictement décroissante de $\paramcur$, qui s'annule en \[ \hat\param_n \eqdef \frac{bN_a - na}{n(b-a)} = \frac{b\,(N_a/n) - a}{b-a} \eqsp. \] Comme $0 \leq N_a/n \leq 1$, on a toujours $\hat\param_n \leq 1$, avec égalité si et seulement si $N_a = n$, et $\hat\param_n \gt 0$ si et seulement si $N_a/n \gt a/b$. Trois cas se présentent.

• Si $0 \lt \hat\param_n \lt 1$, c'est-à-dire si $a/b \lt N_a/n \lt 1$ : $\loghood' \gt 0$ sur $\ooint{0,\hat\param_n}$ et $\loghood' \lt 0$ sur $\ooint{\hat\param_n,1}$. La log-vraisemblance atteint son maximum en $\hat\param_n$ seulement : l'estimateur du maximum de vraisemblance existe, est unique et vaut $\hat\param_n$.
• Si $\hat\param_n \leq 0$, c'est-à-dire si $N_a/n \leq a/b$ : $\loghood' \lt 0$ sur $\ooint{0,1}$, la log-vraisemblance est strictement décroissante, et sa borne supérieure sur l'intervalle ouvert $\ooint{0,1}$, qui est sa limite en $0$, n'est pas atteinte. Il n'y a pas d'estimateur du maximum de vraisemblance dans $\Param = \ooint{0,1}$.
• Si $\hat\param_n = 1$, c'est-à-dire si $N_a = n$ : $\loghood' \gt 0$ sur $\ooint{0,1}$, la log-vraisemblance est strictement croissante et sa borne supérieure n'est pas atteinte. Là encore, il n'y a pas d'estimateur du maximum de vraisemblance.

Les densités $f_0$ et $f_1$ sont celles des lois uniformes sur $\ccint{0,b}$ et sur $\ccint{0,a}$ : le modèle se prolonge sans difficulté à $\ccint{0,1}$, sur lequel $\Lhood$ est continue, et l'étude de signe ci-dessus montre que, sur $\ccint{0,1}$, le maximum de la vraisemblance est atteint en un point unique, $\hat\param_n \vee 0 = \max(\hat\param_n,0)$, qui vaut $1$ lorsque $N_a = n$. C'est l'estimateur retenu par la feuille, \[ \hat\param_n^{(1)} \eqdef \hat\param_n \vee 0 \eqsp, \] estimateur du maximum de vraisemblance du modèle prolongé à $\ccint{0,1}$, qui coïncide avec celui du modèle initial sur l'événement $\{0 \lt \hat\param_n \lt 1\}$. Cet événement est de probabilité tendant vers $1$ : sous $\PP_\param$, $N_a = \sum_{i=1}^n \indiacc{X_i \in \ccint{0,a}}$ est une somme de $n$ variables de Bernoulli indépendantes, de paramètre \[ p_\param \eqdef \PP_\param(X_1 \in \ccint{0,a}) = F_\param(a) = \param + (1-\param)\frac ab \in \ooint{a/b,1} \eqsp, \] donc $N_a \sim \operatorname{Bin}(n,p_\param)$, et la loi faible des grands nombres (Théorème) donne $N_a/n \plim[\PP_\param] p_\param$. Comme $a/b \lt p_\param \lt 1$, il vient $\PP_\param(N_a/n \leq a/b) \to 0$ et $\PP_\param(N_a = n) = p_\param^n \to 0$.

Remarque sur le biais. Comme $\PE_\param[N_a] = np_\param$, \[ \PE_\param[\hat\param_n] = \frac{b\,p_\param - a}{b-a} = \frac{b\param + (1-\param)a - a}{b-a} = \param \eqsp: \] l'estimateur non seuillé $\hat\param_n$ est sans biais. En revanche, $\hat\param_n^{(1)} \geq \hat\param_n$, avec inégalité stricte sur l'événement $\{\hat\param_n \lt 0\}$, qui est de probabilité strictement positive (il contient $\{N_a = 0\}$, de probabilité $(1-p_\param)^n \gt 0$) : $\PE_\param[\hat\param_n^{(1)}] \gt \param$, et le biais de $\hat\param_n^{(1)}$ vaut $\PE_\param[-\hat\param_n\,\indiacc{\hat\param_n\lt 0}] \gt 0$. Il se calcule à partir de la loi binomiale de $N_a$, \[ \PE_\param\big[\hat\param_n^{(1)}\big] = \frac{1}{b-a}\sum_{k \gt na/b}\Big(\frac{bk}{n} - a\Big)\binom nk p_\param^k(1-p_\param)^{n-k} \eqsp, \] et c'est cette formule qui est tracée sur la première figure de l'énoncé (à droite).

Le moment exact associé à $T(x) = x$ vaut \[ \begin{aligned} e(\param) \eqdef \PE_\param[X_1] = \int_\rset x f_\param(x)\,\rmd x &= \param\int_0^a \frac xa\,\rmd x + (1-\param)\int_0^b \frac xb\,\rmd x \\ &= \param\,\frac a2 + (1-\param)\,\frac b2 \eqsp, \end{aligned} \] soit $e(\param) = \frac b2 - \param\,\frac{b-a}{2}$. L'équation des moments $e(\paramcur) = \bar X_n$, où $\bar X_n \eqdef n^{-1}\sum_{i=1}^n X_i$, admet une unique solution réelle, \[ \tilde\param_n \eqdef \frac{b - 2\bar X_n}{b-a} \eqsp, \] qui n'appartient pas nécessairement à $\Param = \ooint{0,1}$ : on a $\tilde\param_n \in \ooint{0,1}$ si et seulement si $a/2 \lt \bar X_n \lt b/2$. Sous $\PP_\param$, les observations sont dans $\ccint{0,b}$, donc $\bar X_n \in \ccint{0,b}$, et rien n'impose $\bar X_n \in \ooint{a/2,b/2}$ à $n$ fixé : par exemple, si toutes les observations sont inférieures à $a/2$, événement de probabilité $F_\param(a/2)^n \gt 0$, alors $\tilde\param_n \geq 1$. L'estimateur des moments au sens de la Définition n'est donc défini que sur l'événement $\{a/2 \lt \bar X_n \lt b/2\}$, où il vaut $\tilde\param_n$. Cet événement est de probabilité tendant vers $1$, puisque $\bar X_n \plim[\PP_\param] e(\param) \in \ooint{a/2,b/2}$ (Proposition). Comme pour le maximum de vraisemblance, on retient l'estimateur seuillé \[ \hat\param_n^{(2)} \eqdef \left\{\begin{array}{ll} 0 & \text{si } \tilde\param_n \leq 0 \eqsp, \\ 1 & \text{si } \tilde\param_n \geq 1 \eqsp, \\ \tilde\param_n & \text{sinon.}\end{array}\right. \] Remarque sur le biais. Comme $\PE_\param[\bar X_n] = e(\param)$, on a $\PE_\param[\tilde\param_n] = (b - 2e(\param))/(b-a) = \param$ : l'estimateur non seuillé $\tilde\param_n$ est sans biais, tandis que $\hat\param_n^{(2)}$ ne l'est pas en général.

On prend $a = 1$ et $b = 3$.

• La figure ci-dessous représente la densité $f_\param$ et la fonction de répartition $F_\param$ pour plusieurs valeurs de $\param$. À $\param$ fixé, la densité est constante par morceaux ; à $x$ fixé, c'est une fonction croissante de $\param$ sur $\ccint{0,a}$ et décroissante sur $\ocint{a,b}$.

  

• On simule $n_{\max} = 200$ réalisations de la loi de mélange de paramètre $\param_{\mathrm{true}} = 0{,}2$. La première figure de l'énoncé (à gauche) représente la vraisemblance calculée à partir des $n = 10$ premières observations, puis des $n = 200$ observations. Sur le jeu de taille $n = 10$, on observe $N_a/n = 0{,}30 \leq a/b$, donc $\hat\param_n = (3\times0{,}30 - 1)/2 = -0{,}05 \lt 0$ : la vraisemblance est décroissante sur $\ooint{0,1}$ et son maximum sur $\ccint{0,1}$ est atteint au bord, en $\param = 0$. Sur le jeu de taille $n = 200$, on observe $N_a/n = 0{,}525$ et $\hat\param_n = (3\times0{,}525 - 1)/2 = 0{,}2875$ : le maximum est atteint à l'intérieur de $\ooint{0,1}$, et l'estimateur diffère de $\param_{\mathrm{true}}$.
• Sur le même jeu de données, la première figure de l'énoncé (au centre) représente la fonction $\paramcur \mapsto e(\paramcur) - \bar X_n = \paramcur\,a/2 + (1-\paramcur)\,b/2 - \bar X_n$ pour $n = 10$ puis $n = 200$ ; cette fonction dépend des observations par $\bar X_n$, elle est donc aléatoire. L'estimateur des moments existe si cette fonction s'annule dans $\ooint{0,1}$. Pour $n = 10$, le zéro est négatif ; pour $n = 200$, l'estimateur existe et est unique, et il diffère lui aussi de $\param_{\mathrm{true}}$.
• La première figure de l'énoncé (à droite) représente le biais $\param \mapsto \PE_\param[\hat\param_n^{(1)}] - \param$, calculé par la formule binomiale de la question 2, pour $n = 10$ et $n = 200$. Il est positif, conformément à la remarque de la question 2, et d'autant plus faible que $n$ est grand.
• On répète enfin l'expérience $N = 5000$ fois : on produit $N$ jeux de données de taille $n = 200$ sous $\param_{\mathrm{true}} = 0{,}2$ et l'on calcule, pour chacun, $\hat\param_n$, $\hat\param_n^{(1)}$, $\tilde\param_n$ et $\hat\param_n^{(2)}$ sur les $n = 10$ premières observations, puis sur les $n = 200$ observations ; la seconde figure de l'énoncé représente les boîtes à moustaches de ces $N$ réalisations indépendantes. Les échelles des ordonnées diffèrent entre les deux graphiques. Les estimateurs seuillés MV-2 et Mom-2 prennent leurs valeurs dans $\ccint{0,1}$. La comparaison de MV-1 et MV-2 d'une part, de Mom-1 et Mom-2 d'autre part, montre que le seuillage intervient fréquemment pour $n = 10$, et que, pour $n = 200$, il n'intervient plus, sur ces $N$ réalisations, que pour l'estimateur des moments.

1. Prenons $\Xset = \rset$, $\mu = \lleb$, $h = \indi{\rset^+}$ et $T(x) = -x$. Pour $\paramnat \in \rset$, $G(\paramnat) = \int_0^{+\infty}\rme^{-\paramnat x}\,\rmd x$ vaut $1/\paramnat$ si $\paramnat \gt 0$ et $+\infty$ sinon : l'espace des paramètres naturels est $\Xi = \ooint{0,+\infty}$, $A(\paramnat) = -\log\paramnat$, et $h(x)\exp(\paramnat T(x) - A(\paramnat)) = \paramnat\rme^{-\paramnat x}\indi{\rset^+}(x) = p_\paramnat(x)$. La famille des lois exponentielles est le modèle exponentiel canonique associé à $(T,h)$.
2. La densité de $\gauss(\paramnat,1)$ s'écrit \[ \frac{1}{\sqrt{2\pi}}\exp\Big(-\frac{(x-\paramnat)^2}{2}\Big) = \frac{1}{\sqrt{2\pi}}\rme^{-x^2/2}\,\exp\Big(\paramnat x - \frac{\paramnat^2}{2}\Big) \eqsp. \] Prenons $\mu = \lleb$, $h(x) = (2\pi)^{-1/2}\rme^{-x^2/2}$ et $T(x) = x$. Pour tout $\paramnat \in \rset$, en écrivant $x^2 - 2\paramnat x = (x-\paramnat)^2 - \paramnat^2$, $G(\paramnat) = (2\pi)^{-1/2}\int_\rset\exp(-(x^2-2\paramnat x)/2)\,\rmd x = \rme^{\paramnat^2/2}$. Ainsi $\Xi = \rset$, $A(\paramnat) = \paramnat^2/2$, et la famille $\setv{\gauss(\paramnat,1)}{\paramnat \in \rset}$ est le modèle exponentiel canonique associé à $(T,h)$.
3. La densité de Weibull s'écrit, pour $x \gt 0$, \[ q_\lambda(x) = \alpha x^{\alpha-1}\,\lambda^{-\alpha}\exp\big(-\lambda^{-\alpha}x^\alpha\big) = h(x)\exp\big(\varphi(\lambda)T(x) - B(\lambda)\big) \] avec $h(x) = \alpha x^{\alpha-1}\indi{\ooint{0,+\infty}}(x)$, $T(x) = -x^\alpha$, $\varphi(\lambda) = \lambda^{-\alpha}$ et $B(\lambda) = \alpha\log\lambda$. C'est une famille exponentielle au sens général : le paramètre $\lambda$ n'intervient que par $\varphi(\lambda) = \lambda^{-\alpha}$, et le modèle n'est pas canonique en $\lambda$, sauf si $\alpha = 1$, où l'on retrouve les lois exponentielles. Le modèle canonique associé est obtenu par la reparamétrisation $\paramnat = \lambda^{-\alpha}$ : le changement de variable $u = x^\alpha$ donne $G(\paramnat) = \int_0^{+\infty}\alpha x^{\alpha-1}\rme^{-\paramnat x^\alpha}\,\rmd x = \int_0^{+\infty}\rme^{-\paramnat u}\,\rmd u$, qui vaut $1/\paramnat$ si $\paramnat \gt 0$ et $+\infty$ sinon : $\Xi = \ooint{0,+\infty}$ et $A(\paramnat) = -\log\paramnat$.
4. La loi de Poisson de paramètre $\param \gt 0$ a pour densité, par rapport à la mesure de comptage $\mu$ sur $\nset$, \[ p_\param(k) = \rme^{-\param}\frac{\param^k}{k!} = \frac{1}{k!}\exp\big(k\log\param - \param\big) \eqsp, \qquad k \in \nset \eqsp, \] ce qui est la forme $h(k)\exp(\varphi(\param)T(k) - B(\param))$ avec $h(k) = 1/k!$, $T(k) = k$, $\varphi(\param) = \log\param$, $B(\param) = \param$ et $\Param = \ooint{0,+\infty}$. Le modèle canonique associé s'obtient en posant $\paramnat = \log\param \in \rset$ : pour tout $\paramnat \in \rset$, $G(\paramnat) = \sum_{k\in\nset}\rme^{\paramnat k}/k! = \exp(\rme^{\paramnat}) \lt \infty$, donc $\Xi = \rset$, $A(\paramnat) = \rme^{\paramnat} = B(\rme^{\paramnat})$, et $q_\paramnat(k) = \frac{1}{k!}\exp(\paramnat k - \rme^{\paramnat})$.
5. Pour $k \in \{0,\dots,n\}$, \[ p_\param(k) = \binom nk\param^k(1-\param)^{n-k} = \binom nk\exp\Big(k\log\frac{\param}{1-\param} + n\log(1-\param)\Big) \eqsp, \] ce qui est la forme annoncée avec $h(k) = \binom nk$, $T(k) = k$, $\varphi(\param) = \log(\param/(1-\param))$, $B(\param) = -n\log(1-\param)$, $\Param = \ooint{0,1}$, et $\mu$ la mesure de comptage sur $\{0,\dots,n\}$. Le modèle canonique associé s'obtient en posant $\paramnat = \log(\param/(1-\param)) \in \rset$, c'est-à-dire $\param = \rme^{\paramnat}/(1+\rme^{\paramnat})$ : pour tout $\paramnat \in \rset$, $G(\paramnat) = \sum_{k=0}^n\binom nk\rme^{\paramnat k} = (1+\rme^{\paramnat})^n \lt \infty$, donc $\Xi = \rset$ et $A(\paramnat) = n\log(1+\rme^{\paramnat}) = B\big(\rme^{\paramnat}/(1+\rme^{\paramnat})\big)$.

1. Si l'on peut dériver deux fois sous le signe intégral, $G'(\paramnat) = \int hT\rme^{\paramnat T}\,\rmd\mu$ et $G''(\paramnat) = \int hT^2\rme^{\paramnat T}\,\rmd\mu$, de sorte que, $q_\paramnat$ étant égale à $h\rme^{\paramnat T}/G(\paramnat)$, \[ \begin{aligned} A'(\paramnat) &= \frac{G'(\paramnat)}{G(\paramnat)} = \int Tq_\paramnat\,\rmd\mu = \PE_\paramnat[T(X)] \eqsp, \\ A''(\paramnat) &= \frac{G''(\paramnat)}{G(\paramnat)} - \Big(\frac{G'(\paramnat)}{G(\paramnat)}\Big)^2 = \PE_\paramnat[T(X)^2] - \PE_\paramnat[T(X)]^2 = \operatorname{Var}_\paramnat(T(X)) \eqsp. \end{aligned} \] La question (c) justifie ces dérivations sous l'intégrale lorsque $\Xi$ est un intervalle ouvert.
2. Si $\Xi$ est vide, il n'y a rien à démontrer. Sinon, soit $\paramnat_0 \in \Xi$ : $0 \lt G(\paramnat_0) \lt \infty$, ce qui impose $\mu(\{h \gt 0\}) \gt 0$. Pour tout $\paramnat \in \rset$, la fonction $h\rme^{\paramnat T}$ est alors strictement positive sur l'ensemble $\{h \gt 0\}$, de mesure strictement positive, donc $G(\paramnat) \gt 0$ et $A(\paramnat) \gt -\infty$ : ainsi $\Xi = \set{\paramnat \in \rset}{A(\paramnat) \lt +\infty}$. Soient $\paramnat_1,\paramnat_2 \in \Xi$ et $\lambda \in \ooint{0,1}$. L'inégalité de Hölder, pour les exposants conjugués $1/\lambda$ et $1/(1-\lambda)$, appliquée aux fonctions positives $(h\rme^{\paramnat_1T})^\lambda$ et $(h\rme^{\paramnat_2T})^{1-\lambda}$, donne \[ \begin{aligned} G(\lambda\paramnat_1 + (1-\lambda)\paramnat_2) &= \int\big(h\rme^{\paramnat_1T}\big)^\lambda\big(h\rme^{\paramnat_2T}\big)^{1-\lambda}\,\rmd\mu \\ &\leq \Big(\int h\rme^{\paramnat_1T}\,\rmd\mu\Big)^\lambda\Big(\int h\rme^{\paramnat_2T}\,\rmd\mu\Big)^{1-\lambda} \\ &= G(\paramnat_1)^\lambda\,G(\paramnat_2)^{1-\lambda} \lt \infty \eqsp, \end{aligned} \] soit, en passant au logarithme, $A(\lambda\paramnat_1 + (1-\lambda)\paramnat_2) \leq \lambda A(\paramnat_1) + (1-\lambda)A(\paramnat_2) \lt +\infty$. Ainsi $\lambda\paramnat_1 + (1-\lambda)\paramnat_2 \in \Xi$, ce qui montre que $\Xi$ est convexe, et l'inégalité obtenue est la convexité de $A$ sur $\Xi$.
3. Soit $\paramnat \in \Xi$. Comme $\Xi$ est ouvert, il existe $\epsilon \gt 0$ tel que $\paramnat \pm \epsilon \in \Xi$. De $\rme^{\epsilon|T|} \leq \rme^{\epsilon T} + \rme^{-\epsilon T}$, on tire \[ \int h\,\rme^{\epsilon|T|}\rme^{\paramnat T}\,\rmd\mu \leq G(\paramnat+\epsilon) + G(\paramnat-\epsilon) \lt \infty \eqsp. \tag{3} \] Pour tout entier $m \geq 0$, la constante $C_m \eqdef \sup_{u \geq 0}u^m\rme^{-\epsilon u/2}$ est finie et $|T|^m\rme^{\epsilon|T|/2} \leq C_m\rme^{\epsilon|T|}$ ; avec (3), il vient \[ \int h\,|T|^m\rme^{\epsilon|T|/2}\rme^{\paramnat T}\,\rmd\mu \lt \infty \eqsp, \qquad m \in \nset \eqsp. \tag{4} \] En particulier, $h|T|^m\rme^{\paramnat T}$ est $\mu$-intégrable pour tout $m \in \nset$ et tout $\paramnat \in \Xi$, et l'on peut poser $G_m(\paramnat) \eqdef \int hT^m\rme^{\paramnat T}\,\rmd\mu$, avec $G_0 = G$. Montrons que $G_m$ est dérivable sur $\Xi$, de dérivée $G_{m+1}$. Pour $\paramnat \in \Xi$, $\epsilon$ comme ci-dessus et $0 \lt |s| \leq \epsilon/2$, \[ \frac{G_m(\paramnat+s) - G_m(\paramnat)}{s} = \int h\,T^m\rme^{\paramnat T}\,\frac{\rme^{sT}-1}{s}\,\rmd\mu \eqsp. \] Quand $s \to 0$, l'intégrande converge en tout point vers $hT^{m+1}\rme^{\paramnat T}$. L'inégalité des accroissements finis appliquée à $u \mapsto \rme^u$ entre $0$ et $sT(x)$ donne $|\rme^{sT(x)} - 1| \leq |s|\,|T(x)|\,\rme^{|s|\,|T(x)|}$, donc \[ \Big|h\,T^m\rme^{\paramnat T}\,\frac{\rme^{sT}-1}{s}\Big| \leq h\,|T|^{m+1}\rme^{\epsilon|T|/2}\rme^{\paramnat T} \eqsp, \] fonction $\mu$-intégrable d'après (4) et indépendante de $s$. Le théorème de convergence dominée, appliqué le long de toute suite $s_j \to 0$, donne $G_m'(\paramnat) = G_{m+1}(\paramnat)$. Par récurrence sur $k$, $G$ est infiniment dérivable sur $\Xi$ et $G^{(k)} = G_k$, ce qui est la formule demandée. Comme $G \gt 0$ sur $\Xi$, la fonction $A = \log G$ est elle aussi infiniment dérivable sur $\Xi$, et les formules de la question (a) sont établies : $A' = G'/G$ et $A'' = G''/G - (G'/G)^2$.
4. 1. Le moment exact associé à $T$ est $e(\paramnat) = \PE_\paramnat[T(X_1)] = \int Tq_\paramnat\,\rmd\mu = G'(\paramnat)/G(\paramnat) = A'(\paramnat)$, bien défini d'après (4). L'estimateur des moments associé à $T$ est donc la solution $\paramnat \in \Xi$, lorsqu'elle existe et est unique, de l'équation \[ A'(\paramnat) = \bar T_n \eqsp, \qquad \bar T_n \eqdef \frac1n\sum_{k=1}^n T(X_k) \eqsp. \]
   2. Sous $q_\paramnat\cdot\mu$, les variables $X_1,\dots,X_n$ sont i.i.d. de densité $q_\paramnat$ ; la densité du $n$-échantillon par rapport à $\mu^{\otimes n}$ est \[ (x_1,\dots,x_n) \mapsto \Big(\prod_{k=1}^n h(x_k)\Big)\exp\Big(\paramnat\sum_{k=1}^n T(x_k) - nA(\paramnat)\Big) \eqsp, \] et la log-vraisemblance normalisée s'écrit, sur $\Xi$, \[ \loghood(\paramnat) = \frac1n\sum_{k=1}^n\log h(X_k) + \paramnat\,\bar T_n - A(\paramnat) \eqsp, \] où $\log h(X_k)$ est fini presque sûrement, puisque $\PP_\paramnat(h(X_1) = 0) = \int_{\{h=0\}}q_\paramnat\,\rmd\mu = 0$. D'après la question (c), $\loghood$ est infiniment dérivable sur $\Xi$, avec $\loghood'(\paramnat) = \bar T_n - A'(\paramnat)$ et $\loghood''(\paramnat) = -A''(\paramnat) = -\operatorname{Var}_\paramnat(T(X_1)) \leq 0$. Cette variance est nulle si et seulement si $T$ est constante $q_\paramnat\cdot\mu$-presque sûrement, c'est-à-dire $\mu$-presque partout sur $\{h \gt 0\}$, propriété qui ne dépend pas de $\paramnat$ ; dans ce cas dégénéré, $A$ est affine, $q_\paramnat$ ne dépend pas de $\paramnat$, le modèle n'est pas identifiable et tout point de $\Xi$ maximise la vraisemblance. Supposons donc $\operatorname{Var}_\paramnat(T(X_1)) \gt 0$ pour un, donc pour tout, $\paramnat \in \Xi$. Alors $\loghood'' \lt 0$ : la log-vraisemblance est strictement concave sur l'intervalle ouvert $\Xi$, et $A'$ est continue et strictement croissante. D'après le Lemme, l'équation de vraisemblance $A'(\paramnat) = \bar T_n$ a au plus une solution, et cette solution, lorsqu'elle existe, est l'unique estimateur du maximum de vraisemblance ; elle existe si et seulement si $\bar T_n$ appartient à l'intervalle ouvert $A'(\Xi)$, et, dans le cas contraire, la log-vraisemblance n'a pas de maximum sur $\Xi$, un maximum intérieur étant nécessairement un point critique. On remarque que l'équation de vraisemblance est l'équation des moments de la question précédente : dans un modèle exponentiel canonique, l'estimateur du maximum de vraisemblance et l'estimateur des moments associé à la statistique $T$ existent simultanément et coïncident. C'est ce que l'on a observé pour les modèles de Bernoulli (Exemple), de Poisson (Exemple) et gaussien (Exemple).

Dans le modèle exponentiel général, la normalisation $\int p_\param\,\rmd\mu = 1$ impose $\rme^{B(\param)} = \int h\rme^{\varphi(\param)T}\,\rmd\mu = G(\varphi(\param))$, c'est-à-dire $B = A\circ\varphi$ sur $\Param$. Puisque $\varphi$ est un difféomorphisme de $\Param$ sur $\Xi$, elle est dérivable, de dérivée ne s'annulant pas, et $B$ est dérivable avec $B' = (A'\circ\varphi)\,\varphi'$. Sous $p_\param\cdot\mu$, la densité du $n$-échantillon par rapport à $\mu^{\otimes n}$ est $\big(\prod_{k=1}^n h(x_k)\big)\exp\big(\varphi(\param)\sum_{k=1}^n T(x_k) - nB(\param)\big)$, et la log-vraisemblance normalisée vaut \[ \tilde\loghood(\param) = \frac1n\sum_{k=1}^n\log h(X_k) + \varphi(\param)\,\bar T_n - B(\param) = \loghood(\varphi(\param)) \eqsp, \] où $\loghood$ est la log-vraisemblance du modèle canonique de la question 2(d). L'équation de vraisemblance $\tilde\loghood'(\param) = \varphi'(\param)\bar T_n - B'(\param) = 0$ s'écrit, en divisant par $\varphi'(\param) \neq 0$, \[ \frac{B'(\param)}{\varphi'(\param)} = \bar T_n \qquad \text{soit} \qquad A'(\varphi(\param)) = \bar T_n \eqsp. \] Sa solution est donc $\hat\param_n = \varphi^{-1}(\hat\paramnat_n)$, où $\hat\paramnat_n$ est la solution dans $\Xi$ de l'équation $A'(\paramnat) = \bar T_n$ : l'existence et l'unicité de $\hat\param_n$ équivalent à celles de $\hat\paramnat_n$. Comme $\tilde\loghood = \loghood\circ\varphi$ avec $\varphi$ bijective, les points de maximum de $\tilde\loghood$ sont les images réciproques par $\varphi$ de ceux de $\loghood$ : c'est l'invariance de l'estimateur du maximum de vraisemblance par reparamétrisation (Proposition). Pour la loi de Poisson, $A'(\paramnat) = \rme^{\paramnat}$ et l'on retrouve $\hat\param_n = \rme^{\hat\paramnat_n} = \bar X_n$ (Exemple) ; pour la loi binomiale à $m$ essais (le nombre noté $n$ à la question 1(e)), $A'(\paramnat) = m\rme^{\paramnat}/(1+\rme^{\paramnat})$ et $\hat\param_n = \bar X_n/m$.

Si $X \sim \mathcal{E}(\lambda)$, alors, pour tout $x \gt 0$, $\PP(X \gt x) = \int_x^{+\infty}\lambda\rme^{-\lambda t}\,\rmd t = \rme^{-\lambda x}$. Réciproquement, supposons $\PP(X \gt x) = \rme^{-\lambda x}$ pour tout $x \gt 0$. La fonction de répartition $F_X$ de $X$ vérifie alors $F_X(x) = 1 - \rme^{-\lambda x}$ pour $x \gt 0$ ; par continuité à droite, $F_X(0) = \lim_{x\downarrow0}F_X(x) = 0$, et, $F_X$ étant croissante et positive, $F_X(x) = 0$ pour tout $x \leq 0$. Ainsi $F_X$ coïncide sur $\rset$ avec la fonction de répartition de la loi $\mathcal{E}(\lambda)$ ; la fonction de répartition caractérisant la loi, $X \sim \mathcal{E}(\lambda)$.

Le système fonctionne tant que les deux machines fonctionnent : sa durée de vie est $Z = X_0 \wedge X_1 = \min(X_0,X_1)$. Pour $t \gt 0$, par indépendance et d'après la question 1, \[ \PP_\param(Z \gt t) = \PP_\param(X_0 \gt t,\ X_1 \gt t) = \PP_\param(X_0 \gt t)\,\PP_\param(X_1 \gt t) = \rme^{-(\lambda_0+\lambda_1)t} \eqsp, \] et la question 1 donne $Z \sim \mathcal{E}(\lambda_0+\lambda_1)$ sous $\PP_\param$. Le couple $(X_0,X_1)$ a une densité par rapport à $\lleb^{\otimes 2}$ et la diagonale $\{x_0 = x_1\}$ est de mesure de Lebesgue nulle dans $\rset^2$ : $\PP_\param(X_0 = X_1) = 0$, et la panne est presque sûrement due à une seule machine. Elle est due à la machine $1$ sur l'événement $\{X_1 \lt X_0\}$, de probabilité \[ \begin{aligned} \PP_\param(X_1 \lt X_0) &= \int_0^{+\infty}\lambda_1\rme^{-\lambda_1x_1}\Big(\int_{x_1}^{+\infty}\lambda_0\rme^{-\lambda_0x_0}\,\rmd x_0\Big)\rmd x_1 \\ &= \int_0^{+\infty}\lambda_1\rme^{-(\lambda_0+\lambda_1)x_1}\,\rmd x_1 = \frac{\lambda_1}{\lambda_0+\lambda_1} \eqsp, \end{aligned} \] par le théorème de Fubini appliqué à la densité produit.

Posons $I = \indiacc{X_1 \lt X_0}$. Pour $t \geq 0$, le même calcul donne \[ \begin{aligned} \PP_\param(Z \gt t,\ I = 1) = \PP_\param(t \lt X_1 \lt X_0) &= \int_t^{+\infty}\lambda_1\rme^{-\lambda_1x_1}\rme^{-\lambda_0x_1}\,\rmd x_1 \\ &= \frac{\lambda_1}{\lambda_0+\lambda_1}\,\rme^{-(\lambda_0+\lambda_1)t} = \PP_\param(I = 1)\,\PP_\param(Z \gt t) \eqsp, \end{aligned} \] et, en échangeant les rôles des deux machines, $\PP_\param(Z \gt t,\ I = 0) = \PP_\param(t \lt X_0 \lt X_1) = \frac{\lambda_0}{\lambda_0+\lambda_1}\rme^{-(\lambda_0+\lambda_1)t} = \PP_\param(I = 0)\,\PP_\param(Z \gt t)$. Par passage au complémentaire, $\PP_\param(Z \leq t,\ I = \delta) = \PP_\param(I = \delta) - \PP_\param(Z \gt t,\ I = \delta) = \PP_\param(I = \delta)\,\PP_\param(Z \leq t)$ pour tout $t \geq 0$ et tout $\delta \in \{0,1\}$, et cette égalité est immédiate pour $t \lt 0$, les deux membres étant nuls. Les classes $\setv{\{Z \leq t\}}{t \in \rset}$ et $\{\{I = 0\},\{I = 1\}\}$ sont stables par intersection finie et engendrent respectivement $\sigma(Z)$ et $\sigma(I)$ ; l'indépendance de deux classes stables par intersection s'étend aux tribus qu'elles engendrent (lemme de classe monotone) : $Z$ et $I$ sont indépendantes sous $\PP_\param$.

1. Les durées de vie $Z_1,\dots,Z_n$ des $n$ systèmes sont indépendantes et de même loi $\mathcal{E}(\lambda_0+\lambda_1)$ sous $\PP_\param$ : l'observation est un $n$-échantillon du modèle $\big(\rset_+,\borel(\rset_+),\setv{\mathcal{E}(\lambda_0+\lambda_1)}{\param \in \Param}\big)$, c'est-à-dire le modèle \[ \Big(\rset_+^n,\ \borel(\rset_+^n),\ \setv{\mathcal{E}(\lambda_0+\lambda_1)^{\otimes n}}{\param = (\lambda_0,\lambda_1) \in (\rset_+^*)^2}\Big) \eqsp, \] dominé par $\lleb^{\otimes n}$, de densité $(z_1,\dots,z_n) \mapsto \prod_{i=1}^n(\lambda_0+\lambda_1)\rme^{-(\lambda_0+\lambda_1)z_i}\indi{\rset_+}(z_i)$. La loi des observations ne dépend de $\param$ que par la somme $\lambda_0+\lambda_1$ : pour $0 \lt \tau \lt \lambda_1$, les paramètres $(\lambda_0,\lambda_1)$ et $(\lambda_0+\tau,\lambda_1-\tau)$ sont distincts et définissent la même loi. Le modèle n'est pas identifiable (définition du chapitre 1) ; seule la somme $\lambda_0+\lambda_1$ l'est.
2. On observe maintenant les couples $(Z_1,I_1),\dots,(Z_n,I_n)$, indépendants et de même loi que $(Z,I)$. Déterminons cette loi. Pour $A \in \borel(\rset_+)$ et $\delta \in \{0,1\}$, par indépendance de $Z$ et $I$ (question 3), et en notant $\lambda_\delta$ le paramètre de la machine $\delta$, \[ \begin{aligned} \PP_\param(Z \in A,\ I = \delta) &= \PP_\param(Z \in A)\,\PP_\param(I = \delta) \\ &= \int_A(\lambda_0+\lambda_1)\rme^{-(\lambda_0+\lambda_1)z}\,\rmd z\times\frac{\lambda_\delta}{\lambda_0+\lambda_1} = \int_A\lambda_\delta\,\rme^{-(\lambda_0+\lambda_1)z}\,\rmd z \eqsp. \end{aligned} \] La loi de $(Z,I)$ sur $\rset_+\times\{0,1\}$ admet donc, par rapport à la mesure $\mu \eqdef \lleb\otimes\nu$, où $\nu$ est la mesure de comptage sur $\{0,1\}$, la densité \[ q_\param(z,\delta) = \lambda_\delta\,\rme^{-(\lambda_0+\lambda_1)z}\indi{\rset_+}(z) \eqsp, \qquad (z,\delta) \in \rset_+\times\{0,1\} \eqsp. \] L'observation est un $n$-échantillon du modèle \[ \big(\rset_+\times\{0,1\},\ \borel(\rset_+)\otimes\mathcal{P}(\{0,1\}),\ \setv{q_\param\cdot\mu}{\param \in \Param}\big) \eqsp, \] c'est-à-dire le modèle \[ \Big((\rset_+\times\{0,1\})^n,\ \big(\borel(\rset_+)\otimes\mathcal{P}(\{0,1\})\big)^{\otimes n},\ \setv{(q_\param\cdot\mu)^{\otimes n}}{\param \in \Param}\Big) \eqsp. \] Ce modèle est identifiable : si $\param = (\lambda_0,\lambda_1)$ et $\param' = (\lambda_0',\lambda_1')$ définissent la même loi des observations, ils définissent la même loi de $(Z_1,I_1)$, donc la même loi de $I_1$ et la même loi de $Z_1$, soit \[ \frac{\lambda_1}{\lambda_0+\lambda_1} = \frac{\lambda_1'}{\lambda_0'+\lambda_1'} \qquad \text{et} \qquad \mathcal{E}(\lambda_0+\lambda_1) = \mathcal{E}(\lambda_0'+\lambda_1') \eqsp, \] la seconde égalité entraînant $\lambda_0+\lambda_1 = \lambda_0'+\lambda_1'$, puisque la loi $\mathcal{E}(\lambda)$ a pour espérance $1/\lambda$. On en déduit $\lambda_1 = \lambda_1'$, puis $\lambda_0 = \lambda_0'$ : $\param = \param'$. L'observation supplémentaire de la cause de chaque panne rend le modèle identifiable.

Notons $N_\delta \eqdef \sum_{i=1}^n\indiacc{I_i = \delta}$ le nombre de pannes dues à la machine $\delta$, avec $N_0 + N_1 = n$, et $\bar Z_n \eqdef n^{-1}\sum_{i=1}^n Z_i$, qui est strictement positive presque sûrement. Pour $\paramcur = (l_0,l_1) \in \Param$, la vraisemblance et la log-vraisemblance normalisée du second modèle s'écrivent \[ \begin{aligned} \Lhood(\paramcur) &= \prod_{i=1}^n l_{I_i}\,\rme^{-(l_0+l_1)Z_i} = l_0^{N_0}\,l_1^{N_1}\,\rme^{-(l_0+l_1)n\bar Z_n} \eqsp, \\ \loghood(\paramcur) &= \frac{N_0}{n}\log l_0 + \frac{N_1}{n}\log l_1 - (l_0+l_1)\bar Z_n \eqsp. \end{aligned} \] La log-vraisemblance est la somme de deux fonctions d'une seule variable, $l_\delta \mapsto \frac{N_\delta}{n}\log l_\delta - l_\delta\bar Z_n$. Si $N_\delta \gt 0$, cette fonction est strictement concave sur $\rset_+^*$, de dérivée $N_\delta/(nl_\delta) - \bar Z_n$, nulle en $l_\delta = N_\delta/(n\bar Z_n)$ seulement, qui est donc son unique point de maximum (Lemme). Si $N_\delta = 0$, elle se réduit à $l_\delta \mapsto -l_\delta\bar Z_n$, strictement décroissante, et n'a pas de maximum sur $\rset_+^*$. Ainsi, sur l'événement $\{N_0 \gt 0,\ N_1 \gt 0\}$, dont la probabilité tend vers $1$ puisque $\PP_\param(N_\delta = 0) = (1 - \PP_\param(I = \delta))^n \to 0$, l'estimateur du maximum de vraisemblance existe, est unique, et vaut \[ \hat\lambda_\delta = \frac{N_\delta}{\sum_{i=1}^n Z_i} \eqsp, \qquad \delta \in \{0,1\} \eqsp: \] le nombre de pannes imputables à la machine $\delta$, rapporté à la durée totale de fonctionnement observée.

Fixons $\param = (\phi,\sigma^2) \in \Param$. Montrons que, sous $\PP_\param$, la loi de $Z = (X_1,\dots,X_n)$ admet, par rapport à $\lleb^{\otimes n}$, la densité, avec la convention $x_0 \eqdef 0$, \[ p_\param(x_1,\dots,x_n) \eqdef \prod_{k=1}^n g_{\sigma^2}(x_k - \phi x_{k-1}) = \frac{1}{(2\pi\sigma^2)^{n/2}}\exp\Big(-\frac{1}{2\sigma^2}\sum_{k=1}^n(x_k-\phi x_{k-1})^2\Big) \eqsp. \tag{5} \] Méthode de la fonction muette (bases de maths du chapitre 1). Soient $f_1,\dots,f_n : \rset \to \rset$ mesurables bornées. La loi conditionnelle de $X_n$ sachant $(X_1,\dots,X_{n-1})$ étant $\gauss(\phi X_{n-1},\sigma^2)$, on a $\PE_\param[f_n(X_n)\,|\,X_1,\dots,X_{n-1}] = \int_\rset f_n(x_n)\,g_{\sigma^2}(x_n - \phi X_{n-1})\,\rmd x_n$ presque sûrement, et cette quantité est une fonction mesurable bornée $\tilde f_{n-1}(X_{n-1})$ de $X_{n-1}$. Par la propriété de conditionnement successif, \[ \begin{aligned} \PE_\param\Big[\prod_{k=1}^n f_k(X_k)\Big] &= \PE_\param\Big[\prod_{k=1}^{n-1}f_k(X_k)\,\PE_\param\big[f_n(X_n)\,|\,X_1,\dots,X_{n-1}\big]\Big] \\ &= \PE_\param\Big[\prod_{k=1}^{n-2}f_k(X_k)\,\big(f_{n-1}\tilde f_{n-1}\big)(X_{n-1})\Big] \eqsp, \end{aligned} \] expression de la même forme avec $n-1$ facteurs. En répétant l'opération, et puisque $X_1 \sim \gauss(\phi X_0,\sigma^2) = \gauss(0,\sigma^2)$, on obtient \[ \begin{aligned} \PE_\param\Big[\prod_{k=1}^n f_k(X_k)\Big] &= \int_{\rset^n}\prod_{k=1}^n f_k(x_k)\,\prod_{k=1}^n g_{\sigma^2}(x_k - \phi x_{k-1})\,\rmd x_1\cdots\rmd x_n \\ &= \int_{\rset^n}\prod_{k=1}^n f_k(x_k)\,p_\param(x)\,\rmd x \eqsp. \end{aligned} \] Appliquée à $f_k = \indi{A_k}$, $A_k \in \borel(\rset)$, cette égalité donne $\PP_\param(Z \in A_1\times\cdots\times A_n) = \int_{A_1\times\cdots\times A_n}p_\param\,\rmd\lleb^{\otimes n}$ ; avec $A_k = \rset$ pour tout $k$, elle montre que $p_\param$, positive, est d'intégrale $1$. La loi de $Z$ et la probabilité $p_\param\cdot\lleb^{\otimes n}$ coïncident donc sur la classe des pavés mesurables, stable par intersection finie et engendrant $\borel(\rset^n)$ : elles sont égales (lemme de classe monotone). Le modèle engendré par l'observation $Z$ est \[ \Big(\rset^n,\ \borel(\rset^n),\ \setv{p_\param\cdot\lleb^{\otimes n}}{\param = (\phi,\sigma^2) \in \rset\times\rset_+^*}\Big) \eqsp. \] Lecture matricielle. Notons $M \eqdef \Id_n - \phi J$, où $J$ est la matrice de décalage, $(Jx)_k = x_{k-1}$ avec $x_0 = 0$ : $M$ est triangulaire inférieure, avec des $1$ sur la diagonale et $-\phi$ sur la sous-diagonale, et $(Mx)_k = x_k - \phi x_{k-1}$. Ainsi $\sum_{k=1}^n(x_k - \phi x_{k-1})^2 = \|Mx\|^2 = x^TM^TMx$, avec \[ M^TM = \begin{bmatrix} 1+\phi^2 & -\phi & 0 & \cdots & 0 \\ -\phi & 1+\phi^2 & -\phi & \ddots & \vdots \\ 0 & -\phi & \ddots & \ddots & 0 \\ \vdots & \ddots & \ddots & 1+\phi^2 & -\phi \\ 0 & \cdots & 0 & -\phi & 1 \end{bmatrix} \eqsp. \] Comme $\det M = 1$, la matrice $\Sigma \eqdef (M^TM)^{-1} = M^{-1}(M^{-1})^T$ est symétrique définie positive, de déterminant $1$, et $p_\param(x) = (2\pi\sigma^2)^{-n/2}\exp(-x^T(\sigma^2\Sigma)^{-1}x/2)$ est la densité de la loi $\gauss(0,\sigma^2\Sigma)$ (proposition « densité d'un vecteur gaussien » du chapitre 1) : sous $\PP_\param$, $Z$ est un vecteur gaussien centré, de matrice de covariance $\sigma^2\Sigma$. La matrice $A \eqdef M^{-1}$ se calcule explicitement : $J$ est nilpotente ($J^n = 0$), donc $A = (\Id_n - \phi J)^{-1} = \sum_{j=0}^{n-1}\phi^jJ^j$, matrice triangulaire inférieure de coefficients $A_{kj} = \phi^{k-j}$ pour $k \geq j$.

Seconde lecture : représentation par un bruit gaussien. Soient $\xi_1,\dots,\xi_n$ i.i.d. de loi $\gauss(0,1)$, et définissons par récurrence $X_0 = 0$ et $X_k = \phi X_{k-1} + \sigma\xi_k$ pour $k \geq 1$. Comme $(X_1,\dots,X_{k-1})$ est une fonction de $(\xi_1,\dots,\xi_{k-1})$, indépendante de $\xi_k$, la loi conditionnelle de $X_k$ sachant $(X_1,\dots,X_{k-1})$ est $\gauss(\phi X_{k-1},\sigma^2)$ : cette récurrence réalise le modèle. En itérant, $X_k = \sigma\sum_{j=1}^k\phi^{k-j}\xi_j$, soit $Z = \sigma A\,\xi$ avec $\xi = (\xi_1,\dots,\xi_n)^T \sim \gauss(0,\Id_n)$, et la proposition « transformation affine » du chapitre 1 redonne $Z \sim \gauss(0,\sigma^2AA^T) = \gauss(0,\sigma^2\Sigma)$.

Pour $\paramcur = (a,v) \in \Param$, la log-vraisemblance normalisée s'écrit, d'après (5), \[ \begin{aligned} \loghood(\paramcur) &= -\frac12\log(2\pi v) - \frac{1}{2nv}\,Q(a) \eqsp, \\ Q(a) &\eqdef \sum_{k=1}^n(X_k - aX_{k-1})^2 = \sum_{k=1}^nX_k^2 - 2a\sum_{k=1}^nX_kX_{k-1} + a^2\sum_{k=1}^nX_{k-1}^2 \eqsp. \end{aligned} \] On procède comme à l'exercice 1. Posons $D \eqdef \sum_{k=1}^nX_{k-1}^2 = \sum_{k=1}^{n-1}X_k^2$. Comme $X_1 \sim \gauss(0,\sigma^2)$ a une densité, $X_1 \neq 0$ presque sûrement, et $D \gt 0$ presque sûrement dès que $n \geq 2$. Sur cet événement, à $v$ fixé, maximiser $\loghood$ en $a$ revient à minimiser le trinôme $Q$, de coefficient dominant $D \gt 0$, dont l'unique minimum est atteint en \[ \hat\phi_n \eqdef \frac{\sum_{k=1}^nX_kX_{k-1}}{\sum_{k=1}^nX_{k-1}^2} = \frac{\sum_{k=2}^nX_kX_{k-1}}{\sum_{k=1}^{n-1}X_k^2} \eqsp. \] Posons $S \eqdef Q(\hat\phi_n)/n$. On a $Q(\hat\phi_n) = 0$ si et seulement si $X_k = \hat\phi_nX_{k-1}$ pour tout $k$, ce qui impose $X_1 = \hat\phi_nX_0 = 0$ : $S \gt 0$ presque sûrement. La fonction $v \mapsto \loghood(\hat\phi_n,v) = -\frac12\log(2\pi v) - S/(2v)$ a pour dérivée $(S-v)/(2v^2)$, strictement positive pour $v \lt S$ et strictement négative pour $v \gt S$ : elle atteint son maximum en $v = S$ seulement. Pour tout $(a,v) \in \Param$, $\loghood(a,v) \leq \loghood(\hat\phi_n,v) \leq \loghood(\hat\phi_n,S)$, avec égalité si et seulement si $(a,v) = (\hat\phi_n,S)$. Presque sûrement, l'estimateur du maximum de vraisemblance existe donc, est unique, et vaut \[ \big(\hat\phi_n,\hat\sigma_n^2\big) \qquad \text{avec} \qquad \hat\sigma_n^2 \eqdef \frac1n\sum_{k=1}^n\big(X_k - \hat\phi_nX_{k-1}\big)^2 \eqsp. \] L'estimateur $\hat\phi_n$ est le coefficient des moindres carrés de la régression, sans terme constant, de $X_k$ sur $X_{k-1}$ : c'est la formule de l'exercice 1, dans laquelle la variable explicative $x_i$ est remplacée par l'observation précédente $X_{k-1}$, qui est ici aléatoire. Cette dépendance entre variable explicative et observations distingue les séries temporelles du modèle de régression : la loi de $\hat\phi_n$ ne s'obtient plus par le théorème de Cochran, et son étude sort du cadre de ce chapitre.