Semaine 1 — Modèles statistiques

Objectifs du cours

Cet enseignement a trois objectifs.

Le premier objectif est d'introduire les outils de statistique mathématique et d'apprentissage statistique (« machine learning »). Nous décrirons le choix d'un modèle statistique, l'estimation des paramètres et l'inférence et le choix de modèles. Nous apprendrons à construire des estimateurs, des tests, des règles de classification, à évaluer les performances de ces règles. Nous introduirons un certain nombre d'outils théoriques – théorie de la décision, processus empiriques. Les trois derniers cours seront consacrés à une introduction à l'apprentissage statistique.

Le deuxième objectif est de décrire, dans le cours et dans les petites classes, des exemples concrets de modélisation dans divers domaines (traitement du signal et des images, économétrie, sciences de l'environnement, classification de formes, etc.).

Le troisième objectif est de développer un savoir-faire pratique permettant de comprendre la façon dont les outils théoriques peuvent être mis en œuvre dans des applications concrètes (utilisation de Python).

Contenu du site

Vous trouverez sur ce site toutes les ressources pédagogiques mises à disposition pour ce cours. Les diapositives des leçons, les énoncés des exercices traités en PC et leurs corrigés sont mis à jour régulièrement. Les énoncés des devoirs maison (DM) et des explorations numériques (EN) sont déposés sur Moodle ; leur calendrier est donné dans la rubrique Devoirs. Le polycopié est publié ici, semaine après semaine, et les corrigés de chaque petite classe sont mis en ligne après la séance.

Évaluation

Recherches maison notées

Deux types d'activités maison sont proposés :

• deux devoirs maison contenant une partie « problème » et une partie numérique à résoudre en Python ;
• trois explorations numériques, à réaliser en Python, afin de mettre en œuvre numériquement les notions vues en cours sur des exemples simples.

Ces travaux sont effectués par groupes de trois, obtenus par tirage au sort et visibles sur Moodle. Une première composition des groupes sera utilisée pour le DM 1 et l'EN 1 ; une nouvelle composition sera tirée au sort pour le DM 2, l'EN 2 et l'EN 3. Le calendrier des mises en ligne et des rendus est dans la rubrique Devoirs.

L'usage de l'IA pour les DM et les EN n'est pas autorisé.

Validation du cours

La note littérale est calculée de la façon suivante :

• 3/4 : note du contrôle écrit ;
• 1/4 : contrôle continu (DM, exercices numériques).

L'esprit du cours

Tel qu'il est présenté en amphi, en quatre points :

1. une introduction avancée à la statistique ;
2. pour ceux qui poursuivront en mathématiques appliquées, et pour les autres ;
3. notre approche : ne pas reculer devant un peu de formalisme pour gagner un peu de généralité ;
4. aller en profondeur pour prouver de très beaux résultats.

Comment travailler ce cours

Quelques conseils, les mêmes que ceux donnés en amphi.

• Construisez sur vos forces : vous êtes plus solides en mathématiques que vous ne le pensez, et c'est cela qu'il faut cultiver.
• Rien n'est difficile, mais il y a du formalisme et du vocabulaire : accrochez-vous les premières semaines.
• Ne prenez pas de retard ; le tutorat est là pour cela.
• Ce cours est connu pour demander du travail ; il vous donnera d'excellentes bases.

Crédits

Ce cours est issu d'un travail d'équipe auquel ont notamment contribué Éric Moulines, Gersende Fort, Sébastien Gadat, Matthieu Lerasle et Aymeric Dieuleveut, ainsi que d'autres collègues intervenus plus ponctuellement. Ces contributions ont permis, au fil des années, la création et l'amélioration des feuilles de PC et du polycopié. Ce site a été réalisé par Aymeric Dieuleveut avec l'aide d'outils d'intelligence artificielle, à partir de ces sources et sous une spécification précise des modifications à apporter.

Responsable du cours

Responsable du cours APM-41033-EP : Aymeric Dieuleveut, Professeur à l'École polytechnique — aymeric.dieuleveut@polytechnique.edu. L'équipe pédagogique complète est présentée dans la rubrique Équipe enseignante.

Programme

Nous décrirons le choix d'un modèle statistique, l'estimation des paramètres et l'inférence et le choix de modèles. Nous apprendrons à construire des estimateurs, des tests, des règles de classification, à évaluer les performances de ces règles. Nous introduirons un certain nombre d'outils théoriques – théorie de la décision, processus empiriques. Les trois derniers cours seront consacrés à une introduction à l'apprentissage statistique.

Déroulé par semaine

Rendus notés

Deux devoirs maison (partie « problème » et partie numérique en Python) et trois explorations numériques en Python, réalisés par groupes de trois tirés au sort (groupes visibles sur Moodle). Une première composition des groupes sera utilisée pour le DM 1 et l'EN 1, puis une nouvelle composition pour le DM 2, l'EN 2 et l'EN 3. Le calendrier des mises en ligne et des rendus est dans la rubrique Devoirs.

Qu'est-ce qu'un modèle ?

Moralement, un modèle statistique est une description mathématique simplifiée d'un phénomène aléatoire réel. Il sert de pont entre le monde des données, que l'on observe, et celui des lois de probabilité, qui représentent nos hypothèses sur la manière dont ces données sont produites. En choisissant un modèle, on fixe un cadre théorique dans lequel on pourra raisonner, estimer des grandeurs inconnues, prédire de nouvelles observations ou tester des hypothèses. Comme toute simplification, un modèle ne capture pas toute la réalité, mais en retient les aspects jugés essentiels pour répondre à une question précise.

Un modèle statistique est donc une hypothèse mathématiquement formalisée sur le mécanisme aléatoire ayant généré les données : un espace d'observations et une famille de lois de probabilité candidates, servant de cadre à l'inférence statistique.

1.Introduction : la démarche statistique

La statistique est l'étude de la collecte, de la modélisation et du traitement des données. Ses applications couvrent la médecine (épidémiologie, génomique), l'environnement (climat), l'assurance et la finance, l'apprentissage statistique (vision, traduction), le marketing (recommandation)… Dans tous ces exemples avancés, les données sont complexes. Pour dégager les idées fondamentales, commençons par des questions simples :

1. Quelle est la probabilité qu'une pièce retombe sur « pile » ? Les pièces de 1 centime sont-elles biaisées ?
2. Quelle est la taille moyenne d'une personne dans une salle de cours ?
3. Quelle proportion des élèves a déjà utilisé un modèle d'IA pour faire un devoir ?

Y répondre demande de reformuler ces questions dans un langage mathématique, puis de collecter, modéliser et analyser des données. Le point de départ est un jeu de données $(x_1,\dots,x_n)$ : numériques — scalaires, vectorielles ($x_i \in \rset^d$), matricielles — ou symboliques ($x_i \in \{0,1\}$), voire plus structurées (graphes, séries temporelles, textes, images…).

2.Modélisation statistique

La démarche repose sur deux étapes :

1. modéliser les observations comme des réalisations de variables aléatoires : \[ \text{Données} = \text{réalisation de } Z=(X_1,\ldots,X_n), \qquad Z(\omega)=(x_1,\dots,x_n), \] où les $X_i$ sont des variables aléatoires sur un espace probabilisé $(\Omega,\mathcal{A},\PP)$ (toujours omis), à valeurs dans un espace mesurable $(\Zset,\Zsigma)$, l'espace des observations ;
2. modéliser la loi de ces variables : la loi de $Z$ est partiellement connue, élément d'une famille $\mathcal{C}$ de lois de probabilité.

La plupart des modèles du cours s'écrivent sous la forme « $p_\param \cdot \mu$ » (une densité par rapport à une mesure de référence) :

La mesure de domination n'est jamais unique : si $\mu$ domine le modèle, toute mesure $\sigma$-finie $\mu'$ telle que $\mu\ll\mu'$ le domine aussi. Ce choix est sans conséquence pour la statistique, car deux densités relatives à deux mesures dominantes diffèrent d'un facteur multiplicatif qui ne dépend pas de $\param$ ; ce point, ainsi que des exemples de modèles non dominés, sont dans les Compléments. La modélisation d'arrivées successives (temps exponentiels, comptages poissoniens) est l'objet de l'Exercice 1 (PC1).

3.Objectifs de la statistique

À partir des observations, on cherche à affiner notre connaissance de la loi de l'observation. On distingue plusieurs tâches :

• estimation ponctuelle : donner une valeur plausible du paramètre $\param$ ;
• estimation par région : déterminer $\Param_0(Z)\subset\Param$ contenant plausiblement $\param$ ;
• test : décider si $\param \in \Param_0$, et évaluer la plausibilité de la décision ;
• prédiction : donner une valeur plausible d'une quantité non observée (cf. Exercice 4 (PC1), régression linéaire gaussienne).

Nous étudierons ces différentes tâches au fur et à mesure du cours : l'estimation aux cours 2 et 3, les régions de confiance au cours 3, les tests aux cours 4 et 5, et les problèmes de régression, que l'on rencontrera aussi bien en statistique qu'en apprentissage.

Statistique et probabilités. En probabilités, la loi $\PP$ est connue et l'on évalue $\PP(f(Z)\geq c)$, $\PE[f(Z)]$, etc. En statistique, on résout un problème inverse : d'une réalisation $z = (x_1,\dots,x_n)$ de $Z$, on cherche à inférer des caractéristiques de la loi de $Z$.

Le modèle comme point de départ. Dans ce cours de statistique mathématique, « on considère le modèle $\modelecanon$ » signifie : « on suppose observer une réalisation d'une variable aléatoire $Z$ à valeurs dans $\Zset$ dont la loi est un élément de $\mathcal{C}$ ». On souligne l'hypothèse et la dépendance en $\param$ par les notations $\PE_\param[\cdot]$, $\PP_\param(\cdot)$. Par exemple, considérer $(\rset_+,\borel(\rset_+),\{q_\lambda\cdot\lleb,\ \lambda>0\})$ avec $q_\lambda(x) = \lambda\rme^{-\lambda x}\indi{\rset_+}(x)$, c'est supposer $X \sim \expo(\lambda)$ pour un certain $\lambda>0$.

Un modèle est une hypothèse. C'est même précisément notre hypothèse de départ pour toute la partie mathématique de la statistique. « Tous les modèles sont faux, mais certains sont utiles ! » (George Box). La pertinence d'une modélisation dépend du contexte : Bernoulli pour un pile ou face, gaussienne pour des tailles, Bernoulli i.i.d. pour un sondage téléphonique, exponentielle pour un temps d'attente — simplifications utiles mais discutables.

4.Identifiabilité

L'identifiabilité signifie que la connaissance complète de $\loi_\param$ détermine $\param$ de façon unique : propriété minimale pour espérer retrouver $\param$ à partir des observations.

5.Statistiques

Étant données des observations, il est possible d'en effectuer des transformations : calculer leur moyenne, ne retenir que la plus grande, les compter, etc. Une statistique est une telle transformation, c'est-à-dire une fonction des observations seules, dans laquelle n'interviennent ni le paramètre ni la loi inconnue.

Remarquons, et cela est très important, que $T$ ne dépend pas de la loi $\loi\in\mathcal{C}$ — donc pas du paramètre si le modèle est paramétrique.

Plus généralement, des statistiques $X_1,\dots,X_n$ sont indépendantes si, pour toute loi $\loi\in\mathcal{C}$ et tous $A_1,\dots,A_n$ mesurables, $\loi(X_1\in A_1,\dots,X_n\in A_n) = \prod_{i=1}^n \loi(X_i\in A_i)$. Reprenons les modèles de Bernoulli et gaussien à $n$ observations rencontrés plus haut (exemples du sondage et des tailles).

Les statistiques canoniques d'un modèle ne sont pas toujours indépendantes. Dans le même modèle gaussien, la somme des observations $\sum_i X_i = n\bar X_n$ et la somme de leurs carrés $\sum_i X_i^2 = (n-1)S_n^2 + n\bar X_n^2$ ne sont pas indépendantes, alors que $\bar X_n$ et $S_n^2$ le sont : c'est l'objet de l'exercice 3 (PC1). Dans le modèle de régression de l'exercice 4 (PC1), les observations sont indépendantes mais pas identiquement distribuées.

6.Loi image et modèle induit

À partir d'un modèle de référence et d'une statistique, c'est-à-dire d'une transformation des observations, on obtient un nouveau modèle statistique, celui de l'observation transformée : c'est le modèle induit.

Transformer les observations par une statistique $T$ transporte chaque loi du modèle sur l'espace d'arrivée de $T$ ; les lois ainsi obtenues forment un nouveau modèle statistique.

Sous $\loi$, l'application $T$ est un élément aléatoire défini sur $(\Zset,\Zsigma,\loi)$, dont $\loi^T$ est la loi. Le calcul pratique de la loi image repose sur la méthode de la fonction muette et le changement de variables (Bases de maths §4) ; c'est l'objet de l'Exercice 2 (PC1).

7.Modèle statistique du n-échantillon

L'exemple précédent est générique : étudier des observations indépendantes et de même loi correspond à la notion de $n$-échantillon.

Terminologie : « $(X_1,\dots,X_n)$ est un $n$-échantillon du modèle $(\Xset,\Xsigma,\mathcal{C})$ ». Si la famille $\{\altloi_\param\}$ est dominée par $\mu$ avec $\altloi_\param = \altloidens_\param\cdot\mu$, alors $\altloi^{\otimes n}_\param$ est dominée par $\mu^{\otimes n}$ et admet pour densité \[ (x_1,\dots,x_n)\ \mapsto\ \loidens_\param(x_1,\dots,x_n) \eqdef \prod_{i=1}^n \altloidens_\param(x_i). \] Les modèles de translation et d'échelle, archétypes de $n$-échantillons dominés, sont étudiés dans l'Exercice 3 (PC1).

8.Exemples et premiers estimateurs

L'exploration systématique des méthodes d'estimation (moments, maximum de vraisemblance) est l'objet du chapitre suivant. On peut néanmoins dès maintenant « proposer » des estimateurs : un estimateur est une statistique destinée à approcher le paramètre inconnu.

Estimation du paramètre d'une Bernoulli

Pour un $n$-échantillon du modèle $\big(\{0,1\},\mathcal{P}(\{0,1\}),\{\ber(\param):\param\in[0,1]\}\big)$ (la pièce est-elle biaisée ?), on a $\PE_\param[X_1] = \param$ ; on considère donc \[ \hat\param_n \eqdef \bar X_n = \frac1n\sum_{i=1}^n X_i, \] et $\PE_\param[\hat\param_n] = \param$ : l'estimateur est sans biais. La qualité de l'approximation (concentration, intervalles de confiance) sera quantifiée plus tard.

Question sensible et réponses randomisées

Quelle proportion d'élèves a utilisé un modèle d'IA alors que c'était interdit ? Posée directement, la question produit des réponses biaisées : on ne peut pas espérer observer $(X_1,\dots,X_n)$. Le protocole des réponses randomisées contourne la difficulté :

1. on pose la question sensible ;
2. chaque participant tire secrètement $U_i\sim\ber(q)$, avec $q$ connu (par ex. $q = 0{,}75$), indépendant de $X_i$ ;
3. si $U_i=1$, il dit la vérité ; si $U_i=0$, il répond l'opposé.

On observe $\mathrm{RR}_i = U_iX_i + (1-U_i)(1-X_i)$. Le modèle induit par $(\mathrm{RR}_1,\dots,\mathrm{RR}_n)$ est un $n$-échantillon de $\{\ber(\param q + (1-\param)(1-q)) : \param\in[0,1]\}$.

Sous le modèle induit, $\PE_\param[\mathrm{RR}_i] = \param(2q-1)+1-q$, d'où l'estimateur (méthode des moments) \[ \hat\param_n \eqdef \frac{\overline{\mathrm{RR}}_n - (1-q)}{2q-1}, \] que l'on peut contraindre à $[0,1]$. Pour $q=0{,}75$ : $\hat\param_n = 2(\overline{\mathrm{RR}}_n - 0{,}25)$. On vérifie $\PE_\param[\hat\param_n] = \param$ et \[ \Var_\param(\hat\param_n) = \frac{\Var_\param(\mathrm{RR}_1)}{n(2q-1)^2} \geq \frac{q(1-q)}{n(2q-1)^2} : \] la confidentialité augmente la variance. En notant $r = \param q + (1-\param)(1-q)$, on a $\Var_\param(\hat\param_n) = r(1-r)/(n(2q-1)^2)$, et le rapport avec $\Var_\param(\bar X_n) = \param(1-\param)/n$, la variance que l'on aurait en observant directement les $X_i$, vaut au moins $(2q-1)^{-2}$, avec égalité pour $\param = 1/2$ : pour $q = 0{,}75$, un facteur $4$ au moins. Le facteur $(2q-1)^{-2}$ explose quand $q\to 1/2$.

9.En pratique : programme des exercices

L'exercice 4 sera poursuivi en PC 2. Les exercices bonus sont dans l'onglet Exercices, avec un guide de lecture. Notions de probabilités à revoir cette semaine : variable aléatoire, mesure produit, indépendance, densité, transfert et fonction muette (onglet Bases de maths).

Télécharger cette partie

Vous retrouverez ci-dessous les éléments techniques, mathématiques ou probabilistes qui sont nécessaires pour comprendre cette partie du cours.

1.Tribu produit, mesure produit

Soient $(\Xset,\Xsigma)$ et $(\Xset',\Xsigma')$ deux espaces mesurables. La tribu produit $\Xsigma\otimes\Xsigma'$ sur $\Xset\times\Xset'$ est la plus petite tribu contenant les pavés mesurables $A\times A'$. Pour deux probabilités $\altloi,\altloi'$, la mesure produit $\altloi\otimes\altloi'$ est définie par $\altloi\otimes\altloi'(A\times A') \eqdef \altloi(A)\,\altloi'(A')$. On note $\altloi^{\otimes n}$ le produit de $n$ copies de $\altloi$.

2.Produit de deux modèles statistiques

Les statistiques coordonnées $X(x,x') = x$ et $X'(x,x') = x'$ sont indépendantes, de modèles induits $(\Xset,\Xsigma,\mathcal{C})$ et $(\Xset',\Xsigma',\mathcal{C}')$ : considérer des produits de modèles correspond à étudier des observations indépendantes. Attention : le $n$-échantillon $(\Xset,\Xsigma,\mathcal{C})^n$ n'est en général pas égal au produit de $n$ copies. Pour $n=2$ : \[ (\Xset,\Xsigma,\mathcal{C})\otimes(\Xset,\Xsigma,\mathcal{C}) = \big(\Xset^2,\Xsigma^{\otimes 2},\{\altloi\otimes\altloi'\}\big) \quad\text{alors que}\quad (\Xset,\Xsigma,\mathcal{C})^2 = \big(\Xset^2,\Xsigma^{\otimes 2},\{\altloi^{\otimes 2}\}\big). \]

3.Transfert, fonction muette, changement de variables

Pour identifier la loi image $\loi^T$, on utilise la méthode de la fonction muette : pour toute $h$ mesurable positive sur $\Tset$, \[ \int_{\Tset} h(t)\,\loi^T(\rmd t) = \int_{\Zset} h\circ T(z)\,\PP(\rmd z) = \PE[h(T)]. \] Si $\PE[h(T)] = \int h\,q\,\rmd\nu$ pour toute fonction muette $h$, alors $\loi^T = q\cdot\nu$. Quand la statistique est une transformation régulière d'une variable à densité, cette méthode conduit à la formule du changement de variables, que l'on énonce d'abord en dimension $1$.

Changement de variable en dimension 1

Changement de variables en dimension $k$

On reprend les notations du rappel de l'exercice 2 (PC1).

La dimension $1$ est le cas $k = 1$, où $J_\phi = \phi'$. La preuve est la même : théorème de transfert, puis formule du changement de variables dans les intégrales multiples, $\int_{\mathcal{O}} h(\phi(x))\,p(x)\,\rmd x = \int_{\phi(\mathcal{O})} h(u)\,p(\phi^{-1}(u))\,|\operatorname{Det} J_{\phi^{-1}}(u)|\,\rmd u$, pour toute fonction muette $h$.

4.Lois usuelles utilisées cette semaine

• Bernoulli $\ber(\param)$ sur $\{0,1\}$, $\loi(\{1\}) = \param$ ; Binomiale $\bin(n,\param)$ sur $\{0,\dots,n\}$, $\loi(\{k\}) = \binom{n}{k}\param^k(1-\param)^{n-k}$.
• Gaussienne $\gauss(\mu,\sigma^2)$, densité $(2\pi\sigma^2)^{-1/2}\exp(-(x-\mu)^2/2\sigma^2)$.
• Exponentielle de paramètre $\lambda>0$, densité $\lambda\rme^{-\lambda x}\indi{\rset_+}(x)$, moyenne $\lambda^{-1}$. Absence de mémoire : $\PP_\lambda(X\geq a+b \mid X\geq a) = \PP_\lambda(X\geq b)$.
• Gamma. Pour $p>0$, $\Gamma(p)$ a pour densité $f_p(x) = \frac{1}{\Gamma(p)}\rme^{-x}x^{p-1}$, $x>0$ ; $\Gamma(p,\lambda)$ est la loi de $Z/\lambda$, $Z\sim\Gamma(p)$, de densité $f_{p,\lambda}(x) = \frac{\lambda^p}{\Gamma(p)}\rme^{-\lambda x}x^{p-1}$. L'exponentielle $\expo(\lambda)$ est $\Gamma(1,\lambda)$. Additivité : des $\Gamma(p_i,\lambda)$ indépendantes se somment en $\Gamma(\sum_i p_i,\lambda)$.
• Poisson de paramètre $\lambda>0$, densité $p_\lambda(k) = \rme^{-\lambda}\lambda^k/k!$ par rapport à la mesure de comptage sur $\nset$. Moyenne et variance $\lambda$ ; somme de deux Poisson indépendantes : Poisson de paramètre $\lambda_1+\lambda_2$ (cf. Exercice 5, PC1).

5.Vecteurs gaussiens

Le modèle gaussien $\gauss(\mu\bigone_n,\sigma^2\Id_n)$ des exemples des tailles et de l'échantillon gaussien, comme le modèle de régression linéaire gaussienne de l'Exercice 4 (PC1), reposent sur la notion de vecteur gaussien. Nous en rappelons la définition et les propriétés utilisées dans ce chapitre, en commençant par le cas réel.

Lois gaussiennes sur $\rset$.

Sa fonction caractéristique vaut \[ \varphi(t) = \PE\big[\rme^{\mathrm{i}tX}\big] = \exp\Big(-\frac{t^2}{2}\Big), \qquad t\in\rset. \] On l'obtient par exemple en remarquant que $\varphi$ est dérivable (dérivation sous le signe intégral), puis, par une intégration par parties utilisant $xg(x) = -g'(x)$, que $\varphi'(t) = -t\,\varphi(t)$ avec $\varphi(0) = 1$. Comme $X$ admet des moments de tous ordres et que $\varphi^{(k)}(0) = \mathrm{i}^k\,\PE[X^k]$, le développement en série entière $\varphi(t) = \sum_{k\geq 0}(-1)^k t^{2k}/(2^k\,k!)$ fournit les moments de la loi gaussienne réduite : les moments d'ordre impair sont nuls et, pour tout $k\in\nset$, \[ \PE\big[X^{2k}\big] = \frac{(2k)!}{2^k\,k!} = 1\times 3\times 5\times\cdots\times(2k-1). \] En particulier $\PE[X] = 0$, $\PE[X^2] = 1$ et $\PE[X^4] = 3$.

La convention adoptée dans ce cours est d'autoriser $\sigma^2 = 0$ : la loi $\gauss(\mu,0)$ est la masse de Dirac $\delta_\mu$, et l'on parle de loi gaussienne dégénérée. La densité, elle, n'existe que pour $\sigma^2 > 0$ : dans ce cas, la formule de changement de variables du §4, appliquée à $x\mapsto\sigma x+\mu$, montre que $\gauss(\mu,\sigma^2)$ admet pour densité par rapport à $\lleb$ \[ g_{\mu,\sigma^2}(x) = \frac{1}{\sigma\sqrt{2\pi}}\exp\Big(-\frac{(x-\mu)^2}{2\sigma^2}\Big), \qquad x\in\rset, \] alors que pour $\sigma^2 = 0$, la loi $\delta_\mu$ n'est pas absolument continue par rapport à $\lleb$ (§6). Dans tous les cas ($\sigma^2\geq 0$), la fonction caractéristique de $\gauss(\mu,\sigma^2)$ vaut \[ \varphi_{\mu,\sigma^2}(t) = \PE\big[\rme^{\mathrm{i}t(\sigma X_r+\mu)}\big] = \rme^{\mathrm{i}\mu t}\,\varphi(\sigma t) = \exp\Big(\mathrm{i}\mu t-\frac{\sigma^2t^2}{2}\Big), \qquad t\in\rset. \] Comme la fonction caractéristique caractérise la loi, on en déduit la stabilité de la famille gaussienne par transformation affine et par somme de variables indépendantes.

Vecteurs gaussiens.

Soit $X$ un vecteur gaussien. Chaque coordonnée $X_i = e_i^\top X$ est gaussienne, donc de carré intégrable ; on peut ainsi définir l'espérance $\mu\eqdef\PE[X] = (\PE[X_1],\dots,\PE[X_n])^\top\in\rset^n$ et la matrice de covariance $\Sigma\eqdef\big(\operatorname{Cov}(X_i,X_j)\big)_{1\leq i,j\leq n} = \PE\big[(X-\mu)(X-\mu)^\top\big]$ de $X$. Pour tout $t\in\rset^n$, par linéarité de l'espérance, \[ \PE\big[t^\top X\big] = t^\top\mu, \qquad \Var\big(t^\top X\big) = \sum_{i,j=1}^n t_it_j\operatorname{Cov}(X_i,X_j) = t^\top\Sigma\,t, \] de sorte que $t^\top X\sim\gauss(t^\top\mu,\ t^\top\Sigma\,t)$. La matrice $\Sigma$ est symétrique et semi-définie positive, puisque $t^\top\Sigma t = \Var(t^\top X)\geq 0$ ; elle n'est pas nécessairement inversible. On écrit $X\sim\gauss(\mu,\Sigma)$ pour dire que $X$ est un vecteur gaussien d'espérance $\mu$ et de matrice de covariance $\Sigma$ ; la proposition ci-dessous montre que ces deux paramètres déterminent la loi de $X$.

D'après le lemme de stabilité (ii), un vecteur dont les coordonnées sont des variables gaussiennes indépendantes est un vecteur gaussien ; en particulier, si $Z_1,\dots,Z_n$ sont indépendantes de loi $\gauss(0,1)$, alors $Z = (Z_1,\dots,Z_n)^\top\sim\gauss(0,\Id_n)$. Sans l'hypothèse d'indépendance, un vecteur dont chaque coordonnée est gaussienne n'est pas nécessairement gaussien (voir la remarque qui suit la proposition « Indépendance et décorrélation »).

On prendra garde à l'ordre des facteurs : la matrice de covariance de $AX+b$ est $A\Sigma A^\top$, de taille $m\times m$, et non $A^\top\Sigma A$.

On rencontre aussi ce corollaire sous la forme suivante, qui lui est équivalente : si $B_1$ et $B_2$ sont deux matrices ayant $n$ lignes et telles que $B_1^\top B_2 = 0$, alors $B_1^\top Z$ et $B_2^\top Z$ sont indépendants (prendre $A_i = B_i^\top$).

Lorsque $\Sigma$ est de rang $k \lt n$, la démonstration de la proposition de représentation montre que $X-\mu$ prend presque sûrement ses valeurs dans le sous-espace $\operatorname{Im}(\Sigma)$, de dimension $k$, qui est de mesure de Lebesgue nulle dans $\rset^n$ : la loi $\gauss(\mu,\Sigma)$ n'est alors pas absolument continue par rapport à $\lleb^{\otimes n}$ et n'admet pas de densité (loi dégénérée). C'est le cas des lois $\gauss(P_F\mu,\sigma^2P_F)$ du théorème de Cochran (§9). Pour $\Sigma = \sigma^2\Id_n$, on retrouve la densité produit de l'exemple de l'échantillon gaussien (Cours §5).

6.Fonction Gamma, lois Gamma, du $\chi^2$ et de Student

La fonction Gamma. Pour $\alpha > 0$, l'intégrale \[ \Gamma(\alpha)\eqdef\int_0^{+\infty}y^{\alpha-1}\rme^{-y}\,\rmd y \] converge et définit un réel strictement positif : au voisinage de $0$, l'intégrande est équivalent à $y^{\alpha-1}$, intégrable car $\alpha > 0$, et à l'infini la décroissance exponentielle l'emporte. On a $\Gamma(1) = \int_0^{+\infty}\rme^{-y}\,\rmd y = 1$ et, pour $\alpha > 1$, une intégration par parties donne \[ \Gamma(\alpha) = \Big[-y^{\alpha-1}\rme^{-y}\Big]_0^{+\infty} + (\alpha-1)\int_0^{+\infty}y^{\alpha-2}\rme^{-y}\,\rmd y = (\alpha-1)\,\Gamma(\alpha-1). \] Par récurrence, pour tout entier $n\geq 1$, $\Gamma(n) = (n-1)(n-2)\cdots 1\cdot\Gamma(1) = (n-1)!$ : la fonction Gamma prolonge la factorielle. On a aussi $\Gamma(1/2) = \sqrt{\pi}$ : le changement de variable $y = x^2/2$ donne $\Gamma(1/2) = \sqrt2\int_0^{+\infty}\rme^{-x^2/2}\,\rmd x = \sqrt2\cdot\sqrt{2\pi}/2 = \sqrt\pi$, la dernière intégrale se calculant à partir de la densité gaussienne réduite. Par construction, $\Gamma(p)$ est la constante de normalisation de la densité $f_p$ de la loi Gamma réduite $\operatorname{Gamma}(p)$ définie au §5.

Moments et fonction caractéristique des lois Gamma. Soit $Z\sim\operatorname{Gamma}(p)$, avec $p > 0$. Pour tout réel $r > -p$, \[ \PE\big[Z^r\big] = \frac{1}{\Gamma(p)}\int_0^{+\infty}x^{r+p-1}\rme^{-x}\,\rmd x = \frac{\Gamma(p+r)}{\Gamma(p)}, \] et $\PE[Z^r] = +\infty$ si $r\leq -p$. En particulier $\PE[Z] = p$, $\PE[Z^2] = p(p+1)$ et $\Var(Z) = p$. Pour $X = Z/\lambda\sim\operatorname{Gamma}(p,\lambda)$, on en déduit $\PE[X^r] = \lambda^{-r}\,\Gamma(p+r)/\Gamma(p)$, en particulier $\PE[X] = p/\lambda$, $\Var(X) = p/\lambda^2$ et, pour $p > 1$, $\PE[1/X] = \lambda/(p-1)$. Ce sont ces formules, avec des exposants $r$ négatifs, qui donnent l'espérance et l'erreur quadratique de l'estimateur $\hat\param_{n,1} = 1/\bar X_n$ du modèle exponentiel (Compléments §5) : sous $\loi_\param$, $\sum_{i=1}^n X_i\sim\operatorname{Gamma}(n,\param)$ et $\PE_\param[\hat\param_{n,1}] = n\param\,\Gamma(n-1)/\Gamma(n) = \frac{n}{n-1}\param$.

La fonction caractéristique de la loi $\operatorname{Gamma}(p,\lambda)$ vaut \[ \phi_{p,\lambda}(t) = \PE\big[\rme^{\mathrm{i}tX}\big] = \Big(1-\frac{\mathrm{i}t}{\lambda}\Big)^{-p}, \qquad t\in\rset, \] où la puissance est définie par la détermination principale du logarithme, le nombre complexe $1-\mathrm{i}t/\lambda$ étant de partie réelle strictement positive. On l'obtient en calculant d'abord, pour $s \lt \lambda$ réel, $\PE[\rme^{sX}] = \frac{\lambda^p}{\Gamma(p)}\int_0^{+\infty}x^{p-1}\rme^{-(\lambda-s)x}\,\rmd x = (1-s/\lambda)^{-p}$ (changement de variable $u = (\lambda-s)x$), puis en observant que les deux membres sont des fonctions holomorphes de $s$ sur le demi-plan $\{\operatorname{Re}(s) \lt \lambda\}$ qui coïncident sur un segment réel : elles coïncident sur tout le demi-plan, en particulier en $s = \mathrm{i}t$. Cette expression démontre la propriété d'additivité énoncée au §5 : si $X_1,\dots,X_n$ sont indépendantes de lois $\operatorname{Gamma}(p_i,\lambda)$, la fonction caractéristique de leur somme est $\prod_{i=1}^n(1-\mathrm{i}t/\lambda)^{-p_i} = (1-\mathrm{i}t/\lambda)^{-\sum_ip_i}$, qui est celle de $\operatorname{Gamma}(\sum_ip_i,\lambda)$.

Loi du $\chi^2$.

Loi de Student.

La variable $Y$ est strictement positive presque sûrement, de sorte que $T$ est bien définie. On montre, par la formule de changement de variables appliquée au couple $(X,Y)$, que la loi $\operatorname{t}(r)$ admet pour densité \[ f_r(t) = \frac{\Gamma\big(\frac{r+1}{2}\big)}{\Gamma\big(\frac r2\big)\sqrt{r\pi}} \Big(1+\frac{t^2}{r}\Big)^{-\frac{r+1}{2}}, \qquad t\in\rset. \] Cette densité est symétrique et décroît polynomialement : la loi de Student a des queues plus lourdes que la loi gaussienne. Pour $r = 1$, on retrouve la loi de Cauchy, de densité $1/(\pi(1+t^2))$, qui n'a pas d'espérance ; lorsque $r\to+\infty$, la loi $\operatorname{t}(r)$ converge vers $\gauss(0,1)$, car $Y/r$ converge vers $1$ en probabilité d'après la loi des grands nombres. Ces compléments sont démontrés dans l'annexe du polycopié.

7.Théorèmes de Cochran et de Gosset

Les deux théorèmes de cette partie décrivent la loi des projections orthogonales d'un vecteur gaussien de loi $\gauss(\mu,\sigma^2\Id_n)$. Ils sont l'outil des questions gaussiennes de l'Exercice 3 (PC1) (loi du couple $(S_n,K_n)$, par le théorème de Gosset) et de l'Exercice 4 (PC1) (régression linéaire gaussienne, par le théorème de Cochran), et ils seront réutilisés tout au long du cours pour le modèle linéaire gaussien.

Cette version est le cas particulier $m = 2$, $\mu = 0$, $\sigma = 1$ du théorème précédent. Elle lui est en fait équivalente : on passe d'un vecteur $X\sim\gauss(\mu,\sigma^2\Id_n)$ au vecteur $(X-\mu)/\sigma\sim\gauss(0,\Id_n)$ par la proposition de transformation affine, et l'on traite $m$ sous-espaces en appliquant la version simplifiée à $F_1$ et $F_1^\perp = F_2\oplus\cdots\oplus F_m$, puis en raisonnant par récurrence dans $F_1^\perp$.

Dans l'Exercice 3 (PC1), les statistiques $S_n = \sum_{i=1}^nX_i$ et $K_n = \sum_{i=1}^n(X_i-n^{-1}S_n)^2$ s'écrivent $S_n = n\bar X_n$ et $K_n = (n-1)S_n^2$ avec les notations du théorème de Gosset (attention, dans l'exercice, la lettre $S_n$ désigne la somme des observations et non l'écart-type empirique) : le théorème donne directement la loi du couple $(S_n,K_n)$, donc le modèle induit. Dans l'Exercice 4 (PC1), le théorème de Cochran s'applique à la décomposition de $\rset^n$ en l'image de la matrice des variables explicatives et son orthogonal.

8.Domination, densités, Radon-Nikodym

Le théorème de Radon-Nikodym montre que le modèle $\modelecanon$ est dominé par $\mu$ si et seulement si toute loi $\loi\in\mathcal{C}$ est absolument continue par rapport à $\mu$. Mesures de référence usuelles : la mesure de Lebesgue $\lleb$ (lois « à densité » classiques) et les mesures de comptage (lois discrètes). La mesure de domination n'est pas unique, mais ce choix n'affecte pas les quantités utilisées en statistique (rapports de densités, vraisemblance) : deux densités relatives à deux mesures dominantes diffèrent d'un facteur multiplicatif qui ne dépend pas de $\param$ ; voir dans les Compléments, où l'on trouve aussi des exemples de modèles non dominés.

9.Compléments de théorie de la mesure

Les notions rappelées ici interviennent dès la définition d'un modèle statistique : la tribu borélienne $\borel(\rset^n)$ des exemples des tailles et de l'échantillon gaussien, et les mesures à densité $\loidens\cdot\mu$ de la définition d'un modèle dominé. Elles sont développées dans l'annexe de théorie de la mesure du polycopié ; nous nous contentons ici d'en rappeler les énoncés.

Tribu engendrée, tribu borélienne. Soit $\mathsf{E}$ un ensemble. L'ensemble $\mathcal{P}(\mathsf{E})$ de toutes les parties de $\mathsf{E}$ est une tribu, et l'intersection d'une famille quelconque de tribus sur $\mathsf{E}$ est encore une tribu. Étant donnée une classe $\mathcal{C}$ de parties de $\mathsf{E}$, on peut donc parler de la plus petite tribu contenant $\mathcal{C}$.

La tribu borélienne est aussi engendrée par les fermés. Dans ce cours, l'espace topologique est presque toujours $\rset^d$ muni de sa topologie usuelle (celle de la distance euclidienne) ; la tribu $\borel(\rset^d)$ est alors aussi engendrée par les boules, par les pavés, et même par les pavés à coordonnées rationnelles (cette dernière famille ayant l'avantage d'être dénombrable). Elle coïncide avec la tribu produit $\borel(\rset)^{\otimes d}$ du §1, ce qui justifie que le $n$-échantillon d'un modèle sur $(\rset,\borel(\rset))$ ait pour espace des observations $(\rset^n,\borel(\rset^n))$. Enfin, toute application continue de $\rset^d$ dans $\rset^k$ est mesurable pour les tribus boréliennes : les statistiques usuelles (moyenne empirique, maximum, médiane empirique) sont donc bien des applications mesurables.

Mesures à densité, absolue continuité.

Une mesure à densité $f\cdot\mu$ est absolument continue par rapport à $\mu$ : l'intégrale de $f$ sur un ensemble $\mu$-négligeable est nulle. Le théorème de Radon-Nikodym affirme la réciproque, sous l'hypothèse que $\mu$ est $\sigma$-finie, c'est-à-dire que $\mathsf{E}$ est réunion dénombrable d'ensembles de $\mu$-mesure finie : c'est le cas de la mesure de Lebesgue sur $\rset^d$, des mesures de comptage sur les ensembles dénombrables et de toutes les mesures finies.

Ce théorème est admis dans ce cours ; il est énoncé et commenté dans l'annexe du polycopié. Appliqué à une loi de probabilité $\loi$, qui est une mesure finie, il dit que $\loi$ admet une densité par rapport à $\mu$ si et seulement si $\loi\ll\mu$, la densité étant alors $\mu$-intégrable et d'intégrale $1$. C'est ce qui justifie l'équivalence rappelée au §3 : le modèle $\modelecanon$ est dominé par la mesure $\sigma$-finie $\mu$ si et seulement si toute loi $\loi\in\mathcal{C}$ est absolument continue par rapport à $\mu$. Ainsi, la loi $\gauss(m,\sigma^2)$ avec $\sigma^2 > 0$ et la mesure de Lebesgue $\lleb$ sont absolument continues l'une par rapport à l'autre, car la densité gaussienne est strictement positive ; en revanche, la masse de Dirac $\delta_a$ n'est pas absolument continue par rapport à $\lleb$, puisque $\lleb(\{a\}) = 0$ alors que $\delta_a(\{a\}) = 1$ : elle n'admet pas de densité par rapport à $\lleb$. Nous retrouverons cette situation avec les lois gaussiennes dégénérées du §7.

Télécharger cette partie

Les contenus de cette partie ne sont pas exigibles à l'examen. Ils correspondent à des exemples plus avancés. Je recommande à ceux qui veulent approfondir leur culture statistique de les parcourir, un peu comme les exercices non traités en cours.

1.Exemples introductifs supplémentaires

Avant de procéder à la construction mathématique d'un modèle statistique, il est utile d'avoir en tête quelques exemples de problèmes concrets de statistique. Ceux qui suivent complètent les exemples de la partie principale (pile ou face, tailles, modèle de sondage).

Reconstruction d'un signal (et d'une image)

On souhaite apprendre une fonction $t\mapsto f(t)$ à partir de relevés bruités $y_k$, $k = 1,\dots,n$, des valeurs $f(kT_e)$ aux instants multiples de $T_e$ sur $[0,T]$ ($n = \lfloor T/T_e\rfloor$). « Estimer » $f$ signifie construire $t\mapsto \widehat f(t; \{y_k\})$ ne dépendant que de l'échantillon, proche de $f$ en un sens à préciser. La difficulté dépend de la période d'échantillonnage, du rapport signal/bruit et de la « complexité » de $f$ : une fonction constante ou affine sera plus facile à reconstruire qu'une fonction très irrégulière.

Même problème en dimension 2 : $f$ définie sur $[0,1]^2$ représente une image, discrétisée en $n = N^2$ pixels ; les $y_{k,\ell}$ sont des mesures bruitées de $f(k/N,\ell/N)$. On cherche à reconstruire l'image ou à décider si une caractéristique y est présente.

Modèle gaussien associé. En modélisant $f(t) = \sum_{k=1}^p \beta_k\phi_k(t)$ (combinaison de fonctions de base connues) et les erreurs comme des gaussiennes centrées de même variance $\sigma^2$, on obtient le modèle dominé \[ \Big(\rset^n,\ \borel(\rset^n),\ \{p_\param\cdot\lleb^{\otimes n} : \param\in\rset^p\times\rset_+^*\}\Big), \] \[ p_\param(x) = (2\pi\sigma^2)^{-n/2}\exp\Big(-\frac{1}{2\sigma^2}\sum_{i=1}^n\big(x_i - \textstyle\sum_k \beta_k\phi_k(iT_e)\big)^2\Big). \]

Influence d'une variable sur une autre (greffon de rein)

On s'intéresse à étudier le lien entre la qualité d'un greffon de rein (caractérisée par une note agrégeant un certain nombre de caractéristiques) et l'âge du donneur. On considère une population de $n$ donneurs potentiels. Pour chaque donneur $i\in\{1,\dots,n\}$, on note $x_i$ son âge et $y_i$ la qualité du greffon.

Il est bien entendu irréaliste de postuler l'existence d'une fonction $f:\rset\to\rset$ telle que $y = f(x)$. Toutefois, il est raisonnable d'introduire un modèle statistique exprimant que $y_i$ est en partie expliquée par $x_i$ ; ce qui peut être fait en exprimant que chaque mesure $y_i$ est une observation dans un bruit de mesure de $f(x_i)$, où $f$ est une fonction inconnue. Le problème du statisticien sera ici de reconstruire la fonction de régression $f$ et de caractériser l'erreur de modélisation.

Le problème est proche de celui de la reconstruction d'un signal (voir ci-dessus), à ceci près que les points $kT_e$ sont remplacés par les âges $x_i$. Les variables explicatives $x_i$ ne sont pas nécessairement scalaires : on peut ainsi remplacer $x_i$ par un vecteur $\mathbf{x}_i\in\rset^k$ qui collecte un ensemble de variables explicatives possibles. Dans ce cas, $f$ est une fonction $\rset^k\to\rset$.

On peut, si cette information est disponible, incorporer une information a priori sur la fonction $f$ : par exemple, postuler que la fonction $f$ est de la forme $f(\mathbf{x}) = t(\langle\boldsymbol\param,\mathbf{x}\rangle)$, où $t:\rset\to\rset$ est une fonction connue et $\boldsymbol\param = (\param_1,\dots,\param_k)^\top\in\rset^k$ sont des paramètres inconnus. Dans les cas les plus élémentaires, $t(z) = z$, et on parle de régression linéaire. Il est bien entendu possible de considérer des modèles de régression plus généraux incorporant explicitement des non-linéarités et des interactions entre les différentes variables explicatives. La nature des informations exploitables pour construire un tel modèle dépend naturellement fortement des applications considérées. Nous reviendrons dans la suite sur l'importance centrale des modèles en statistique et des méthodes pour construire de tels modèles.

Il existe aussi des situations où $y_i$ est une variable qualitative, c'est-à-dire ne prenant qu'un nombre fini de valeurs (instances). On peut penser que le risque d'être victime d'un infarctus est influencé par un ensemble de facteurs : consommation de tabac, d'alcool, taux de cholestérol, indice de masse corporelle, âge, terrain familial, pression artérielle, ces différents facteurs étant eux-mêmes souvent liés.

2.Sondage sans remise et loi hypergéométrique

3.Données censurées

4.Régression logistique

5.Exemples détaillés développés en cours (annexe des slides)

Les slides du cours 1 se terminent par trois exemples développés en annexe : un modèle de survie, un modèle de régression pour des données de température et une formalisation statistique des systèmes de recommandation. Vous les retrouverez ci-dessous avec le même niveau de détail que dans les slides, quelques coquilles de ces dernières étant corrigées au passage. Ces exemples mettent en œuvre les notions du chapitre (modèle dominé, $n$-échantillon, modèle induit, identifiabilité) et anticipent sur les méthodes d'estimation du cours 2.

Modèles de survie

Construction d'estimateurs par la méthode des moments. Considérons les fonctions $T(x) = x$ et $\tilde T(x) = x^2$. D'après le lemme précédent, \[ \begin{aligned} e(\param) &\eqdef \int T(x)\,\altloi_\param(\rmd x) = \int_0^{+\infty}x\,\param\exp(-\param x)\rmd x = \frac{1}{\param}, \\ \tilde e(\param) &\eqdef \int \tilde T(x)\,\altloi_\param(\rmd x) = \int_0^{+\infty}x^2\,\param\exp(-\param x)\rmd x = \frac{2}{\param^2}. \end{aligned} \] Les estimateurs des moments associés sont les solutions en $\param$ des équations obtenues en remplaçant les moments théoriques $e(\param)$ et $\tilde e(\param)$ par leurs contreparties empiriques : \[ e(\param) = \frac{1}{\param} = \frac{1}{n}\sum_{i=1}^n X_i \quad\text{et}\quad \tilde e(\param) = \frac{2}{\param^2} = \frac{1}{n}\sum_{i=1}^n X_i^2. \] Bien entendu, chacun des moments utilisés donne dans ce contexte un estimateur différent. Ces équations ont des solutions uniques dans $\rset_+^*$ (dès que les observations ne sont pas toutes nulles, ce qui est le cas $\loi_\param$-presque sûrement) : \[ \hat\param_{n,1} \eqdef \frac{1}{\frac{1}{n}\sum_{i=1}^n X_i} \quad\text{et}\quad \hat\param_{n,2} \eqdef \left(\frac{2}{\frac{1}{n}\sum_{i=1}^n X_i^2}\right)^{1/2}. \]

Pour étudier ces estimateurs, nous utilisons les lois Gamma (voir aussi Bases de maths §5).

La loi exponentielle d'intensité $\lambda>0$ est la loi $\operatorname{Gamma}(1,\lambda)$. Si $Z\sim\operatorname{Gamma}(p)$, alors pour tout $r>-p$, \[ \PE[Z^r] = \frac{1}{\Gamma(p)}\int_0^{+\infty}\rme^{-x}x^{p+r-1}\rmd x = \frac{\Gamma(p+r)}{\Gamma(p)}, \] l'intégrale étant divergente pour $r\leq -p$. Par changement d'échelle, si $X\sim\operatorname{Gamma}(p,\lambda)$, alors $\PE[X^r] = \lambda^{-r}\,\Gamma(p+r)/\Gamma(p)$ pour $r>-p$.

Ce lemme se démontre par récurrence sur $n$, par exemple avec la méthode de la fonction muette (Bases de maths §4). En particulier, la somme $X_1+X_2$ de deux variables aléatoires exponentielles indépendantes et de même paramètre $\param$ suit une loi $\operatorname{Gamma}(2,\param)$ : en notant $\star$ le produit de convolution, $\expo(\param)\star\expo(\param) = \operatorname{Gamma}(2,\param)$.

Modèle de régression

Le Goddard Institute for Space Studies (GISS) de la NASA publie chaque année l'anomalie de température moyenne à l'échelle du globe, c'est-à-dire l'écart entre la température moyenne de l'année et celle de la période de référence 1951–1980. La série de 1880 à 2022 est représentée ci-dessous.

Hypothèses du modèle. Ici $\Zset = \rset^n$ et $Z = (X_1,\dots,X_n)$ avec $X_i(x_1,\dots,x_n) = x_i$ pour $i\in\{1,\dots,n\}$. La forme produit de la densité traduit trois hypothèses :

1. pour tout $\param\in\Param$, les statistiques $X_i$ et $X_j$, $i\neq j$, sont indépendantes sous $\loi_\param$ ;
2. sous $\loi_\param$, pour tout $i\in\{1,\dots,n\}$, la loi de $X_i$ est gaussienne de variance $\sigma^2$ ;
3. sous $\loi_\param$, pour tout $i\in\{1,\dots,n\}$, la moyenne de $X_i$ est $m(\boldsymbol\beta,i)$.

Autrement dit, $X_i = m(\boldsymbol\beta,i)+\varepsilon_i$ où les erreurs $\varepsilon_1,\dots,\varepsilon_n$ sont $\iid$ de loi $\gauss(0,\sigma^2)$. Ce sont des hypothèses de modélisation, qui peuvent (et doivent) être discutées :

• est-il raisonnable de supposer que la variance est constante au cours du temps (modèle homoscédastique) ?
• a-t-on une bonne raison de penser que la distribution des erreurs est gaussienne ?
• les observations sont-elles indépendantes ? Pour une série chronologique, deux années consécutives peuvent être liées par des phénomènes climatiques persistants.

Ces résultats découlent du théorème de Cochran, énoncé dans l'onglet Bases de maths et que nous ne redémontrons pas ici : sous $\loi_{\boldsymbol\beta,\sigma^2}$, $\mathbf{X}\sim\gauss(\Phi\boldsymbol\beta,\sigma^2\Id_n)$, $\Phi\widehat{\boldsymbol\beta}$ est la projection orthogonale de $\mathbf{X}$ sur l'image de $\Phi$, sous-espace de dimension $2$, et $\mathbf{X}-\Phi\widehat{\boldsymbol\beta}$ est sa projection sur l'orthogonal de ce sous-espace, de dimension $n-2$. Le modèle de régression linéaire gaussienne est l'objet de l'Exercice 4 (PC1), poursuivi en PC 2.

Systèmes de recommandation

Les plateformes de diffusion de films ou de musique et les sites de vente en ligne cherchent à prédire l'intérêt d'un utilisateur pour un produit qu'il n'a pas encore noté, à partir des notes déjà attribuées par l'ensemble des utilisateurs.

Une hypothèse sur la structure de $\param$. Tel quel, le modèle comporte $(K-1)\,m_1m_2$ paramètres réels pour seulement $n\ll m_1m_2$ observations, et les paramètres $\theta_{i,j,\cdot}$ des couples $(i,j)\notin I$ n'apparaissent même pas dans la densité : sans hypothèse supplémentaire, les données n'apportent aucune information sur les notes manquantes. Il est donc nécessaire de faire une hypothèse sur la structure de $\param$, qui soit raisonnable pour l'application considérée, et plusieurs possibilités existent. Considérons pour simplifier des notes binaires, $K = 2$ (par exemple « j'aime » ou « je n'aime pas ») : avec la convention $\theta_{i,j,2} = 0$, il reste un seul paramètre $\theta_{i,j}\eqdef\theta_{i,j,1}$ par couple $(i,j)$, \[ \loi_\param(Y_{i,j} = 1) = \frac{\exp(\theta_{i,j})}{1+\exp(\theta_{i,j})}, \] et $\param = (\theta_{i,j})$ est une matrice $m_1\times m_2$. L'hypothèse de rang faible exprime que les préférences des utilisateurs sont des mélanges d'un petit nombre $q$ de comportements « prototypes », c'est-à-dire que la matrice $\param$ est de rang au plus $q$ : \[ \param = UV^\top, \qquad U\in\rset^{m_1\times q}, \quad V\in\rset^{m_2\times q}, \] soit $\theta_{i,j} = \langle u_i,v_j\rangle$, où $u_i\in\rset^q$ (la $i$-ème ligne de $U$) décrit l'utilisateur $i$ et $v_j\in\rset^q$ (la $j$-ème ligne de $V$) décrit le produit $j$ dans un même espace de « facteurs latents ». Le nombre de paramètres est alors $q(m_1+m_2)$, à $q^2$ près : la factorisation n'est pas unique, puisque $UV^\top = (UA)\big(V(A^{-1})^\top\big)^\top$ pour toute matrice inversible $A$ de taille $q\times q$, et l'ensemble des matrices de rang $q$ est de dimension $q(m_1+m_2)-q^2$. Le rang $q$ est souvent choisi de telle sorte que \[ q(m_1+m_2) \ll n \ll m_1m_2. \] Seule la matrice $\param$, et non le couple $(U,V)$, est identifiable ; c'est bien elle, c'est-à-dire l'ensemble des probabilités $\loi_\param(Y_{i,j} = 1)$ pour tous les couples $(i,j)$, qui importe pour la recommandation.

Recommandation.

• Estimer les matrices $U$ et $V$, ou plutôt leur produit $\param = UV^\top$, à partir des notes observées. Dans ce cas, comme dans la plupart des applications « réelles », il n'y a pas de méthode d'estimation « élémentaire » : les méthodes générales (maximum de vraisemblance, méthode des moments) sont l'objet du cours 2.
• Imputer les données manquantes : pour $(i,j)\notin I$, la note $Y_{i,j}$ n'a pas été observée, mais l'estimation $\hat\theta_{i,j} = \langle\hat u_i,\hat v_j\rangle$ fournit une prédiction de la probabilité que le sujet $i$ apprécie le produit $j$ ; on lui recommande alors les produits pour lesquels cette probabilité est la plus élevée.
• C'est la base des systèmes de recommandation ou de filtrage collaboratif : les notes des autres utilisateurs, à travers les facteurs latents partagés, renseignent sur les goûts de chacun. Dans un système opérationnel, il y a bien entendu un certain nombre de raffinements à apporter, mais le principe est celui-là.

6.Pour aller plus loin : mesures de domination et modèles non dominés

Télécharger cette partie

Vous trouverez ici la feuille d'exercices de la première petite classe, ainsi que quelques questions courtes qui permettent de vérifier la compréhension du chapitre au préalable. Dans toute la feuille, $\lleb$ = mesure de Lebesgue ; « i.i.d. » = indépendantes et identiquement distribuées ; $\expo(\lambda)$ : densité $p_\lambda(u) = \lambda\rme^{-\lambda u}$, moyenne $\lambda^{-1}$, cas particulier de $\Gamma(n,\lambda)$ (additivité : $\Gamma(n,\lambda) * \Gamma(n',\lambda) = \Gamma(n+n',\lambda)$).

Questions courtes : avez-vous assimilé le chapitre ?

Répondez de tête, sans revenir au texte. En cas d'hésitation, dépliez le renvoi.

1. De quels éléments est constitué un modèle statistique ?
   renvoi

   → Définition, onglet Cours §2
2. Vrai ou faux : dans un modèle paramétrique, l'ensemble $\Param$ peut être de dimension infinie.
   renvoi

   → Définition, onglet Cours §2 ($\Param\subseteq\rset^d$)
3. Le modèle $\big(\rset^n,\borel(\rset^n),\{\gauss(\mu\bigone_n,\sigma^2\Id_n)\}\big)$ est-il paramétrique ? identifiable ?
   renvoi

   → Onglet Cours §2 et §4
4. Vrai ou faux : une statistique $T$ peut dépendre du paramètre $\param$.
   renvoi

   → Définition, onglet Cours §5
5. Qu'est-ce que le modèle induit par une statistique $T$ ? Donner le modèle induit par $S_n = \sum_i X_i$ pour un $n$-échantillon de Bernoulli.
   renvoi

   → Onglet Cours §6
6. Vrai ou faux : le $n$-échantillon d'un modèle coïncide en général avec le produit de $n$ copies de ce modèle.
   renvoi

   → Bases de maths §2
7. Donner une mesure dominant $\{\ber(\param)\}$, puis $\{\gauss(\mu,1)\}$.
   renvoi

   → Définition, onglet Cours §2
8. Le mélange gaussien $p_{\pi,\mu_1,\mu_2}$ ($\sigma^2$ connu, paramètres libres) est-il identifiable ? Comment le rendre identifiable ?
   renvoi

   → Onglet Cours §4
9. Dans les réponses randomisées, pourquoi exige-t-on $q\neq 1/2$ ? Que se passe-t-il quand $q\to 1/2$ ?
   renvoi

   → Onglet Cours §8

Groupe 1 — Exercices traités en petite classe

EXO 4Modèle de régression linéaire gaussienne ★★ Objectif : modèle de régression (linéaire) gaussienne — poursuivi en PC 2

Corrigé de cet exercice

On modélise la dépendance d'une réponse $y_i\in\rset$ à $k$ variables explicatives $\mathbf{x}_i\in\rset^k$, sur $n$ individus. Modèle : $\big(\rset^n,\borel(\rset^n),\{p_{n,\param}\cdot\lleb^{\otimes n} : \param = (\beta,\sigma)\in\rset^k\times\rset_+^*\}\big)$, \[ p_{n,\param}(y_1,\cdots,y_n) \eqdef \sigma^{-n}\prod_{i=1}^n g\Big(\frac{y_i - f(\mathbf{x}_i'\beta)}{\sigma}\Big), \] $g$ densité, $f:\rset\to\rset$.

1. Montrer que les $(Y_1,\dots,Y_n)$ sont indépendantes et préciser leurs lois.
2. Montrer que les $\sigma^{-1}\{Y_i - f(\beta'\mathbf{x}_i)\}$ sont i.i.d. de loi $g\cdot\lleb$.
3. (Régression linéaire gaussienne.) $k=2$, $g$ gaussienne centrée réduite, $f(\eta) = \eta$, $\mathbf{x}_i = (1, x_i)^\top$, donc $f(\beta'\mathbf{x}_i) = \beta_1+\beta_2x_i$. Proposer un estimateur de $\beta_1$ et $\beta_2$.
4. Sur les données d'ozone ci-dessous : le modèle de régression linéaire vous semble-t-il approprié ? Quelles améliorations sembleraient souhaitables ?

Groupe 2 — Exercices bonus

Guide de lecture. Trois exercices ★★★, non traités en PC, conseillés dans cet ordre selon vos objectifs : Score de football pour consolider la construction de modèles (Poisson, mélange, sur-dispersion ; prérequis : fonction génératrice) ; Prix d'un actif financier pour la démarche de critique de modèle (asymétrie, kurtosis) sur données réelles ; Identifiabilité des mélanges, le plus exigeant, qui complète rigoureusement l'exemple du cours (prérequis : fonctions caractéristiques).

Les corrigés de la première petite classe sont disponibles ci-dessous. Avant de déplier une solution, cherchez la question par vous-même et rédigez votre réponse ; comparez ensuite votre rédaction à celle qui est proposée ici. Les notations sont celles de la feuille d'exercices : $\lleb$ désigne la mesure de Lebesgue, les vecteurs sont des vecteurs colonne et $a'$ est la transposée de $a$.

Groupe 1 — Exercices traités en petite classe

EXO 3Modèle de translation et d'échelle ★★ L'énoncé de cet exercice se trouve dans la feuille d'exercices.

Question 1

Sous le modèle $p_{n,\theta}\cdot\lleb^{\otimes n}$, le vecteur $(X_1,\cdots,X_n)$ a une densité de forme produit : ses composantes sont donc indépendantes. De plus, il s'agit d'un produit de la même fonction $u\mapsto g((u-\mu)/\sigma)$ (à une constante multiplicative près), donc ces composantes ont même loi. La constante $C_\param$ est telle que \[ C_\param\int g\Big(\frac{u-\mu}{\sigma}\Big)\rmd u = 1, \] soit $C_\param = 1/\sigma$ (changement de variable $v = (u-\mu)/\sigma$, qui donne $\int g((u-\mu)/\sigma)\rmd u = \sigma\int g(v)\rmd v = \sigma$). Par suite, cette loi est donnée par la densité \[ u\mapsto q_\theta(u) \eqdef \frac{1}{\sigma}\,g\Big(\frac{u-\mu}{\sigma}\Big). \]

Question 2

Sous $p_{n,\theta}\cdot\lleb^{\otimes n}$, les variables $X_i$, $1\leq i\leq n$, sont i.i.d. de loi $q_\theta\cdot\lleb$. En appliquant le résultat de l'exercice 2, où la densité $p_\param$ est remplacée par $q_\theta$, avec $a_k \leftarrow -\mu/\sigma$ et $b_k\leftarrow 1/\sigma$, on voit que $(X_i-\mu)/\sigma$ a pour densité \[ y\mapsto \sigma\,q_\theta(\sigma y + \mu) = g(y). \] Ces variables étant de plus indépendantes, les $(X_i-\mu)/\sigma$, $i\in\{1,\dots,n\}$, sont i.i.d. de densité $g$ par rapport à $\lleb$.

Question 3

Sous $p_{n,\theta}\cdot\lleb^{\otimes n}$, les statistiques $(X_i-\mu)/\sigma$, $i\leq n$, sont i.i.d. de loi gaussienne centrée réduite : $\mu$ est donc l'espérance de $X_i$ et $\sigma^2$ sa variance. Par un argument de loi (faible) des grands nombres, on sait que \[ \Big(\frac{1}{n}S_n, \frac{1}{n}K_n\Big) \xrightarrow[n\to\infty]{\ \PP_{n,\param}\ } (\mu,\sigma^2). \] Par suite, on peut proposer comme estimateur \[ \begin{aligned} (\hat{\mu}_n, \widehat{\sigma}_n^2) &\eqdef \Big(\frac{1}{n}\sum_{i=1}^n X_i,\ \frac{1}{n}\sum_{i=1}^n X_i^2 - (\hat{\mu}_n)^2\Big) \\ &= \Big(\frac{1}{n}\sum_{i=1}^n X_i,\ \frac{1}{n}\sum_{i=1}^n (X_i-\hat{\mu}_n)^2\Big) = \Big(\frac{1}{n}S_n, \frac{1}{n}K_n\Big). \end{aligned} \]

On aurait aussi pu proposer l'estimateur de la médiane empirique pour $\mu$. La figure ci-dessous compare l'estimateur de $\mu$ par la moyenne empirique et par la médiane empirique. On répète $5000$ fois l'algorithme suivant : (i) tirer $n$ réalisations indépendantes de gaussiennes d'espérance $\mu = 2$ et de variance $1$ ; (ii) calculer chacun des deux estimateurs à partir de ces $n$ réalisations. On trace ensuite le boxplot des $5000$ réalisations de chacun des estimateurs, dans le cas où $n=50$ (gauche) et $n=500$ (droite).

Complément : estimateur par maximum de vraisemblance (MV) et estimateur par la méthode des moments dans le cas où $g$ est la densité d'une loi gaussienne centrée réduite.

Les calculs ci-dessous montrent que pour ce modèle gaussien, les deux approches coïncident, et que l'estimateur MV (et donc celui des moments) est unique.

1. Maximum de vraisemblance. Sous $p_{n,\param}\cdot\lleb^{\otimes n}$, la vraisemblance des observations $(X_1,\cdots,X_n)$ s'écrit \[ L_n(\theta) \eqdef \frac{1}{(2\pi)^{n/2}\,\sigma^n}\exp\Big(-\frac{1}{2}\sum_{k=1}^n \frac{(X_k-\mu)^2}{\sigma^2}\Big), \] dont on déduit la log-vraisemblance (à une constante $C$ près) \[ \ell_n(\theta) \eqdef C - \frac{n}{2}\ln\sigma^2 - \frac{1}{2}\sum_{k=1}^n \frac{(X_k-\mu)^2}{\sigma^2}. \] On peut vérifier aisément que cette quantité possède un unique maximum, donné par la solution des équations de vraisemblance $\nabla\ell_n(\theta) = 0$ et noté $\hat{\theta}_n$. On obtient \[ \hat{\theta}_n = \begin{bmatrix}\hat{\mu}_n \\ \widehat{\sigma}^2_n\end{bmatrix} \eqdef \begin{bmatrix}\frac{1}{n}\sum_{k=1}^n X_k \\ \frac{1}{n}\sum_{k=1}^n \big(X_k - \frac{1}{n}\sum_{j=1}^n X_j\big)^2\end{bmatrix} = \begin{bmatrix}\frac{1}{n}\sum_{k=1}^n X_k \\ \frac{1}{n}\sum_{k=1}^n X_k^2 - \hat{\mu}_n^2\end{bmatrix}, \] qui sont respectivement la moyenne empirique et la variance empirique.
2. Estimateur des moments. On a deux paramètres inconnus ; on sait que \[ \PE_\theta[X_1] = \mu, \qquad \Var_\theta(X_1) = \sigma^2, \] dont on déduit les estimateurs \[ \hat{\theta}_n = \begin{bmatrix}\hat{\mu}_n \\ \widehat{\sigma}^2_n\end{bmatrix} \eqdef \begin{bmatrix}\frac{1}{n}\sum_{k=1}^n X_k \\ \frac{1}{n}\sum_{k=1}^n \big(X_k - \frac{1}{n}\sum_{j=1}^n X_j\big)^2\end{bmatrix}. \]

Complément : estimateur MV et estimateur par la méthode des moments dans le cas où $g$ est la densité d'une loi de Laplace.

On discute les deux mêmes stratégies que précédemment. Cette fois, les deux approches ne conduisent pas au même estimateur ; de plus, l'estimateur des moments n'est pas unique.

1. Estimateur des moments. La méthode reste la même que dans le cas précédent, puisque les relations $\PE_\theta[X_1] = \mu$ et $\Var_\theta(X_1) = \sigma^2$ restent vraies quelle que soit la loi $g$. On a donc \[ \hat{\theta}_n = \begin{bmatrix}\hat{\mu}_n \\ \widehat{\sigma}^2_n\end{bmatrix} \eqdef \begin{bmatrix}\frac{1}{n}\sum_{k=1}^n X_k \\ \frac{1}{n}\sum_{k=1}^n \big(X_k - \frac{1}{n}\sum_{j=1}^n X_j\big)^2\end{bmatrix} = \begin{bmatrix}\frac{1}{n}\sum_{k=1}^n X_k \\ \frac{1}{n}\sum_{k=1}^n X_k^2 - \hat{\mu}_n^2\end{bmatrix}. \]
2. Estimateur MV. Ici, la log-vraisemblance des observations est donnée par \[ \ell_n(\theta) \eqdef C - n\ln\sigma - \frac{1}{\sigma}\sum_{k=1}^n |X_k-\mu|. \] Maximiser cette quantité en $\sigma$ donne \[ \hat{\sigma}_n \eqdef \frac{1}{n}\sum_{k=1}^n |X_k-\mu|. \] Maximiser cette quantité en $\mu$ équivaut à minimiser $\mu\mapsto\sum_{k=1}^n |X_k-\mu|$. Le résultat donne (voir ci-dessous une explication) \[ \hat{\mu}_n = \begin{cases} X_{(n+1)/2:n} & \text{lorsque } n \text{ est impair,} \\ \text{tout point de } ]X_{n/2:n}, X_{n/2+1:n}[ & \text{lorsque } n \text{ est pair,}\end{cases} \] où l'on a noté $X_{1:n},\cdots,X_{n:n}$ les statistiques d'ordre. On reconnaît la définition de la médiane.

Détaillons la minimisation de la fonction $h : \mu\mapsto\sum_{k=1}^n |X_k-\mu|$. Cette fonction est linéaire par morceaux, continue, dérivable partout sauf en $\mu\in\{X_1,\cdots,X_n\}$ :

• sur $]-\infty, X_{1:n}[$, $h(\mu) = \sum_{k=1}^n X_k - n\mu$, de dérivée $-n$ ;
• sur $]X_{n:n}, +\infty[$, $h(\mu) = n\mu - \sum_{k=1}^n X_k$, de dérivée $n$ ;
• sur $]X_{q:n}, X_{q+1:n}[$, $h(\mu) = \sum_{k=1}^q (\mu - X_k) + \sum_{k=q+1}^n (X_k-\mu)$, de dérivée $2q-n$.

On voit donc que $\mu\mapsto h(\mu)$ est d'abord décroissante, puis croissante. Elle atteint son minimum au point $\mu = X_{q_\star+1:n}$ lorsque $n = 2q_\star+1$, et son minimum sur l'intervalle $]X_{q_\star:n}, X_{q_\star+1:n}[$ lorsque $n = 2q_\star$.

Question 4

Sous $p_{n,\theta}\cdot\lleb^{\otimes n}$ :

• la loi de $X_i$ est une gaussienne d'espérance $\mu$ et de variance $\sigma^2$ ;
• les variables $X_1,\cdots,X_n$ sont indépendantes ;
• la loi de $S_n \eqdef \sum_{i=1}^n X_i$ est une gaussienne d'espérance $n\mu$ et de variance $n\sigma^2$ ;
• la loi de \[ K_n \eqdef \sum_{i=1}^n (X_i - n^{-1}S_n)^2 = \sum_{i=1}^n X_i^2 - n^{-1}S_n^2 \] est une loi Gamma de paramètres $((n-1)/2, 1/(2\sigma^2))$. Par convention, une loi Gamma de paramètres $(a,b)$ est une loi sur $\rset_+$ dont la densité est proportionnelle à $u\mapsto u^{a-1}\exp(-bu)$ ;
• les variables $S_n$ et $K_n$ sont indépendantes.

La démonstration de ce résultat se trouve dans le polycopié de cours (théorème de Gosset, Théorème théorème de Gosset). Par suite, le modèle statistique induit est \[ \Big(\rset\times\rset_+, \borel(\rset\times\rset_+), \{\rho_{n,\param}\cdot\lleb^{\otimes 2} : \theta \eqdef (\mu,\sigma^2)\in\rset\times\rset_+^*\}\Big), \] où \[ \rho_{n,\param}(z,y) \eqdef C_n\,\exp\Big(-\frac{(z-n\mu)^2}{2n\sigma^2}\Big)\exp\Big(-\frac{y}{2\sigma^2}\Big)\,y^{(n-3)/2}\,\indi{\rset}(z)\,\indi{\rset_+}(y), \] en ayant posé \[ C_n \eqdef \frac{1}{\sqrt{2\pi n\sigma^2}}\Big(\frac{1}{2\sigma^2}\Big)^{(n-1)/2}\frac{1}{\Gamma((n-1)/2)}. \]

Complément : pour aller plus loin sur les modèles induits, quel est le modèle induit par $(S_n, \sum_{i=1}^n X_i^2)$ ?

Remarquons tout d'abord que \[ \sum_{i=1}^n X_i^2 = K_n + \frac{S_n^2}{n}. \] Pour identifier le modèle induit, il est nécessaire d'identifier la loi de $(S_n, \sum_{i=1}^n X_i^2)$ sous $p_{n,\param}\cdot\lleb^{\otimes n}$. Soit $h$ une fonction continue bornée. On a \[ \begin{aligned} \PE_{n,\theta}\big[h(S_n, K_n + n^{-1}S_n^2)\big] &= C_n\int_{\rset\times\rset_+} h(z, y + n^{-1}z^2)\,\exp\Big(-\frac{(z-n\mu)^2}{2n\sigma^2}\Big) \\ &\qquad\qquad\times \exp\Big(-\frac{y}{2\sigma^2}\Big)\,y^{(n-3)/2}\,\rmd z\,\rmd y \\ &= C_n\int_{\rset}\int_{u^2/n}^{+\infty} h(u,v)\,\exp\Big(-\frac{(u-n\mu)^2}{2n\sigma^2}\Big) \\ &\qquad\qquad\times \exp\Big(-\frac{v-u^2/n}{2\sigma^2}\Big) \\ &\qquad\qquad\times \Big(v-\frac{u^2}{n}\Big)^{(n-3)/2}\rmd u\,\rmd v \\ &= C_n\exp\Big(-\frac{n\mu^2}{2\sigma^2}\Big) \\ &\qquad\qquad\times \int_{\rset}\int_{u^2/n}^{+\infty} h(u,v)\,\exp\Big(\frac{u\mu}{\sigma^2} - \frac{v}{2\sigma^2}\Big) \\ &\qquad\qquad\times \Big(v-\frac{u^2}{n}\Big)^{(n-3)/2}\rmd u\,\rmd v, \end{aligned} \] en ayant fait le changement de variable \[ z = u, \qquad y = v - u^2/n. \] On en déduit la densité de la statistique $(\sum_{i=1}^n X_i, \sum_{i=1}^n X_i^2)$ sous $p_{n,\theta}\cdot\lleb^{\otimes n}$, puis la définition du modèle statistique induit : \[ \Big(\rset\times\rset_+, \borel(\rset\times\rset_+), \{\tilde{\rho}_{n,\param}\cdot\lleb^{\otimes 2} : \param\in\Param\}\Big), \] où \[ \tilde{\rho}_{n,\param}(u,v) \propto \exp\Big(\frac{u\mu}{\sigma^2} - \frac{v}{2\sigma^2}\Big)\Big(v - \frac{u^2}{n}\Big)^{(n-3)/2}\,\indi{\rset}(u)\,\indi{[u^2/n, +\infty[}(v). \] On observera que, bien que sous $p_{n,\param}\cdot\lleb^{\otimes n}$ les statistiques $(S_n, K_n)$ soient indépendantes, il n'en est pas de même pour $(S_n, \sum_{i=1}^n X_i^2)$.

EXO 4Modèle de régression linéaire gaussienne ★★ L'énoncé de cet exercice se trouve dans la feuille d'exercices.

Question 1

Soit $\theta \eqdef (\beta,\sigma)$. Sous la loi $p_{n,\theta}\cdot\lleb^{\otimes n}$, le vecteur aléatoire $(Y_1,\cdots,Y_n)$ a la densité \[ (u_1,\cdots,u_n)\mapsto \sigma^{-n}\prod_{i=1}^n g\Big(\frac{u_i - f(\beta'\mathbf{x}_i)}{\sigma}\Big), \] qui est de forme produit : les composantes sont donc indépendantes. De plus, la loi de $Y_i$ a pour densité \[ u_i\mapsto g\Big(\frac{u_i - f(\beta'\mathbf{x}_i)}{\sigma}\Big) \] à une constante multiplicative près. Un calcul de constante de normalisation montre que cette constante multiplicative vaut $1/\sigma$.

Question 2

En utilisant encore le résultat de l'exercice 2 (translation $-f(\beta'\mathbf{x}_i)/\sigma$ et échelle $1/\sigma$ appliquées à la densité de $Y_i$ obtenue à la question 1), on montre que sous $p_{n,\theta}\cdot\lleb^{\otimes n}$, la loi de $(Y_i - f(\beta'\mathbf{x}_i))/\sigma$ est $g\cdot\lleb$. Ces variables sont indépendantes (question 1) et de même loi : elles sont i.i.d. de loi $g\cdot\lleb$.

Question 3

On sait que sous $p_{n,\theta}\cdot\lleb^{\otimes n}$, \[ Y_i \stackrel{\mathrm{ind}}{\sim} \gauss(\beta_1 + \beta_2 x_i, \sigma^2), \] ce qui entraîne que pour tout $i$, $Y_i$ a même loi que $\beta_1 + \beta_2 x_i + W_i$ où $W_i\sim\gauss(0,\sigma^2)$. On peut donc comprendre la donnée mesurée $y_i$ comme la mesure de $\beta_1+\beta_2x_i$ entachée d'une perturbation, modélisée comme la réalisation d'une loi gaussienne centrée de variance $\sigma^2$.

• On peut chercher le paramètre qui maximise la vraisemblance des observations : la log-vraisemblance est donnée par \[ \theta\mapsto\ell_n(\theta) \eqdef C - \frac{n}{2}\ln\sigma^2 - \frac{1}{2\sigma^2}\sum_{i=1}^n \big(Y_i - \beta_1 - \beta_2 x_i\big)^2, \] où $C$ collecte tous les termes qui ne dépendent pas de $\theta$. En introduisant les notations \[ \mathbf{X} \eqdef \begin{bmatrix} 1 & x_1 \\ \vdots & \vdots \\ 1 & x_n\end{bmatrix}\in\rset^{n\times 2}, \qquad \beta \eqdef \begin{bmatrix}\beta_1 \\ \beta_2\end{bmatrix}\in\rset^2, \qquad \mathbf{Y} \eqdef \begin{bmatrix} Y_1 \\ \vdots \\ Y_n\end{bmatrix}\in\rset^n, \] on a \[ \ell_n(\theta) = C - \frac{n}{2}\ln\sigma^2 - \frac{1}{2\sigma^2}\|\mathbf{Y} - \mathbf{X}\beta\|^2. \] Cette fonction possède un unique maximum, obtenu en résolvant les équations de vraisemblance $\nabla\ell_n = 0$. Pour $\beta$, on doit minimiser la forme quadratique \[ \beta\mapsto \beta'\mathbf{X}'\mathbf{X}\beta - 2\beta'\mathbf{X}'\mathbf{Y} + \mathbf{Y}'\mathbf{Y}, \] et le minimum est atteint en $\hat{\beta}_n$ solution de $\mathbf{X}'\mathbf{X}\beta = \mathbf{X}'\mathbf{Y}$, soit (en supposant la matrice $\mathbf{X}'\mathbf{X}$ inversible) \[ \hat{\beta}_n \eqdef \big(\mathbf{X}'\mathbf{X}\big)^{-1}\mathbf{X}'\mathbf{Y}. \] Noter que $\mathbf{X}\hat{\beta}_n$ est la projection de $\mathbf{Y}$ sur l'espace engendré par les colonnes de $\mathbf{X}$ : en posant $H \eqdef \mathbf{X}(\mathbf{X}'\mathbf{X})^{-1}\mathbf{X}'$, on a $H^2 = H$, et $H$ est le projecteur sur l'espace vectoriel engendré par les colonnes de $\mathbf{X}$ ; donc $H\mathbf{Y}$ est le projeté de $\mathbf{Y}$ sur cet espace. Dans le modèle réduit à la constante, $f(\beta'\mathbf{x}_i) = \beta_1$, la matrice $\mathbf{X}$ se réduit au vecteur constant $\bigone_n \eqdef (1,\cdots,1)'$ : l'estimateur est alors le projeté de $\mathbf{Y}$ sur $\bigone_n$, et il vaut $n^{-1}\sum_{i=1}^n Y_i$.

  Complément : estimation de $\sigma^2$.

  Pour l'estimateur de $\sigma^2$ par la méthode du MV, on obtient \[ \hat{\sigma}^2_n \eqdef \frac{1}{n}\|\mathbf{Y} - \mathbf{X}\hat{\beta}_n\|^2 = \frac{1}{n}\sum_{i=1}^n \big(Y_i - \hat{\beta}_{n,1} - \hat{\beta}_{n,2}x_i\big)^2 ; \] cet estimateur est la variance des résidus, c'est-à-dire la variance de la composante de $\mathbf{Y}$ orthogonale à l'espace vectoriel engendré par les colonnes de $\mathbf{X}$ (en quelque sorte, la « part » de $\mathbf{Y} - \PE[\mathbf{Y}]$ non expliquée par les variables explicatives $x_1,\cdots,x_n$).

• On peut aussi chercher à minimiser la dispersion du nuage de points $\{(\mathbf{x}_i, y_i), 1\leq i\leq n\}$ autour de la droite de régression (s'appuyer sur les graphes) ; cela conduit à définir \[ \hat{\beta}_n \eqdef \mathop{\mathrm{arg\,min}}_{\beta}\sum_{i=1}^n \big(Y_i - \beta'\mathbf{x}_i\big)^2 = \mathop{\mathrm{arg\,min}}_{\beta}\|\mathbf{Y} - \mathbf{X}\beta\|^2. \] On aboutit au même résultat : $\hat{\beta}_n$ est tel que $\mathbf{X}\hat{\beta}_n$ est le projeté de $\mathbf{Y}$ sur l'espace engendré par les colonnes de $\mathbf{X}$.

Question 4

La figure de gauche représente :

• un nuage de points de coordonnées $(x_i, y_i)$ ;
• une droite horizontale : c'est la droite d'équation $y = b_1^{(1)}$, où $b_1^{(1)}$ est l'évaluation de l'estimateur $\hat{\beta}_1^{(1)} \eqdef n^{-1}\sum_{i=1}^n Y_i$ en les points mesurés $(y_1,\cdots,y_n)$. On obtient cet estimateur en considérant un modèle de régression avec $f(\beta'\mathbf{x}_i) = \beta_1$ ;
• une droite de pente non nulle, d'équation $y = \tilde b_1 + \tilde b_2 x$, où $(\tilde b_1, \tilde b_2)$ est l'évaluation de l'estimateur $\hat{\beta}_n = (\mathbf{X}'\mathbf{X})^{-1}\mathbf{X}'\mathbf{Y}$ de la question 3 en les points mesurés $(y_1,\cdots,y_n)$. On obtient cet estimateur en considérant un modèle de régression avec $f(\beta'\mathbf{x}_i) = \beta_1 + \beta_2 x_i$.

Une fois cette droite de régression estimée (c'est-à-dire une fois calculés les coefficients $(\tilde b_1, \tilde b_2)$), on peut évaluer les résidus $e_i \eqdef y_i - \widehat{y}_i$, c'est-à-dire la différence entre la valeur mesurée $y_i$ et la valeur ajustée $\widehat{y}_i \eqdef \tilde b_1 + \tilde b_2 x_i$. La figure de droite représente le nuage des $n$ points de coordonnées $(\widehat{y}_i, e_i)$.

Groupe 2 — Exercices bonus

EXO 5Score de football ★★★ L'énoncé de cet exercice se trouve dans la feuille d'exercices.

Complément : densité par rapport à la mesure de comptage sur $\nset$

• La mesure de comptage $\mu$ sur $\nset$ est la mesure qui à toute partie $A$ de $\nset$ associe son cardinal : $\mu(A) = \mathrm{Card}(A)$.
• On dit qu'une loi $\xi$ sur un espace mesurable $(T,\mathcal{T})$ possède une densité $f$ par rapport à la mesure $\check{\nu}$ si pour tout $A\in\mathcal{T}$, $\xi(A) = \int_A f\,\rmd\check{\nu}$.
• Dans le cas où $\check{\nu}$ est la mesure de comptage, cette formule devient \[ \xi(A) = \sum_{a\in A} f(a). \]
• Par suite, si $X$ est une variable aléatoire à valeurs dans $\nset$ dont la loi est donnée par la suite de réels positifs $p(n) \eqdef \PP(X = n)$, $n\in\nset$, on dit que « $X$ possède la densité $(p(n))_n$ par rapport à la mesure de comptage $\mu$ ».

Question 1

Notons $s\mapsto G_X(s)$ la fonction génératrice des moments d'une variable aléatoire $X$. Lorsque $X\sim\mathcal{P}(\lambda)$, on a pour tout $s\in\rset$ \[ G_X(s) \eqdef \PE\big[s^X\big] = \exp(-\lambda)\sum_{k\geq 0} s^k\frac{\lambda^k}{k!} = \exp(-\lambda(1-s)). \]

Question 2

La loi de Poisson possède des moments de tout ordre ; $G_X$ est donc en particulier deux fois dérivable. On a \[ G_X'(1) = \PE[X], \qquad G_X''(1) = \PE[X(X-1)], \] dont on déduit que $\PE[X] = \lambda$ et $\PE[X(X-1)] = \lambda^2$. Par suite, \[ \Var(X) = \PE[X(X-1)] + \PE[X] - \big(\PE[X]\big)^2 = \lambda. \]

Question 3

Par indépendance des variables $X_1$ et $X_2$, on a $G_{X_1+X_2} = G_{X_1}G_{X_2}$. On en déduit que \[ G_{X_1+X_2}(s) = \exp(-(\lambda_1+\lambda_2)(1-s)). \] La fonction génératrice des moments caractérisant la loi, cette expression prouve que $X_1 + X_2 \sim \mathcal{P}(\lambda_1+\lambda_2)$.

Question 4

Posons $T_n \eqdef \sum_{i=1}^n X_i$. Alors $T_n$ est une variable aléatoire à valeurs dans $\nset$. D'après la question 3, sous le modèle $p_\lambda\cdot\mu$, $T_n$ suit une loi de Poisson de paramètre $n\lambda$. On en déduit que le modèle statistique induit par $T_n$ est le triplet \[ \Big(\nset, \mathcal{P}(\nset), \{p_{n\lambda}\cdot\mu : \lambda\in\rset_+^*\}\Big). \]

Question 5

• Sous $p_\lambda\cdot\mu$, $T_n$ suit une loi de Poisson de paramètre $n\lambda$. On peut opter pour une approche par maximum de vraisemblance : la log-vraisemblance est donnée par ($C$ désigne une quantité indépendante de $\lambda$) \[ \lambda\mapsto\ell_n(\lambda) \eqdef C - n\lambda + T_n\ln\lambda, \] qui atteint son maximum sur $\rset_+^*$ en un unique point, donné par \[ \hat{\lambda}_n \eqdef \frac{1}{n}\sum_{k=1}^n X_k. \]
• En exploitant le fait que $(X_1,\cdots,X_n)$ est un $n$-échantillon d'un modèle statistique de Poisson, on peut proposer un estimateur par la méthode des moments fondé sur le moment d'ordre $1$ des variables $X_i$. La relation $\PE_\lambda[X_1] = \lambda$ définit l'estimateur $\tilde{\lambda}_n$ comme la solution de l'équation \[ \frac{1}{n}\sum_{k=1}^n X_k = \lambda, \] ce qui donne le même estimateur que celui identifié par maximum de vraisemblance.
• En exploitant encore le fait que $(X_1,\cdots,X_n)$ est un $n$-échantillon d'un modèle de Poisson, on peut proposer un estimateur par la méthode des moments fondé sur le moment d'ordre $2$ des variables $X_i$. La relation $\PE_\lambda[X_1^2] = \lambda(1+\lambda)$ définit l'estimateur $\check{\lambda}_n$ comme la solution de \[ \lambda > 0 \ \text{ telle que }\ \frac{1}{n}\sum_{k=1}^n X_k^2 = \lambda(1+\lambda), \] c'est-à-dire l'unique racine strictement positive de \[ \lambda^2 + \lambda - \frac{1}{n}\sum_{k=1}^n X_k^2 = 0. \]

Question 6

On collecte les données $\ell_1, v_1, \cdots, \ell_n, v_n$, où $\ell_i$ (resp. $v_i$) est le nombre de buts marqués par l'équipe locale (resp. visiteuse) lors du $i$-ème match. Ces données sont une réalisation du vecteur aléatoire $(L_1, V_1, \cdots, L_n, V_n)$ à valeurs dans $\nset^{2n}$ ; cet espace est muni de la tribu de ses parties ; on veut munir l'espace mesurable d'une loi telle que, sous cette loi, les variables canoniques soient indépendantes et de lois de Poisson de paramètres adéquats, à savoir \[ \begin{aligned} (\ell_1, v_1, \cdots, \ell_n, v_n)\mapsto \tilde{p}_\param(\ell_1, v_1, \cdots, \ell_n, v_n) &\eqdef \prod_{k=1}^n \Big(\frac{\lambda_1^{\ell_k}}{\ell_k!}\,\frac{\lambda_2^{v_k}}{v_k!}\,\exp(-\lambda_1-\lambda_2)\Big), \\ \param &\eqdef (\lambda_1,\lambda_2). \end{aligned} \] Par suite, le modèle statistique est \[ \Big(\nset^{2n}, \mathcal{P}(\nset^{2n}), \{\tilde{p}_\param\cdot\mu^{\otimes 2n} : \param\in\rset_+^*\times\rset_+^*\}\Big). \]

Question 7

Par un estimateur des moments (qui coïncide avec l'estimateur MV), on peut prendre comme estimateur \[ \hat{\lambda}_{1,n} \eqdef \frac{1}{n}\sum_{k=1}^n L_k, \qquad \hat{\lambda}_{2,n} \eqdef \frac{1}{n}\sum_{k=1}^n V_k. \] On peut donc estimer $\lambda_1$ et $\lambda_2$ respectivement par $1{,}468$ et $1{,}055$. On peut discuter le modèle poissonien en observant que la variance des données est supérieure à la moyenne des données, dans les trois cas (les locaux, les visiteurs, le nombre total de buts par match), alors que, d'après la question 2, une loi de Poisson a une variance égale à sa moyenne.

Remarque : modèle identifiable.

Noter que si l'on avait uniquement collecté l'information $(\ell_1 + v_1, \cdots, \ell_n + v_n)$, c'est-à-dire le nombre total de buts marqués par match, on n'aurait pas pu estimer chacun des deux paramètres $\lambda_1, \lambda_2$. En effet, le modèle statistique associé à ces observations aurait été :

• espace des observations : $\nset^n$ muni de la tribu de ses parties ;
• paramètre $\tilde{\theta} \eqdef (\lambda_1,\lambda_2)$ à valeurs dans $\tilde{\Theta} \eqdef \rset_+^*\times\rset_+^*$ ;
• la famille de lois $\{\check{p}_{\tilde{\theta}}\cdot\mu^{\otimes n} : \tilde{\theta}\in\rset_+^*\times\rset_+^*\}$ de densité \[ (s_1,\cdots,s_n)\mapsto \exp(-(\lambda_1+\lambda_2)n)\prod_{k=1}^n \frac{(\lambda_1+\lambda_2)^{s_k}}{s_k!}. \]

La loi ne dépend des paramètres inconnus $\lambda_1,\lambda_2$ qu'à travers la somme $\lambda_1+\lambda_2$. Ce modèle est dit non identifiable puisqu'on peut trouver plusieurs paires $(\lambda_1,\lambda_2)$ de réels strictement positifs dont la somme vaut une valeur donnée : il existe $\tilde{\theta}\neq\check{\theta}$ tels que $\check{p}_{\tilde{\theta}} = \check{p}_{\check{\theta}}$. On pourra donc estimer la somme $\lambda_1+\lambda_2$, mais on sera incapable d'estimer chacune des quantités $\lambda_1$, $\lambda_2$.

Question 8

Complément : loi mélange.

• Soient $f_0\cdot\nu_0$ et $f_1\cdot\nu_1$ des lois de probabilité définies sur un espace mesurable $(T,\mathcal{T})$ avec $T\subseteq\rset^d$ ; ce contexte inclut par exemple le cas de deux densités par rapport à la mesure de Lebesgue sur $\rset^d$, de deux lois discrètes sur $\nset$, ou d'une loi discrète et d'une loi à densité par rapport à la mesure de Lebesgue.
• Soit $\pi\in]0,1[$. Une variable aléatoire $X$ de loi mélange donnée par \[ (1-\pi)\,f_0\cdot\nu_0 + \pi\,f_1\cdot\nu_1 \] a même loi que $(1-U)\,V + U\,W$, où $U, V, W$ sont des variables aléatoires indépendantes, $V\sim f_0\cdot\nu_0$, $W\sim f_1\cdot\nu_1$ et $U$ est une variable de Bernoulli de paramètre $\pi$. En effet, pour toute fonction $h$ mesurable bornée, on a \[ \begin{aligned} \PE\big[h((1-U)V + UW)\big] &= \PE\big[h((1-U)V + UW)\,\indi{\{U=0\}}\big] \\ &\quad + \PE\big[h((1-U)V + UW)\,\indi{\{U=1\}}\big] \\ &= \PE\big[h(V)\,\indi{\{U=0\}}\big] + \PE\big[h(W)\,\indi{\{U=1\}}\big] \\ &= \PP(U=0)\int h(v)\,f_0(v)\,\rmd\nu_0(v) \\ &\quad + \PP(U=1)\int h(w)\,f_1(w)\,\rmd\nu_1(w) \\ &= (1-\pi)\int h(x)\,f_0(x)\,\rmd\nu_0(x) \\ &\quad + \pi\int h(x)\,f_1(x)\,\rmd\nu_1(x). \end{aligned} \]
• Cela équivaut à dire que « avec probabilité $1-\pi$, $X = V$ ; et avec probabilité $\pi$, $X = W$ ».
• Pour obtenir une réalisation d'une variable aléatoire ayant cette loi, il suffit de tirer une variable de Bernoulli de paramètre $\pi$. Si l'on obtient $0$, on retourne la réalisation d'une variable de loi $f_0\cdot\nu_0$ ; si l'on obtient $1$, on retourne une réalisation d'une variable de loi $f_1\cdot\nu_1$.
• On peut généraliser le modèle de mélange à plus de deux composantes : \[ \sum_{i=1}^I \alpha_i\,f_i\cdot\nu_i, \] où les poids $\alpha_i$ sont positifs et tels que $\sum_{i=1}^I \alpha_i = 1$.

Ici, $f_0\cdot\nu_0$ est la loi de Dirac en zéro : $V = 0$ avec probabilité $1$ ; et $W$ suit une loi de Poisson de paramètre $\lambda$. Par suite, simuler sous cette loi mélange revient à (a) tirer une variable de Bernoulli de paramètre $\pi$, ce que l'on obtient à partir d'une variable $U'$ uniforme sur $[0,1]$ en posant $U = \indi{\{U'\leq\pi\}}$ ; (b) si l'on obtient $0$, retourner $0$, et si l'on obtient $1$, retourner le résultat d'un tirage d'une variable de Poisson de paramètre $\lambda$.

Question 9

Notons $X$ une variable aléatoire ayant cette loi mélange. Puisque $X$ a même loi que $(1-U)V + UW$ avec $U, V, W$ indépendantes, on a \[ \PE[X] = \PE[(1-U)V] + \PE[UW] = \PE[1-U]\,\PE[V] + \PE[U]\,\PE[W] = 0 + \pi\lambda. \] De même, on établit \[ \PE[X^2] = \PE[U^2W^2] = \PE[U^2]\,\PE[W^2] = \pi\lambda(1+\lambda). \]

Question 10

On peut déduire de ces relations un estimateur par la méthode des moments pour les paramètres $\pi, \lambda$. Posons \[ S_{1,n} \eqdef \frac{1}{n}\sum_{k=1}^n X_k, \qquad S_{2,n} \eqdef \frac{1}{n}\sum_{k=1}^n X_k^2. \] On prend alors pour estimateur de $(\pi,\lambda)$ la solution des conditions \[ S_{1,n} = \pi\lambda, \qquad S_{2,n} = \pi\lambda(1+\lambda), \qquad \pi\in]0,1[, \qquad \lambda > 0, \] si elle existe. La résolution des deux premières conditions donne \[ \check{\lambda}_n \eqdef \frac{S_{2,n}}{S_{1,n}} - 1 = \frac{S_{2,n} - S_{1,n}}{S_{1,n}}, \qquad \hat{\pi}_n \eqdef \frac{S_{1,n}^2}{S_{2,n} - S_{1,n}}, \] mais il faut vérifier que ces quantités sont bien à valeurs respectivement dans $\rset_+^*$ et dans $]0,1[$.

Puisque les variables $X_k$ sont à valeurs entières, on a toujours $S_{2,n}\geq S_{1,n}$ ; de plus, \[ \PP_{n,(\pi,\lambda)}\big(S_{2,n} = S_{1,n}\big) = \PP_{n,(\pi,\lambda)}\big(X_i\leq 1, \ \forall\, i\leq n\big) = \big((1-\pi) + \pi\exp(-\lambda)(1+\lambda)\big)^n, \] ce qui entraîne que $\sum_n \PP_{n,(\pi,\lambda)}(S_{2,n} = S_{1,n}) \lt \infty$, et donc, sous $p_{\pi,\lambda}\cdot\mu$, $S_{2,n} - S_{1,n} > 0$ presque sûrement pour tout $n$ assez grand.

Par suite, sous ce modèle, et pour tout $n$ assez grand, $\check{\lambda}_n > 0$ et $0 \lt \hat{\pi}_n \lt \infty$. En revanche, la condition $\hat{\pi}_n \lt 1$ est vraie si et seulement si $S_{2,n} - S_{1,n}^2 > S_{1,n}$, c'est-à-dire si et seulement si la variance empirique est supérieure à la moyenne empirique. Ce n'est pas toujours le cas, mais ça l'est ici sur les données collectées (c'est justement la raison pour laquelle on a envisagé ce modèle).

L'application numérique donne, pour les buts de l'équipe locale, \[ s_{1,n} = 1{,}468, \qquad s_{2,n} = 1{,}617 + 1{,}468^2, \qquad \check{\lambda}_n = 1{,}5695, \qquad \hat{\pi}_n = 0{,}9353. \]

Sur cette figure, pour $k = 0,\cdots,4$, on trace (i) la distribution empirique du nombre de buts marqués par l'équipe locale, (ii) la probabilité théorique donnée par une loi de Poisson de paramètre $\lambda = 1{,}468$, et (iii) la probabilité théorique donnée par la loi mélange $(1-\hat{\pi}_n)\,\delta_0 + \hat{\pi}_n\,\mathcal{P}(\check{\lambda}_n)$.

EXO 6Prix d'un actif financier ★★★ L'énoncé de cet exercice se trouve dans la feuille d'exercices.

Complément : cumulants, kurtosis, moments

• Lorsque le coefficient d'asymétrie est positif, les queues de distribution sont plus étalées à droite.
• Les cumulants $(\kappa_k)_k$ sont les coefficients du développement du logarithme de la transformée de Laplace (appelé fonction génératrice des cumulants) : \[ \ln\PE\big[\exp(tX)\big] = \sum_{k\geq 0}\frac{\kappa_k}{k!}t^k = \sum_{k\geq 1}\frac{\kappa_k}{k!}t^k. \]
• Par dérivation de cette fonction puis évaluation en $t = 0$, on obtient des relations entre cumulants et moments centrés ; par exemple \[ \mu_1\,(=\mu) = \kappa_1 ; \quad \mu_2\,(=\sigma^2) = \kappa_2 ; \quad \mu_3 = \kappa_3 ; \quad \mu_4 = \kappa_4 + 3\kappa_2^2 = \kappa_4 + 3\mu_2^2. \]
• On a donc une autre expression de l'excès de kurtosis : \[ \gamma_2 = \frac{\mu_4}{\mu_2^2} - 3 = \frac{\kappa_4}{\kappa_2^2}. \]
• Noter que par l'inégalité de Cauchy-Schwarz, $\mu_4\geq\mu_2^2$, donc $\gamma_2\geq -2$. Lorsque $\gamma_2 = 0$ (c'est le cas de la loi gaussienne, voir la question 4), la loi de la variable $X$ est dite « à queues plates ». Lorsque $\gamma_2 > 0$, on parle de distribution leptokurtique, ou loi à queues épaisses. Lorsque $\gamma_2 \lt 0$, on parle de distribution platikurtique, ou loi à queues légères.

Question 1

Les données collectées $(x_1,\cdots,x_n)$ sont une réalisation du vecteur aléatoire $Z \eqdef (X_1,\cdots,X_n)$, à valeurs dans $\rset^n$. On munit cet espace des observations de la tribu borélienne $\borel(\rset^n)$ et d'une famille de probabilités $\{p_\theta\cdot\lleb^{\otimes n} : \theta\in\Theta\}$ avec $\theta \eqdef (\mu,\sigma^2)\in\Theta \eqdef \rset\times\rset_+^*$ et \[ (x_1,\cdots,x_n)\mapsto p_\theta(x_1,\cdots,x_n) \eqdef \prod_{k=1}^n \frac{1}{\sqrt{2\pi}\,\sigma}\exp\Big(-\frac{(x_k-\mu)^2}{2\sigma^2}\Big). \]

Question 2

Dans ce modèle statistique, sous $p_\theta\cdot\lleb^{\otimes n}$, les variables canoniques $X_1,\cdots,X_n$ sont i.i.d. de loi gaussienne de paramètres $(\mu,\sigma^2)$. Comme dans l'exercice 3, on peut choisir un estimateur des moments fondé sur les premier et second moments, ou un estimateur par maximum de vraisemblance. Les deux approches conduisent au même estimateur \[ \hat{\theta}_n = \begin{bmatrix}\hat{\mu}_n \\ \hat{\sigma}^2_n\end{bmatrix} \eqdef \begin{bmatrix} n^{-1}\sum_{k=1}^n X_k \\ n^{-1}\sum_{k=1}^n (X_k - \hat{\mu}_n)^2\end{bmatrix}. \]

Question 3

Ce modèle gaussien est discutable : on observe en effet un histogramme avec des queues plus lourdes que la loi gaussienne. La symétrie de l'histogramme n'est pas non plus convaincante.

Question 4

(a) Si $X\sim\gauss(\mu,\sigma^2)$, alors $(X-\mu)/\sigma\sim\gauss(0,1)$. Par symétrie de la loi gaussienne centrée (qui admet des moments de tout ordre), on a \[ \gamma_1 \propto \int_\rset x^3\exp(-x^2/2)\,\rmd x = 0. \]

(b) La transformée de Laplace de la loi gaussienne $\gauss(\mu,\sigma^2)$ est donnée par \[ t\mapsto\PE\big[\exp(tX)\big] = \exp\Big(t\mu + \frac{t^2\sigma^2}{2}\Big) \] (en écrivant $X = \mu + \sigma Y$ avec $Y\sim\gauss(0,1)$, on a $\PE[\exp(tX)] = \rme^{t\mu}\,\PE[\exp(t\sigma Y)]$, et $\PE[\exp(sY)] = \rme^{s^2/2}$ s'obtient en complétant le carré dans $\int \rme^{sy - y^2/2}\,\rmd y$). Ceci donne $\ln\PE[\exp(tX)] = t\mu + t^2\sigma^2/2$, dont on déduit les cumulants \[ \kappa_1 = \mu, \qquad \kappa_2 = \sigma^2, \qquad \kappa_q = 0 \ \text{ pour } q\geq 3. \] Il vient que l'excès de kurtosis $\gamma_2 = \kappa_4/\kappa_2^2$ est nul.

Question 5

On remplace les moments exacts par les moments empiriques ; on obtient pour estimateur du coefficient d'asymétrie \[ \hat{\gamma}_{1,n} \eqdef \Big(\frac{1}{n}\sum_{k=1}^n (X_k - \hat{\mu}_n)^2\Big)^{-3/2}\Big(\frac{1}{n}\sum_{k=1}^n (X_k - \hat{\mu}_n)^3\Big), \qquad \text{avec } \hat{\mu}_n \eqdef n^{-1}\sum_{k=1}^n X_k, \] et pour estimateur de l'excès de kurtosis \[ \hat{\gamma}_{2,n} \eqdef \Big(\frac{1}{n}\sum_{k=1}^n (X_k - \hat{\mu}_n)^2\Big)^{-2}\Big(\frac{1}{n}\sum_{k=1}^n (X_k - \hat{\mu}_n)^4\Big) - 3. \]

Question 6

L'excès de kurtosis semble significativement différent de $0$, et il est positif ; cela confirme l'observation que la distribution empirique a des queues plus lourdes que la loi gaussienne. Il est donc conseillé d'envisager un autre modèle.

Question 7

Les données collectées $(x_1,\cdots,x_n)$ sont une réalisation du vecteur aléatoire $Z = (X_1,\cdots,X_n)$ à valeurs dans $\rset^n$. On munit cet espace de sa tribu borélienne, et d'une famille de probabilités $\{\tilde{p}_\theta\cdot\lleb^{\otimes n} : \theta\in\Theta\}$ avec $\theta \eqdef (\alpha_0,\alpha_1)$, $\Theta \eqdef \rset_+^*\times\rset_+$ et, avec la convention $x_0 = 0$, \[ (x_1,\cdots,x_n)\mapsto\tilde{p}_\theta(x_1,\cdots,x_n) \eqdef \prod_{k=1}^n \Big(\frac{1}{\sqrt{2\pi}\sqrt{\alpha_0 + \alpha_1 x_{k-1}^2}}\exp\Big(-\frac{1}{2}\,\frac{x_k^2}{\alpha_0 + \alpha_1 x_{k-1}^2}\Big)\Big). \] Pour l'expression de la densité, on a utilisé les faits suivants :

• les variables $(X_k)_k$ ne sont pas indépendantes ; par définition de la loi conditionnelle, « la loi de $(X_1,\cdots,X_n)$ est le produit de la loi de $(X_1,\cdots,X_{n-1})$ et de la loi conditionnelle de $X_n$ sachant $(X_1,\cdots,X_{n-1})$ », ce qui par récurrence donne (écriture sans rigueur) \[ \prod_{k=1}^n \text{« loi conditionnelle de } X_k \text{ sachant } (X_1,\cdots,X_{k-1}) \text{ »} ; \]
• les variables $(Z_k)_k$ sont indépendantes et, par récurrence, on voit que $X_{k-1}$ est une fonction de $Z_1,\cdots,Z_{k-1}$. Donc $Z_k$ est indépendante de $X_{k-1}$ ;
• vu la relation liant $X_k$, $Z_k$ et $X_{k-1}$, et puisque $Z_k$ et $X_{k-1}$ sont indépendantes, on voit que la loi conditionnelle de $X_k$ sachant $(X_1,\cdots,X_{k-1})$ est la loi conditionnelle de $X_k$ sachant $X_{k-1}$, et cette loi est une loi gaussienne centrée de variance $\alpha_0 + \alpha_1 X_{k-1}^2$.

Devoirs maison (DM) et explorations numériques (EN) : modalités, calendrier des mises en ligne et des rendus, et tutorat. Les énoncés sont déposés sur Moodle, les rendus s'y font aussi.

Modalités

Deux types d'activités maison sont proposés :

• deux devoirs maison contenant une partie « problème » et une partie numérique à résoudre en Python ;
• trois explorations numériques, à réaliser en Python, afin de mettre en œuvre numériquement les notions vues en cours sur des exemples simples.

Ces travaux sont réalisés par groupes de trois constitués par tirage au sort. Une première composition des groupes sera utilisée pour le DM 1 et l'EN 1 ; une nouvelle composition sera tirée au sort pour le DM 2, l'EN 2 et l'EN 3. La composition des premiers groupes et le premier EN seront mis en ligne lundi 31 août. Le contrôle continu (DM, explorations numériques) compte pour 1/4 de la note du cours. L'usage de l'IA pour les DM et les EN n'est pas autorisé (voir pourquoi).

Calendrier des mises en ligne et des rendus

Les mises en ligne se font le lundi, les rendus le mercredi (le dimanche pour le dernier), sur Moodle.

Devoirs maison

Explorations numériques

Pourquoi des groupes tirés au sort ?

J'ai plusieurs raisons de préférer cette solution. D'abord, elle est par nature plus juste et plus inclusive : les équipes formées par affinité peuvent laisser des élèves de côté. Par ailleurs, apprendre à travailler en groupe, avec des personnes que vous n'avez pas toujours choisies, est une compétence importante, qu'il faut acquérir tout au long de votre parcours.

Travailler en groupe peut se faire de plusieurs façons ; l'essentiel est que chacun maîtrise la totalité de ce qui est rendu. Une partie du DM portera d'ailleurs sur une auto-évaluation de votre travail de groupe.

L'usage de l'IA dans ce cours

Apprendre à maîtriser les outils d'IA est évidemment quelque chose à quoi nous accordons de l'importance dans votre parcours. Mais plusieurs études récentes soulignent qu'un usage trop rapide de l'IA ne permet ni l'assimilation en profondeur des connaissances, ni la construction d'une véritable compréhension et d'une abstraction sur les objets. Cette construction est indispensable : il ne s'agit pas de retenir, mais d'ancrer vos connaissances. L'IA peut vous aider ; il faut aussi apprendre à apprendre « malgré l'IA ».

En mathématiques, les notions de friction et de construction de l'abstraction sont bien connues ; je vous recommande l'excellent livre de David Bessis sur l'apprentissage des mathématiques, Mathematica. Une aventure au cœur de nous-mêmes (Seuil, 2022).

Pour moi, l'un des objectifs de votre parcours, en tant qu'élèves polytechniciens, est d'acquérir un haut niveau de compétences techniques et scientifiques, qui vous permette de maîtriser des objets complexes, pour pouvoir éventuellement travailler de façon hybride avec l'IA : spécifier des demandes, itérer avec des retours techniques et précis, communiquer sur les sorties des modèles. Ces étapes, par nature hybrides (spécification, itération, communication), ne peuvent se faire que si vous maîtrisez totalement un large spectre de notions techniques fondamentales.

Ce n'est donc pas parce que l'IA peut vous donner une réponse que vous n'avez pas à maîtriser un outil, tout comme ce n'est pas parce que Wikipédia contient une définition de « fonction » que vous n'avez pas besoin de comprendre parfaitement, conceptuellement et mathématiquement, ce qu'est une fonction. En bref, pour toutes ces raisons, je vous recommande et vous demande de ne pas utiliser l'IA pour les devoirs maison.

Des études : H. Bastani, O. Bastani, A. Sungu, H. Ge, Ö. Kabakcı et R. Mariman, « Generative AI without guardrails can harm learning », PNAS 122 (26), 2025 ; N. Kosmyna et al., « Your Brain on ChatGPT: Accumulation of Cognitive Debt when Using an AI Assistant for Essay Writing Task », prépublication, 2025 ; H.-P. Lee et al., « The Impact of Generative AI on Critical Thinking », CHI 2025.

Tutorat

Les séances de tutorat sont faites pour répondre à vos questions sur le cours, les PC, les EN, les DM. Il y aura en général une séance de tutorat d'une heure par semaine (et peut-être quelques séances supplémentaires avant l'examen) ; le créneau horaire et la salle seront indiqués sur Moodle. Vous pouvez assister à une séance entière, ou simplement rester le temps d'obtenir une réponse à vos propres questions.

La personne assurant le tutorat, Lucas Versini (X21, lucas.versini@polytechnique.edu), est en charge de la conception et de la correction de plusieurs DM et EN : il est donc en mesure de répondre à vos questions sur le sujet.

Le tutorat est vivement recommandé pour toutes celles et ceux qui trouvent le cours ardu. Ne pas décrocher est la clé pour suivre le cours jusqu'au bout.

Télécharger : slides du cours (PDF) · slides annotées (PDF). Si l'aperçu ne s'affiche pas dans votre navigateur, utilisez le lien de téléchargement.

La vidéo du cours sera disponible ici. Le chapitrage ci-dessous suit les sections du cours ; les repères temporels seront ajoutés avec la vidéo.

Chapitrage prévisionnel

L'équipe pédagogique est composée de sept chercheurs et enseignants-chercheurs, et de doctorants en charge des explorations numériques, du tutorat et de la correction des copies de DM.

Responsable du cours

Aymeric Dieuleveut

Professeur à l'École polytechnique

Spécialiste d'apprentissage statistique et optimisation stochastique

Cours en amphi et chargé de PC

aymeric.dieuleveut@polytechnique.edu

Intervenants

Les intervenants animent les petites classes ; Gersende Fort assure également les cours en amphi des séances 6 et 7.

Gersende Fort

Directrice de recherche CNRS, Laboratoire d'Analyse et d'Architecture des Systèmes (LAAS)

Spécialiste de statistique numérique et probabilités appliquées

Cours en amphi : séances 6 et 7

gfort@laas.fr

Sébastien Gadat

Professeur à Toulouse School of Economics

Spécialiste d'apprentissage statistique

sebastien.gadat@polytechnique.edu

Matthieu Lerasle

Professeur à l'ENSAE

Spécialiste de statistique non paramétrique et de statistique des données dépendantes

matthieu.lerasle@polytechnique.edu

Angelina Roche

Professeure à l'Université Paris Cité

Spécialiste de statistique en haute dimension

roche@ceremade.dauphine.fr

Batiste Le Bars

Chercheur Inria, équipe MAGNET (Lille)

Spécialiste d'apprentissage

batiste.le-bars@inria.fr

Clément Bonet

Professeur assistant à l'École polytechnique

clement.bonet.mapp@polytechnique.edu

Explorations numériques, tutorat et correction des DM

Des doctorants et doctorantes complètent l'équipe : ils encadrent les explorations numériques, assurent le tutorat et la correction des copies de devoirs maison.

Lucas Versini

Doctorant, École polytechnique

Explorations numériques, tutorat, correction des DM

Tutorat : une séance d'une heure par semaine — horaires et sondage

lucas.versini@polytechnique.edu