Classification par modèles de mélange et estimation de densité conditionnelle

en collaboration avec S. Cohen, L. Montuelle (thèse 2011–2014) et E. Derman (ingénieure de recherche 2016–2017)

La classification non supervisée repose souvent sur des mélanges de gaussiennes dont les composantes sont associées à des classes. Le choix du nombre de classes est alors un problème de sélection de modèles, qui nous a conduits d’une application en imagerie hyperspectrale à une analyse générale de l’estimation de densité conditionnelle.

Mélanges de gaussiennes spatialisés pour l’imagerie hyperspectrale

Avec S. Cohen, nous avons proposé une extension de ce modèle dans laquelle les proportions du mélange dépendent d’une covariable, la position du pixel, ainsi qu’un schéma numérique efficace et un critère de sélection de modèles pour le nombre de classes. La segmentation non supervisée d’images hyperspectrales ainsi obtenue a été utilisée sur des données réelles à IPANEMA, plateforme d’étude des matériaux anciens située au synchrotron SOLEIL (GRETSI 2011, OGST 2014).

Estimation de densité conditionnelle par vraisemblance pénalisée

Avec S. Cohen, nous avons démontré que, plus généralement, l’estimation de densité conditionnelle peut être réalisée par maximum de vraisemblance pénalisé sous des hypothèses faibles sur la collection de modèles. Cette analyse est illustrée par deux stratégies fondées sur des partitions, constantes par morceaux en la covariable, combinées soit à des densités polynomiales par morceaux, soit à des mélanges de gaussiennes (ESAIM P&S 2013). Pendant sa thèse, L. Montuelle a étendu cette approche aux mélanges de régressions gaussiennes à poids logistiques (EJS 2014).

Classification de données catégorielles

Avec E. Derman, nous avons étendu ces résultats aux mélanges d’histogrammes, afin de classer des vecteurs de données catégorielles de tailles différentes (prépublication 2017).

La collaboration avec S. Cohen se poursuit dans le thème actuel apprentissage automatique pour les sciences de la conservation.

Publications

2017 (1)

Prépublications

Clustering and Model Selection via Penalized Likelihood for Different-sized Categorical Data Vectors. E. Derman, E. Le Pennec. Preprint, 2017. PDF arXiv

BibTeX

@article{Derman17,
  author = {Derman, E. and Le Pennec, E.},
  title = {Clustering and Model Selection via Penalized Likelihood for Different-sized Categorical Data Vectors},
  journal = {Preprint},
  year = {2017},
  eprint = {1709.02294},
  archiveprefix = {arXiv}
}

2014 (2)

Articles de revue

Mixture of Gaussian regressions model with logistic weights, a penalized maximum likelihood approach. L. Montuelle, E. Le Pennec. Electron. J. Statist., 8(1):1661-1695, 2014. PDF DOI arXiv HAL

BibTeX

@article{montuelle12:_condit,
  author = {Montuelle, L. and Le Pennec, E.},
  title = {Mixture of Gaussian regressions model with logistic weights, a penalized maximum likelihood approach},
  journal = {Electron. J. Statist.},
  number = {1},
  volume = {8},
  pages = {1661-1695},
  year = {2014},
  doi = {10.1214/14-EJS939},
  eprint = {1304.2696},
  archiveprefix = {arXiv}
}

Unsupervised segmentation of hyperspectral images with spatialized Gaussian mixture model and model selection. S. Cohen, E. Le Pennec. OGST, 69(2):245–260, 2014. PDF DOI

BibTeX

@article{cohen14:unsupseg,
  author = {Cohen, S. and Le Pennec, E.},
  title = {Unsupervised segmentation of hyperspectral images with spatialized {Gaussian} mixture model and model selection},
  journal = {OGST},
  number = {2},
  volume = {69},
  pages = {245--260},
  year = {2014},
  doi = {10.2516/ogst/2014013}
}

2013 (3)

Articles de revue

Partition-Based Conditional Density Estimation. S. Cohen, E. Le Pennec. ESAIM Probab. Stat., 17:672–697, 2013. PDF DOI

BibTeX

@article{cohen12:_partit_based_condit_densit_estim,
  author = {Cohen, S. and Le Pennec, E.},
  title = {Partition-Based Conditional Density Estimation},
  journal = {ESAIM Probab. Stat.},
  volume = {17},
  pages = {672--697},
  year = {2013},
  doi = {10.1051/ps/2012017}
}

Actes de conférences nationales

Régression gaussienne à poids logistiques et maximum de vraisemblance pénalisé. L. Montuelle, E. Le Pennec. Journée de la SFdS, Toulouse, 2013. PDF HAL

BibTeX

@inproceedings{MontSfdS13,
  author = {Montuelle, L. and Le Pennec, E.},
  title = {Régression gaussienne à poids logistiques et maximum de vraisemblance pénalisé},
  booktitle = {Journée de la SFdS},
  address = {Toulouse},
  year = {2013}
}

Prépublications

Conditional Density Estimation by Penalized Likelihood Model Selection. S. Cohen, E. Le Pennec. Preprint, 2013. PDF

BibTeX

@article{cohen11:_condit_densit_estim_penal_likel_model,
  author = {Cohen, S. and Le Pennec, E.},
  title = {Conditional Density Estimation by Penalized Likelihood Model Selection},
  journal = {Preprint},
  year = {2013}
}

2011 (3)

Articles de revue

European research platform IPANEMA at the SOLEIL synchrotron for ancient and historical materials. L. Bertrand, M.-A. Languille, S. Cohen, L. Robinet, C. Gervais, S. Leroy, D. Bernard, E. Le Pennec, W. Josse, J. Doucet, S. Schöder. J. Synchrotron Radiat., 18(5):765–772, 2011. PDF DOI

BibTeX

@article{bertrand11:_europ_ipanem_soleil,
  author = {Bertrand, L. and Languille, M.-A. and Cohen, S. and Robinet, L. and Gervais, C. and Leroy, S. and Bernard, D. and Le Pennec, E. and Josse, W. and Doucet, J. and Schöder, S.},
  title = {European research platform {IPANEMA} at the {SOLEIL} synchrotron for ancient and historical materials},
  journal = {J. Synchrotron Radiat.},
  number = {5},
  volume = {18},
  pages = {765--772},
  year = {2011},
  doi = {10.1107/S090904951102334X}
}

Actes de conférences nationales

Segmentation non supervisée d'image hyperspectrale par mélange de gaussiennes spatialisé. S. Cohen, E. Le Pennec. GRETSI 11, Bordeaux, 2011. PDF HAL

BibTeX

@inproceedings{cohen11:_segmen,
  author = {Cohen, S. and Le Pennec, E.},
  title = {Segmentation non supervisée d'image hyperspectrale par mélange de gaussiennes spatialisé},
  booktitle = {GRETSI 11},
  address = {Bordeaux},
  year = {2011}
}

Rapports techniques

Conditional Density Estimation by Penalized Likelihood Model Selection and Applications. S. Cohen, E. Le Pennec. INRIA, RR-7596, 2011. PDF arXiv HAL

BibTeX

@techreport{cohen11:_condit_densit_estim_penal_selec,
  author = {Cohen, S. and Le Pennec, E.},
  title = {Conditional Density Estimation by Penalized Likelihood Model Selection and Applications},
  institution = {INRIA},
  year = {2011},
  eprint = {1103.2021},
  archiveprefix = {arXiv}
}

Exposés

2015 (2)

Hyperspectral Image Segmentation by Spatialized Gaussian Mixtures and Model Selection. E. Le Pennec, S. Cohen. GdT ENS Ulm, ENS Ulm, rue d'Ulm, Paris, France, mai 2015. Transparents
Mixture of Gaussian Regressions with logistic weights and conditional density estimation. E. Le Pennec, L. Montuelle. ANR Calibration, Université de Nice, Nice, France, mars 2015. Transparents

2014 (6)

Hyperspectral Image Segmentation by Spatialized Gaussian Mixtures and Model Selection. E. Le Pennec, S. Cohen. Sem. IMB, Université Bordeaux, place de la Victoire, Bordeaux, France, décembre 2014. Transparents
Hyperspectral Image Segmentation by Spatialized Gaussian Mixtures and Model Selection. E. Le Pennec, S. Cohen. Colloquium MAP5, Université Paris Descartes, rue des Saints-Pères, Paris, France, décembre 2014. Transparents
Non-supervised hyperspectral image segmentation, a conditional density approach. E. Le Pennec, S. Cohen. Daspac, Université Paris Diderot, Paris, France, mai 2014. Transparents
Mixture of Gaussian Regressions with logistic weights and conditional density estimation. E. Le Pennec, L. Montuelle. Alea (CMAP), École polytechnique, Palaiseau, France, mars 2014. Transparents
Mixture of Gaussian Regressions with logistic weights and conditional density estimation. E. Le Pennec, L. Montuelle. Sem. Dauphine, Université Paris Dauphine, Paris, France, mars 2014. Transparents
Hyperspectral Image Segmentation by Spatialized Gaussian Mixtures and Model Selection. E. Le Pennec, S. Cohen. Sem. CMLA, E.N.S., Cachan, France, janvier 2014. Transparents

2013 (5)

Hyperspectral Image Segmentation by Spatialized Gaussian Mixtures and Model Selection. E. Le Pennec, S. Cohen. GdT Neurospin/Select, CEA, Saclay, France, juin 2013. Transparents
Hyperspectral Image Segmentation by Spatialized Gaussian Mixtures and Model Selection. E. Le Pennec, S. Cohen. SMAI 2013, Seignosse, France, mai 2013. Transparents
Some (statistical) applications of Ockham's principle. E. Le Pennec. HdR, Paris Sud, Université Paris Sud, Orsay, France, mars 2013. Transparents
Hyperspectral Image Segmentation by Spatialized Gaussian Mixtures and Model Selection. E. Le Pennec, S. Cohen. Séminaire, CMAP, École polytechnique, Palaiseau, France, mars 2013. Transparents
Hyperspectral Image Segmentation by Spatialized Gaussian Mixtures and Model Selection. E. Le Pennec, S. Cohen. Statistical Image Analysis, Santa Fe, Santa Fe, New Mexico, USA, mars 2013. Transparents

2012 (2)

Unsupervised hyperspectral image segmentation, conditional density estimation and penalized maximum likelihood model selection. E. Le Pennec, S. Cohen. CLAPEM XII, Viña del Mar, Viña del Mar, Chile, mars 2012. Transparents
Conditional density estimation by penalized maximum likelihood model selection. E. Le Pennec, S. Cohen. III Symposium of Statistical Modeling, Valparaiso, Universidad de Valparaiso, Valparaiso, Chile, mars 2012. Transparents

2011 (6)

Hyperspectral Image Segmentation by Spatialized Gaussian Mixtures and Model Selection. E. Le Pennec, S. Cohen. Marseille, CIRM, Luminy, Marseille, France, novembre 2011. Transparents
Autour de deux problèmes d'optimisation en estimation statistique. E. Le Pennec, S. Cohen. Avignon, Université d'Avignon, Avignon, France, novembre 2011. Transparents
Segmentation non supervisée d'image hyperspectrale par mélange de gaussiennes spatialisé. E. Le Pennec, S. Cohen. GRETSI11, Bordeaux, Université Bordeaux 1, Bordeaux, France, septembre 2011. Transparents
Segmentation non supervisée, mélange de gaussiennes et algorithme E.M. E. Le Pennec, S. Cohen. Journées conjointes GDR MOA et GDR MSPC, La Londe, Var, France, juin 2011. Transparents
Estimation de densités conditionnelles par sélection de modèles et application à la segmentation d'images hyperspectrales. E. Le Pennec, S. Cohen. Modal'X, Nanterre, Université Nanterre Paris Ouest, Nanterre, France, février 2011. Transparents
Estimation de densités conditionnelles par sélection de modèles et application à la segmentation d'images hyperspectrales. E. Le Pennec, S. Cohen. IECN, Nancy, Université de Nancy 1, Nancy, France, janvier 2011. Transparents

2010 (7)

Estimation de densités conditionnelles par sélection de modèles et application à la segmentation d'images hyperspectrales. E. Le Pennec, S. Cohen. IMT, Marseille, IMT, Université Marseille, Marseille, France, décembre 2010. Transparents
Estimation de densités conditionnelles par sélection de modèles et application à la segmentation d'images hyperspectrales. E. Le Pennec, S. Cohen. Séminaire Parisien de Statistique, Institut Henri Poincaré, Paris, France, novembre 2010. Transparents
Segmentation d'images hyperspectrales par mélange de gaussiennes et sélection de modèles. E. Le Pennec, S. Cohen. GTOX, École polytechnique, Palaiseau, France, octobre 2010. Transparents
Segmentation d'images hyperspectrales par mélange de gaussiennes et sélection de modèles. E. Le Pennec, S. Cohen. Geometrica, Parc Club, Orsay, France, octobre 2010. Transparents
Segmentation d'images hyperspectrales par mélange de gaussiennes et sélection de modèles. E. Le Pennec, S. Cohen. Orsay, Université Paris Sud, Orsay, France, septembre 2010. Transparents
Segmentation d'images hyperspectrales par mélange de gaussiennes et sélection de modèles. E. Le Pennec, S. Cohen. ENSAE, ENSAE, Malakoff, France, mars 2010. Transparents
Segmentation d'images hyperspectrales. E. Le Pennec, S. Cohen. GTOX, École polytechnique, Palaiseau, France, février 2010. Transparents