Erwan LE PENNEC

Apprentissage par renforcement

Mon, 01 Jan 0001 00:00:00 +0000

en collaboration avec P. Clavier (thèse 2021–2024), O. Forghieri (thèse 2022–2025), R. Besson (thèse 2016–2019), F. Logé-Munerel (thèse 2017–2021), M. Geist, S. Allassonnière, H. Castel, E. Hyon, Y. Carlinet, N. Perrot, H. Amadou-Boubacar, T. Levent et P. Preux

L’apprentissage par renforcement étudie comment prendre une suite de décisions dans l’incertain, lorsque les conséquences de chaque action ne sont que partiellement connues. Nos travaux vont de la théorie aux applications : garanties pour des méthodes robustes et distributionnelles, algorithmes permettant de passer la programmation dynamique à l’échelle de grands espaces d’états, et outils d’aide à la décision pour la médecine, les réseaux et l’énergie.

Apprentissage par renforcement robuste et distributionnel

Avec P. Clavier (thèse 2021–2024), M. Geist et S. Allassonnière, nous avons étudié des politiques qui restent fiables lorsque la dynamique estimée à partir des données est erronée. Nous avons montré que la robustesse à une boule de Φ-divergence autour de la dynamique peut être approchée par une formulation distributionnelle averse au risque, qui pénalise l’écart type du retour (arXiv 2022), puis, avec E. Rachelson, que remplacer l’espérance de l’opérateur de Bellman par un expectile fournit un algorithme pessimiste simple, plus robuste aux changements d’environnement (EWRL 2024). Sur le plan théorique, nous avons obtenu pour l’apprentissage par renforcement robuste fondé sur un modèle, avec des ensembles d’incertitude en boule Lₚ, des bornes de complexité d’échantillonnage qui atteignent, pour une incertitude faible, la borne inférieure du cas non robuste (UAI 2024), et, avec L. Shi, E. Mazumdar et A. Wierman, des bornes quasi optimales pour l’apprentissage par renforcement distributionnellement robuste avec des normes Lₚ générales (NeurIPS 2024).

Abstraction d’états et programmation dynamique à grande échelle

Avec O. Forghieri (thèse 2022–2025), H. Castel et E. Hyon, nous avons accéléré la résolution de grands processus de décision markoviens en agrégeant les états et en raffinant progressivement l’agrégation là où la fonction de valeur l’exige (ICAPS 2024). Cette désagrégation progressive a ensuite servi à découvrir des abstractions d’états pour l’apprentissage par renforcement (EWRL 2024).

Applications en médecine, en réseaux et en énergie

Avec R. Besson (thèse 2016–2019) et S. Allassonnière, nous avons combiné un modèle expert, des données et l’apprentissage par renforcement fondé sur un modèle pour optimiser la séquence d’examens du diagnostic prénatal des maladies rares (Entropy 2019, ICAART 2020) ; cet outil a été transféré à Sonio, rachetée par Samsung Medison en 2024. Avec F. Logé-Munerel (thèse 2017–2021, CIFRE Air Liquide) et H. Amadou-Boubacar, nous avons utilisé la programmation dynamique approchée pour construire des questionnaires adaptatifs (i-com 2021) et l’apprentissage par renforcement pour améliorer le conseil de bolus d’insuline dans le diabète de type 1 (KDD Workshop on Applied Data Science for Healthcare 2020). Avec O. Forghieri, E. Hyon, ainsi que Y. Carlinet et N. Perrot d’Orange, nous avons utilisé l’apprentissage par renforcement profond pour accélérer le placement de services soumis à des contraintes de latence en informatique en périphérie de réseau (atelier TX4NETs, IFIP Networking 2025). Avec T. Levent et P. Preux, nous avons appliqué l’apprentissage par renforcement à la gestion de l’énergie dans les micro-réseaux électriques (IEEE ISGT Europe 2019).

Le volet médical de ces projets est présenté sur la page santé, et le volet réseaux sur la page réseaux.

Publications

2025 (1)

Actes de conférences internationales

Faster Latency Constrained Service Placement in Edge Computing with Deep Reinforcement Learning Methods. O. Forghieri, Y. Carlinet, E. Hyon, E. Le Pennec, N. Perrot. TX4NETs Workshop, IFIP NETWORKING Conference, 2025. PDF

BibTeX

@inproceedings{forghieri25,
  author = {Forghieri, O. and Carlinet, Y. and Hyon, E. and Le Pennec, E. and Perrot, N.},
  title = {Faster Latency Constrained Service Placement in Edge Computing with Deep Reinforcement Learning Methods},
  booktitle = {TX4NETs Workshop, IFIP NETWORKING Conference},
  year = {2025}
}

2024 (7)

Actes de conférences internationales

Near-Optimal Distributionally Robust RL with General Lₚ Norms. P. Clavier, L. Shi, E. Le Pennec, E. Mazumdar, A. Wierman, M. Geist. Advances in Neural Information Processing Systems (NeurIPS), 37:1750–1810, 2024. PDF DOI

BibTeX

@inproceedings{clavier24c,
  author = {Clavier, P. and Shi, L. and Le Pennec, E. and Mazumdar, E. and Wierman, A. and Geist, M.},
  title = {Near-Optimal Distributionally Robust RL with General $L_p$ Norms},
  booktitle = {Advances in Neural Information Processing Systems (NeurIPS)},
  volume = {37},
  pages = {1750--1810},
  year = {2024},
  doi = {10.52202/079017-0056}
}

Bootstrapping Expectiles in Reinforcement Learning. P. Clavier, E. Rachelson, E. Le Pennec, M. Geist. 17th European Workshop on Reinforcement Learning, 2024. PDF Prépublication arXiv

BibTeX

@inproceedings{clavier24b,
  author = {Clavier, P. and Rachelson, E. and Le Pennec, E. and Geist, M.},
  title = {Bootstrapping Expectiles in Reinforcement Learning},
  booktitle = {17th European Workshop on Reinforcement Learning},
  year = {2024},
  eprint = {2406.04081},
  archiveprefix = {arXiv}
}

State Abstraction Discovery from Progressive Disaggregation Methods. O. Forghieri, H. Castel, E. Hyon, E. Le Pennec. 17th European Workshop on Reinforcement Learning, 2024. PDF

BibTeX

@inproceedings{Forghieri24b,
  author = {Forghieri, O. and Castel, H. and Hyon, E. and Le Pennec, E.},
  title = {State Abstraction Discovery from Progressive Disaggregation Methods},
  booktitle = {17th European Workshop on Reinforcement Learning},
  year = {2024}
}

Towards Minimax Optimality of Model-based Robust Reinforcement Learning. P. Clavier, E. Le Pennec, M. Geist. Conference on Uncertainty in Artificial Intelligence (UAI), PMLR, 244:820–855, 2024. PDF Prépublication arXiv

BibTeX

@inproceedings{clavier24,
  author = {Clavier, P. and Le Pennec, E. and Geist, M.},
  title = {Towards Minimax Optimality of Model-based Robust Reinforcement Learning},
  booktitle = {Conference on Uncertainty in Artificial Intelligence (UAI)},
  series = {PMLR},
  volume = {244},
  pages = {820--855},
  year = {2024},
  eprint = {2302.05372},
  archiveprefix = {arXiv}
}

Progressive State Space Disaggregation for Infinite Horizon Dynamic Programming. O. Forghieri, H. Castel, E. Hyon, E. Le Pennec. International Conference on Automated Planning and Scheduling, 34:221–229, 2024. PDF DOI

BibTeX

@inproceedings{Forghieri24,
  author = {Forghieri, O. and Castel, H. and Hyon, E. and Le Pennec, E.},
  title = {Progressive State Space Disaggregation for Infinite Horizon Dynamic Programming},
  booktitle = {International Conference on Automated Planning and Scheduling},
  volume = {34},
  pages = {221--229},
  year = {2024},
  doi = {10.1609/icaps.v34i1.31479}
}

Actes de conférences nationales

Progressive state space disaggregation for dynamic programming. O. Forghieri, H. Castel, E. Le Pennec, E. Hyon. 25e Congrès Annuel de la Société Française de Recherche Opérationnelle et d'Aide à la Décision (ROADEF), Amiens, 2024. PDF HAL

BibTeX

@inproceedings{Forghieri24c,
  author = {Forghieri, O. and Castel, H. and Le Pennec, E. and Hyon, E.},
  title = {Progressive state space disaggregation for dynamic programming},
  booktitle = {25e Congrès Annuel de la Société Française de Recherche Opérationnelle et d'Aide à la Décision (ROADEF)},
  address = {Amiens},
  year = {2024}
}

Brevets

Real-time diagnosis aid method and decision-support for medical diagnosis to a user of a medical system. S. Allassonnière, R. Besson, E. Le Pennec. US11881309B2, 2024. PDF

BibTeX

@patent{allassonniere21,
  author = {Allassonnière, S. and Besson, R. and Le Pennec, E.},
  title = {Real-time diagnosis aid method and decision-support for medical diagnosis to a user of a medical system},
  number = {US11881309B2},
  year = {2024}
}

2022 (1)

Prépublications

Robust Reinforcement Learning with Distributional Risk-averse formulation. P. Clavier, S. Allassonnière, E. Le Pennec. arXiv, 2022. PDF arXiv

BibTeX

@article{clavier22,
  author = {Clavier, P. and Allassonnière, S. and Le Pennec, E.},
  title = {Robust Reinforcement Learning with Distributional Risk-averse formulation},
  journal = {arXiv},
  year = {2022},
  eprint = {2206.06841},
  archiveprefix = {arXiv}
}

2021 (1)

Actes de conférences internationales

A Model-Based Reinforcement Learning Approach for a Rare Disease Diagnostic Task. R. Besson, E. Le Pennec, S. Allassonnière. Proceedings of Entropy 2021: The Scientific Tool of the 21st Century, 2021. DOI

BibTeX

@inproceedings{Besson21,
  author = {Besson, R. and Le Pennec, E. and Allassonnière, S.},
  title = {A Model-Based Reinforcement Learning Approach for a Rare Disease Diagnostic Task},
  booktitle = {Proceedings of Entropy 2021: The Scientific Tool of the 21st Century},
  year = {2021},
  doi = {10.3390/entropy2021-09749}
}

2020 (4)

Articles de revue

Intelligent Questionnaires Using Approximate Dynamic Programming. F. Logé, E. Le Pennec, H. Amadou-Boubacar. i-com, 19(3):227-237, 2020. PDF DOI

BibTeX

@article{Loge21,
  author = {Logé, F. and Le Pennec, E. and Amadou-Boubacar, H.},
  title = {Intelligent Questionnaires Using Approximate Dynamic Programming},
  journal = {i-com},
  number = {3},
  volume = {19},
  pages = {227-237},
  year = {2020},
  doi = {10.1515/icom-2020-0022}
}

Actes de conférences internationales

Challenging common bolus advisor for self-monitoring type-I diabetes patients using Reinforcement Learning. F. Logé, E. Le Pennec, H. Amadou-Boubacar. 2020 KDD Workshop on Applied Data Science for Healthcare, 2020. PDF arXiv

BibTeX

@inproceedings{LogeDSHealh20,
  author = {Logé, F. and Le Pennec, E. and Amadou-Boubacar, H.},
  title = {Challenging common bolus advisor for self-monitoring type-I diabetes patients using Reinforcement Learning},
  booktitle = {2020 KDD Workshop on Applied Data Science for Healthcare},
  year = {2020},
  eprint = {2007.11880},
  archiveprefix = {arXiv}
}

Adaptive predictive-questionnaire by approximate dynamic programming. F. Logé, E. Le Pennec, H. Amadou-Boubacar. Workshop on User-Centered Artificial Intelligence (UCAI), Mensch und Computer 2020, 2020. PDF DOI

BibTeX

@inproceedings{LogeUCAI20,
  author = {Logé, F. and Le Pennec, E. and Amadou-Boubacar, H.},
  title = {Adaptive predictive-questionnaire by approximate dynamic programming},
  booktitle = {Workshop on User-Centered Artificial Intelligence (UCAI), Mensch und Computer 2020},
  year = {2020},
  doi = {10.18420/muc2020-ws111-264}
}

Optimization of a Sequential Decision Making Problem for a Rare Disease Diagnostic Application. R. Besson, E. Le Pennec, E. Spaggiari, A. Neuraz, J. Stirnemann, S. Allassonnière. ICAART 2020, pp. 475–482, 2020. PDF DOI

BibTeX

@inproceedings{BessonIcaart20,
  author = {Besson, R. and Le Pennec, E. and Spaggiari, E. and Neuraz, A. and Stirnemann, J. and Allassonnière, S.},
  title = {Optimization of a Sequential Decision Making Problem for a Rare Disease Diagnostic Application},
  booktitle = {ICAART 2020},
  pages = {475--482},
  year = {2020},
  doi = {10.5220/0008938804750482}
}

2019 (2)

Articles de revue

Learning from both experts and data. R. Besson, E. Le Pennec, S. Allassonnière. Entropy, 21(12):1208, 2019. PDF DOI arXiv HAL

BibTeX

@article{Besson19,
  author = {Besson, R. and Le Pennec, E. and Allassonnière, S.},
  title = {Learning from both experts and data},
  journal = {Entropy},
  number = {12},
  volume = {21},
  pages = {1208},
  year = {2019},
  doi = {10.3390/e21121208},
  eprint = {1910.09043},
  archiveprefix = {arXiv}
}

Actes de conférences internationales

Energy Management for Microgrids: a Reinforcement Learning Approach. T. Levent, P. Preux, E. Le Pennec, J. Badosa, G. Henri, Y. Bonnassieux. IEEE ISGT Europe, pp. 1–5, 2019. PDF DOI

BibTeX

@inproceedings{Levent19,
  author = {Levent, T. and Preux, Ph. and Le Pennec, E. and Badosa, J. and Henri, G. and Bonnassieux, Y.},
  title = {Energy Management for Microgrids: a Reinforcement Learning Approach},
  booktitle = {IEEE ISGT Europe},
  pages = {1--5},
  year = {2019},
  doi = {10.1109/ISGTEurope.2019.8905538}
}

2018 (1)

Prépublications

A Model-Based Reinforcement Learning Approach for a Rare Disease Diagnostic Task. R. Besson, E. Le Pennec, S. Allassonnière, J. Stirnemann, E. Spaggiari, A. Neuraz. Preprint, 2018. PDF arXiv

BibTeX

@article{Besson18,
  author = {Besson, R. and Le Pennec, E. and Allassonnière, S. and Stirnemann, J. and Spaggiari, E. and Neuraz, A.},
  title = {A Model-Based Reinforcement Learning Approach for a Rare Disease Diagnostic Task},
  journaltitle = {Preprint},
  year = {2018},
  eprint = {1811.10112},
  archiveprefix = {arXiv}
}

2017 (1)

Actes de conférences nationales

Optimisation d'arbre de décision pour un problème de détection précoce d'anomalies foetales. R. Besson, E. Le Pennec, S. Allassonnière. Journée de la SFdS, Avignon, 2017. PDF

BibTeX

@inproceedings{BessonSfdS17,
  author = {Besson, R. and Le Pennec, E. and Allassonnière, S.},
  title = {Optimisation d'arbre de décision pour un problème de détection précoce d'anomalies foetales},
  booktitle = {Journée de la SFdS},
  address = {Avignon},
  year = {2017}
}

Exposés

2026 (1)

Reinforcement Learning: An Introduction and Some Results. E. Le Pennec. Séminaire Probabilités et Statistiques, LMO, Laboratoire de Mathématiques d'Orsay, Université Paris-Saclay, Orsay, France, avril 2026. Transparents

2024 (1)

Reinforcement Learning: An Introduction and Some Results. E. Le Pennec. 9e Journée Statistique et Informatique pour la Science des Données à Paris-Saclay, IHES, Bures-sur-Yvette, France, avril 2024. Transparents Vidéo

2022 (1)

Optimization of Sequential-Decision Problems in Health using Reinforcement Learning. E. Le Pennec, R. Besson, S. Allassonnière. MVA, ENS Paris-Saclay, ENS Paris-Saclay, Gif-sur-Yvette, France, septembre 2022. Transparents

2021 (1)

Optimization of a Sequential Decision Making Problem for a Rare Disease Diagnostic Application. E. Le Pennec, R. Besson, S. Allassonnière. Seminaire Telecom, Telecom, Palaiseau, France, novembre 2021. Transparents

2019 (2)

Optimization of a Sequential Decision Making Problem for a Rare Disease Diagnostic Application. E. Le Pennec, R. Besson, S. Allassonnière. ANR COSMOS, Inria Paris, Paris, France, novembre 2019. Transparents
Optimization of a Sequential Decision Making Problem for a Rare Disease Diagnostic Application. E. Le Pennec, R. Besson, S. Allassonnière. Agro Paris, Agro Paris, Paris, France, octobre 2019. Transparents

2018 (1)

Optimization of a Sequential Decision Making Problem for a Rare Disease Diagnostic Application. E. Le Pennec, R. Besson, S. Allassonnière. TSE, TSE, Toulouse, France, octobre 2018. Transparents

Santé, signal et apprentissage automatique

Mon, 01 Jan 0001 00:00:00 +0000

en collaboration avec S. Allassonnière, J. Stirnemann, Y. Ville, A. Pierangelo, G. Jauvion, E. Blondiaux, H. Amadou-Boubacar, G. Solelhac, C. Marini, I. Ben M’Barek (thèse 2023–), I. Kamal (thèse 2022–), A. Oulad Ali (thèse 2026–), R. Besson (thèse 2016–2019), F. Logé-Munerel (thèse 2017–2021), F. Gaudfernau (thèse 2020–2023), M. Brigham (postdoc 2017–2019) et T. Galtier (postdoc 2019–2020)

La prise en charge périnatale repose sur des signaux et des images (rythme cardiaque fœtal, échographie, IRM, imagerie optique) dont l’interprétation est difficile, souvent urgente et variable d’un clinicien à l’autre. Avec des obstétriciens, nous développons des outils d’apprentissage automatique pour aider ces décisions et nous les validons sur des données cliniques.

Surveillance fœtale pendant l’accouchement

Avec I. Ben M’Barek (thèse 2023–), J. Stirnemann et G. Jauvion, nous analysons la cardiotocographie (CTG) enregistrée pendant le travail pour détecter en temps réel l’hypoxie fœtale. Nous avons développé DeepCTG® 2.0, un modèle d’apprentissage profond qui détecte l’acidémie néonatale à partir de la CTG (Computers in Biology and Medicine 2025), étudié l’intégration de variables cliniques dans le système (European Journal of Obstetrics & Gynecology and Reproductive Biology 2025) et évalué, dans une étude randomisée, la collaboration entre cliniciens et algorithme pour l’interprétation de la CTG (npj Digital Medicine 2026). Une revue en français fait l’état des lieux de l’analyse automatisée de la CTG, de ses controverses et de ses perspectives (Gynécologie Obstétrique Fertilité & Sénologie 2026).

Imagerie polarimétrique du col de l’utérus

Avec A. Pierangelo, I. Kamal (thèse 2022–) et A. Oulad Ali (thèse 2026–), nous développons des outils d’apprentissage profond pour l’imagerie polarimétrique de Mueller, une modalité d’imagerie optique sensible à la microstructure des tissus. Nos travaux actuels segmentent les tissus du col dans des images de colposcopie polarimétrique de Mueller, une première étape vers des biomarqueurs optiques du risque d’accouchement prématuré (Proc. SPIE 2026).

Diagnostic prénatal et imagerie fœtale

Avec R. Besson (thèse 2016–2019), S. Allassonnière et les obstétriciens Y. Ville et J. Stirnemann (hôpital Necker), nous avons conçu un outil de diagnostic séquentiel des maladies fœtales rares qui combine un modèle expert et des données, et optimise l’enchaînement des examens par apprentissage par renforcement fondé sur un modèle (ICAART 2020). Sa validation clinique comme assistant de diagnostic en temps réel pour l’échographie fœtale (Ultrasound in Obstetrics & Gynecology 2021–2023) et un brevet (2024) ont accompagné son transfert vers Sonio, start-up issue de ces travaux et rachetée par Samsung Medison en 2024. Avec F. Gaudfernau (thèse 2020–2023), S. Allassonnière et E. Blondiaux, nous avons développé des modèles de déformations difféomorphes multiéchelles qui produisent des transformations d’images réalistes, appliqués à la modélisation de la croissance du cerveau fœtal (SPIE Medical Imaging 2023, Journal of Mathematical Imaging and Vision 2025).

Projets antérieurs : diabète, sommeil et données de santé (2017–2021)

Avec F. Logé-Munerel (thèse 2017–2021, CIFRE Air Liquide) et H. Amadou-Boubacar, nous avons utilisé la programmation dynamique approchée pour construire des questionnaires de santé adaptatifs (i-com 2021) et l’apprentissage par renforcement pour améliorer le conseil de bolus d’insuline des patients atteints de diabète de type 1 (KDD Workshop on Applied Data Science for Healthcare 2020). Avec M. Brigham (postdoc 2017–2019) et C. Marini, nous avons associé une blockchain à l’apprentissage automatique dans une étude sur le sommeil et, avec G. Solelhac, représenté des enregistrements de polysomnographie comme des trajectoires de faible dimension (Sleep 2019). Avec T. Galtier (postdoc 2019–2020), nous avons travaillé sur la valorisation des données et l’apprentissage fédéré pour les données de santé dans le projet HealthChain.

Les méthodes d’apprentissage par renforcement sur lesquelles reposent l’outil de diagnostic et les questionnaires sont présentées sur la page apprentissage par renforcement.

Publications

2026 (4)

Articles de revue

Analyse automatisée de la cardiotocographie en intrapartum : état des lieux, controverses et perspectives. I. Ben M'Barek, E. Holmström, P.-F. Ceccaldi, J. Michel, J. Vitrou, E. Le Pennec, J. Stirnemann. Gynécologie Obstétrique Fertilité & Sénologie, 54(6):342–349, 2026. PDF DOI

BibTeX

@article{benmbarek26a,
  author = {Ben M'Barek, I. and Holmström, E. and Ceccaldi, P.-F. and Michel, J. and Vitrou, J. and Le Pennec, E. and Stirnemann, J.},
  title = {Analyse automatisée de la cardiotocographie en intrapartum : état des lieux, controverses et perspectives},
  journal = {Gynécologie Obstétrique Fertilité \& Sénologie},
  number = {6},
  volume = {54},
  pages = {342--349},
  year = {2026},
  doi = {10.1016/j.gofs.2026.01.006}
}

Randomised study of human machine collaboration for cardiotocography interpretation during labour. I. Ben M'Barek, B. Ben M'Barek, G. Jauvion, V. Whelehan, A. Papageorghiou, E. Le Pennec, J. Stirnemann. npj Digital Medicine, 9(1):365, 2026. PDF DOI HAL

BibTeX

@article{benmbarek26b,
  author = {Ben M'Barek, I. and Ben M'Barek, B. and Jauvion, G. and Whelehan, V. and Papageorghiou, A. and Le Pennec, E. and Stirnemann, J.},
  title = {Randomised study of human machine collaboration for cardiotocography interpretation during labour},
  journal = {npj Digital Medicine},
  number = {1},
  volume = {9},
  pages = {365},
  year = {2026},
  doi = {10.1038/s41746-026-02556-y}
}

Actes de conférences internationales

Deep learning-based semantic segmentation of cervical tissue in Mueller polarimetric colposcopy images for preterm risk assessment. I. Kamal, J. Park, J.-C. Vanel, D. Luton, E. Debras, E. Le Pennec, A. Pierangelo. Polarized Light and Optical Angular Momentum for Biomedical Diagnostics 2026, Proc. SPIE, 2026. DOI

BibTeX

@inproceedings{kamal26a,
  author = {Kamal, I. and Park, J. and Vanel, J.-C. and Luton, D. and Debras, E. and Le Pennec, E. and Pierangelo, A.},
  title = {Deep learning-based semantic segmentation of cervical tissue in Mueller polarimetric colposcopy images for preterm risk assessment},
  booktitle = {Polarized Light and Optical Angular Momentum for Biomedical Diagnostics 2026},
  series = {Proc. SPIE},
  year = {2026},
  doi = {10.1117/12.3079701}
}

Towards optical biomarkers of preterm birth: deep learning segmentation of cervical tissue using Mueller matrix polarimetry. I. Kamal, J. Park, J.-C. Vanel, D. Luton, E. Debras, A. Gandji, E. Le Pennec, A. Pierangelo. Unconventional Optical Imaging V, Proc. SPIE, 2026. DOI

BibTeX

@inproceedings{kamal26b,
  author = {Kamal, I. and Park, J. and Vanel, J.-C. and Luton, D. and Debras, E. and Gandji, A. and Le Pennec, E. and Pierangelo, A.},
  title = {Towards optical biomarkers of preterm birth: deep learning segmentation of cervical tissue using Mueller matrix polarimetry},
  booktitle = {Unconventional Optical Imaging V},
  series = {Proc. SPIE},
  year = {2026},
  doi = {10.1117/12.3100057}
}

2025 (5)

Articles de revue

Wavelet-Based Multiscale Flow For Realistic Image Deformation in the Large Diffeomorphic Deformation Model Framework. F. Gaudfernau, E. Blondiaux, S. Allassonnière, E. Le Pennec. Journal of Mathematical Imaging and Vision, 67(2):10, 2025. PDF Prépublication DOI arXiv HAL

BibTeX

@article{gaudfernau24,
  author = {Gaudfernau, F. and Blondiaux, E. and Allassonnière, S. and Le Pennec, E.},
  title = {Wavelet-Based Multiscale Flow For Realistic Image Deformation in the Large Diffeomorphic Deformation Model Framework},
  journal = {Journal of Mathematical Imaging and Vision},
  number = {2},
  volume = {67},
  pages = {10},
  year = {2025},
  doi = {10.1007/s10851-024-01219-5},
  eprint = {2501.18211},
  archiveprefix = {arXiv}
}

Integration of clinical features in a computerized cardiotocography system to predict severe newborn acidemia. E. Menzhulina, J. Vitrou, J. Merrer, E. Holmström, I. Ait Amara, E. Le Pennec, J. Stirnemann, I. Ben M'Barek. European Journal of Obstetrics & Gynecology and Reproductive Biology, 307:78-83, 2025. PDF DOI

BibTeX

@article{benmarek25,
  author = {Menzhulina, E. and Vitrou, J. and Merrer, J. and Holmström, E. and Ait Amara, I. and Le Pennec, E. and Stirnemann, J. and Ben M'Barek, I.},
  title = {Integration of clinical features in a computerized cardiotocography system to predict severe newborn acidemia},
  journal = {European Journal of Obstetrics \& Gynecology and Reproductive Biology},
  volume = {307},
  pages = {78-83},
  year = {2025},
  doi = {10.1016/j.ejogrb.2025.01.030}
}

DeepCTG® 2.0: Development and validation of a deep learning model to detect neonatal acidemia from cardiotocography during labor. I. Ben M'Barek, G. Jauvion, J. Merrer, M. Koskas, O. Sibony, P.-F. Ceccaldi, E. Le Pennec, J. Stirnemann. Computers in Biology and Medicine, 184:109448, 2025. PDF DOI

BibTeX

@article{benmarek24,
  author = {Ben M'Barek, I. and Jauvion, G. and Merrer, J. and Koskas, M. and Sibony, O. and Ceccaldi, P.-F. and Le Pennec, E. and Stirnemann, J.},
  title = {DeepCTG® 2.0: Development and validation of a deep learning model to detect neonatal acidemia from cardiotocography during labor},
  journal = {Computers in Biology and Medicine},
  volume = {184},
  pages = {109448},
  year = {2025},
  doi = {10.1016/j.compbiomed.2024.109448}
}

Actes de conférences internationales

Human-machine collaboration in intrapartum care: A randomized study of computerized assistance for clinical cardiotocography interpretation and prediction of perinatal acidemia. I. Ben M'Barek, B. Ben M'Barek, G. Jauvion, V. Whelehan, A. Papageorghiou, E. Le Pennec, J. Stirnemann. Gynécologie Obstétrique Fertilité & Sénologie, 53(11):605-606, 2025. PDF DOI

BibTeX

@inproceedings{benmarek25c,
  author = {I. {Ben M'Barek} and B. {Ben M'Barek} and G. Jauvion and V. Whelehan and A. Papageorghiou and E. {Le Pennec} and J. Stirnemann},
  title = {Human-machine collaboration in intrapartum care: A randomized study of computerized assistance for clinical cardiotocography interpretation and prediction of perinatal acidemia},
  booktitle = {Gynécologie Obstétrique Fertilité \& Sénologie},
  number = {11},
  volume = {53},
  pages = {605-606},
  year = {2025},
  doi = {10.1016/j.gofs.2025.09.030}
}

DeepCTG® 2.0: development and validation of a deep learning model to detect fetal acidemia from cardiotocography during labor. I. Ben M'Barek, G. Jauvion, J. Stirnemann, E. Le Pennec. European Journal of Obstetrics & Gynecology and Reproductive Biology, 313(S1):114431, 2025. PDF DOI

BibTeX

@inproceedings{benmarek25b,
  author = {Ben M'Barek, I. and Jauvion, G. and Stirnemann, J. and Le Pennec, E.},
  title = {DeepCTG® 2.0: development and validation of a deep learning model to detect fetal acidemia from cardiotocography during labor},
  booktitle = {European Journal of Obstetrics \& Gynecology and Reproductive Biology},
  number = {S1},
  volume = {313},
  pages = {114431},
  year = {2025},
  doi = {10.1016/j.ejogrb.2025.114431}
}

2024 (1)

Brevets

Real-time diagnosis aid method and decision-support for medical diagnosis to a user of a medical system. S. Allassonnière, R. Besson, E. Le Pennec. US11881309B2, 2024. PDF

BibTeX

@patent{allassonniere21,
  author = {Allassonnière, S. and Besson, R. and Le Pennec, E.},
  title = {Real-time diagnosis aid method and decision-support for medical diagnosis to a user of a medical system},
  number = {US11881309B2},
  year = {2024}
}

2023 (3)

Articles de revue

Development and clinical validation of real-time artificial intelligence diagnostic companion for fetal ultrasound examination. J. Stirnemann, R. Besson, E. Spaggiari, S. Rojo, F. Logé, H. Peyro-Saint-Paul, S. Allassonnière, E. Le Pennec, C. Hutchinson, N. Sebire, Y. Ville. Ultrasound in Obstetrics & Gynecology, 62(3):353-360, 2023. PDF DOI

BibTeX

@article{stirnemann23,
  author = {Stirnemann, J. and Besson, R. and Spaggiari, E. and Rojo, S. and Logé, F. and Peyro-Saint-Paul, H. and Allassonnière, S. and Le Pennec, E. and Hutchinson, C. and Sebire, N.J. and Ville, Y.},
  title = {Development and clinical validation of real-time artificial intelligence diagnostic companion for fetal ultrasound examination},
  journal = {Ultrasound in Obstetrics \& Gynecology},
  number = {3},
  volume = {62},
  pages = {353-360},
  year = {2023},
  doi = {10.1002/uog.26242}
}

Actes de conférences internationales

A multiscale algorithm for computing realistic image transformations in the LDDMM framework - Application to the modelling of fetal brain growth. F. Gaudfernau, S. Allassonnière, E. Le Pennec. SPIE Medical Imaging 2023: Image Processing, Proc. SPIE, 12464:1246404, 2023. PDF

BibTeX

@inproceedings{gaudfernau23,
  author = {Gaudfernau, F. and Allassonnière, S. and Le Pennec, E.},
  title = {A multiscale algorithm for computing realistic image transformations in the LDDMM framework - Application to the modelling of fetal brain growth},
  booktitle = {SPIE Medical Imaging 2023: Image Processing},
  series = {Proc. SPIE},
  volume = {12464},
  pages = {1246404},
  year = {2023}
}

Actes de conférences nationales

Un algorithme multiéchelle pour déformer les objets de façon réaliste - application à la modélisation de la croissance du cerveau foetal. F. Gaudfernau, S. Allassonnière, E. Le Pennec. GRETSI, 2023. PDF

BibTeX

@inproceedings{gaudfernau23b,
  author = {Gaudfernau, F. and Allassonnière, S. and Le Pennec, E.},
  title = {Un algorithme multiéchelle pour déformer les objets de façon réaliste - application à la modélisation de la croissance du cerveau foetal},
  booktitle = {GRETSI},
  year = {2023}
}

2022 (1)

Actes de conférences internationales

Clinical validation of a real‐time AI diagnostic companion for fetal ultrasound examination. J. Stirnemann, R. Besson, E. Spaggiari, S. Rojo, F. Logé, H. Peyro-Saint-Paul, S. Allassonnière, E. Le Pennec, C. Hutchinson, N. Sebire, Y. Ville. Ultrasound in Obstetrics & Gynecology, 60(S1):14-15, 2022. PDF

BibTeX

@inproceedings{stirnemann22,
  author = {Stirnemann, J. and Besson, R. and Spaggiari, E. and Rojo, S. and Logé, F. and Peyro-Saint-Paul, H. and Allassonnière, S. and Le Pennec, E. and Hutchinson, C. and Sebire, N.J. and Ville, Y.},
  title = {Clinical validation of a real‐time AI diagnostic companion for fetal ultrasound examination},
  booktitle = {Ultrasound in Obstetrics \& Gynecology},
  number = {S1},
  volume = {60},
  pages = {14-15},
  year = {2022}
}

2021 (2)

Actes de conférences internationales

Description and clinical validation of a real-time AI diagnostic companion for fetal ultrasound examination. J. Stirnemann, R. Besson, E. Spaggiari, N. Bourgon, S. Rojo, F. Logé, H. Peyro-Saint-Paul, S. Allassonnière, E. Le Pennec, Y. Ville. Ultrasound in Obstetrics & Gynecology, 58(S1):169-170, 2021. PDF Prépublication DOI

BibTeX

@inproceedings{stirnemann21,
  author = {Stirnemann, J. and Besson, R. and Spaggiari, E. and Bourgon, N. and Rojo, S. and Logé, F. and Peyro-Saint-Paul, H. and Allassonnière, S. and Le Pennec, E. and Ville, Y.},
  title = {Description and clinical validation of a real-time AI diagnostic companion for fetal ultrasound examination},
  booktitle = {Ultrasound in Obstetrics \& Gynecology},
  number = {S1},
  volume = {58},
  pages = {169-170},
  year = {2021},
  doi = {10.1002/uog.24291}
}

BibTeX

@inproceedings{Besson21,
  author = {Besson, R. and Le Pennec, E. and Allassonnière, S.},
  title = {A Model-Based Reinforcement Learning Approach for a Rare Disease Diagnostic Task},
  booktitle = {Proceedings of Entropy 2021: The Scientific Tool of the 21st Century},
  year = {2021},
  doi = {10.3390/entropy2021-09749}
}

2020 (4)

Articles de revue

Intelligent Questionnaires Using Approximate Dynamic Programming. F. Logé, E. Le Pennec, H. Amadou-Boubacar. i-com, 19(3):227-237, 2020. PDF DOI

BibTeX

@article{Loge21,
  author = {Logé, F. and Le Pennec, E. and Amadou-Boubacar, H.},
  title = {Intelligent Questionnaires Using Approximate Dynamic Programming},
  journal = {i-com},
  number = {3},
  volume = {19},
  pages = {227-237},
  year = {2020},
  doi = {10.1515/icom-2020-0022}
}

Actes de conférences internationales

BibTeX

@inproceedings{LogeDSHealh20,
  author = {Logé, F. and Le Pennec, E. and Amadou-Boubacar, H.},
  title = {Challenging common bolus advisor for self-monitoring type-I diabetes patients using Reinforcement Learning},
  booktitle = {2020 KDD Workshop on Applied Data Science for Healthcare},
  year = {2020},
  eprint = {2007.11880},
  archiveprefix = {arXiv}
}

BibTeX

@inproceedings{LogeUCAI20,
  author = {Logé, F. and Le Pennec, E. and Amadou-Boubacar, H.},
  title = {Adaptive predictive-questionnaire by approximate dynamic programming},
  booktitle = {Workshop on User-Centered Artificial Intelligence (UCAI), Mensch und Computer 2020},
  year = {2020},
  doi = {10.18420/muc2020-ws111-264}
}

BibTeX

@inproceedings{BessonIcaart20,
  author = {Besson, R. and Le Pennec, E. and Spaggiari, E. and Neuraz, A. and Stirnemann, J. and Allassonnière, S.},
  title = {Optimization of a Sequential Decision Making Problem for a Rare Disease Diagnostic Application},
  booktitle = {ICAART 2020},
  pages = {475--482},
  year = {2020},
  doi = {10.5220/0008938804750482}
}

2019 (3)

Articles de revue

Learning from both experts and data. R. Besson, E. Le Pennec, S. Allassonnière. Entropy, 21(12):1208, 2019. PDF DOI arXiv HAL

BibTeX

@article{Besson19,
  author = {Besson, R. and Le Pennec, E. and Allassonnière, S.},
  title = {Learning from both experts and data},
  journal = {Entropy},
  number = {12},
  volume = {21},
  pages = {1208},
  year = {2019},
  doi = {10.3390/e21121208},
  eprint = {1910.09043},
  archiveprefix = {arXiv}
}

Actes de conférences internationales

Representation Of Polysomnography Recordings As Low Dimensional Trajectories. G. Solelhac, M. Brigham, P. Bouchequet, T. Andrillon, M. Chennaoui, E. Le Pennec, M. Rey, D. Léger. Sleep, 42:A128, 33rd Annual Meeting of the Associated Professional Sleep Societies, 2019. PDF DOI

BibTeX

@inproceedings{Solelhac19,
  author = {Solelhac, G. and Brigham, M. and Bouchequet, P. and Andrillon, Th. and Chennaoui, M. and Le Pennec, E. and Rey, M. and Léger, D.},
  title = {Representation Of Polysomnography Recordings As Low Dimensional Trajectories},
  booktitle = {Sleep},
  volume = {42},
  pages = {A128},
  note = {33rd Annual Meeting of the Associated Professional Sleep Societies},
  year = {2019},
  doi = {10.1093/sleep/zsz067.314}
}

Actes de conférences nationales

Représentation d'enregistrements de polysomnographie en trajectoires de basses dimensions dans l'espace latent. G. Solelhac, M. Brigham, P. Bouchequet, T. Andrillon, M. Chennaoui, E. Le Pennec, M. Rey, D. Léger. Médecine du Sommeil, 16(1):56, 2019. PDF DOI

BibTeX

@inproceedings{Solelhac19b,
  author = {Solelhac, G. and Brigham, M. and Bouchequet, P. and Andrillon, Th. and Chennaoui, M. and Le Pennec, E. and Rey, M. and Léger, D.},
  title = {Représentation d'enregistrements de polysomnographie en trajectoires de basses dimensions dans l'espace latent},
  booktitle = {Médecine du Sommeil},
  number = {1},
  volume = {16},
  pages = {56},
  year = {2019},
  doi = {10.1016/j.msom.2019.01.106}
}

2018 (2)

Actes de conférences nationales

Une nouvelle représentation de la polysomnographie par une technique de machine learning nonsupervisée. G. Solelhac, M. Brigham, C. Marini, P. Bouchequet, M. Chennaoui, E. Le Pennec, D. Léger. Médecine du Sommeil, 15(1):49, Résumés du Congrès du Sommeil. Marseille, 23-25 novembre 2017, 2018. PDF DOI

BibTeX

@inproceedings{Solelhac18nouvelle,
  author = {Solelhac, G. and Brigham, M. and Marini, C. and Bouchequet, P. and Chennaoui, M. and Le Pennec, E. and Léger, D.},
  title = {Une nouvelle représentation de la polysomnographie par une technique de machine learning nonsupervisée},
  booktitle = {Médecine du Sommeil},
  number = {1},
  volume = {15},
  pages = {49},
  note = {Résumés du Congrès du Sommeil. Marseille, 23-25 novembre 2017},
  year = {2018},
  doi = {10.1016/j.msom.2018.01.132}
}

Prépublications

A Model-Based Reinforcement Learning Approach for a Rare Disease Diagnostic Task. R. Besson, E. Le Pennec, S. Allassonnière, J. Stirnemann, E. Spaggiari, A. Neuraz. Preprint, 2018. PDF arXiv

BibTeX

@article{Besson18,
  author = {Besson, R. and Le Pennec, E. and Allassonnière, S. and Stirnemann, J. and Spaggiari, E. and Neuraz, A.},
  title = {A Model-Based Reinforcement Learning Approach for a Rare Disease Diagnostic Task},
  journaltitle = {Preprint},
  year = {2018},
  eprint = {1811.10112},
  archiveprefix = {arXiv}
}

2017 (1)

Actes de conférences nationales

Optimisation d'arbre de décision pour un problème de détection précoce d'anomalies foetales. R. Besson, E. Le Pennec, S. Allassonnière. Journée de la SFdS, Avignon, 2017. PDF

BibTeX

@inproceedings{BessonSfdS17,
  author = {Besson, R. and Le Pennec, E. and Allassonnière, S.},
  title = {Optimisation d'arbre de décision pour un problème de détection précoce d'anomalies foetales},
  booktitle = {Journée de la SFdS},
  address = {Avignon},
  year = {2017}
}

Exposés

2026 (1)

Reinforcement Learning: An Introduction and Some Results. E. Le Pennec. Séminaire Probabilités et Statistiques, LMO, Laboratoire de Mathématiques d'Orsay, Université Paris-Saclay, Orsay, France, avril 2026. Transparents

2024 (1)

Reinforcement Learning: An Introduction and Some Results. E. Le Pennec. 9e Journée Statistique et Informatique pour la Science des Données à Paris-Saclay, IHES, Bures-sur-Yvette, France, avril 2024. Transparents Vidéo

2022 (1)

Optimization of Sequential-Decision Problems in Health using Reinforcement Learning. E. Le Pennec, R. Besson, S. Allassonnière. MVA, ENS Paris-Saclay, ENS Paris-Saclay, Gif-sur-Yvette, France, septembre 2022. Transparents

2021 (1)

Optimization of a Sequential Decision Making Problem for a Rare Disease Diagnostic Application. E. Le Pennec, R. Besson, S. Allassonnière. Seminaire Telecom, Telecom, Palaiseau, France, novembre 2021. Transparents

2019 (2)

Optimization of a Sequential Decision Making Problem for a Rare Disease Diagnostic Application. E. Le Pennec, R. Besson, S. Allassonnière. ANR COSMOS, Inria Paris, Paris, France, novembre 2019. Transparents
Optimization of a Sequential Decision Making Problem for a Rare Disease Diagnostic Application. E. Le Pennec, R. Besson, S. Allassonnière. Agro Paris, Agro Paris, Paris, France, octobre 2019. Transparents

2018 (1)

Optimization of a Sequential Decision Making Problem for a Rare Disease Diagnostic Application. E. Le Pennec, R. Besson, S. Allassonnière. TSE, TSE, Toulouse, France, octobre 2018. Transparents

Réseaux et apprentissage automatique

Mon, 01 Jan 0001 00:00:00 +0000

en collaboration avec O. Forghieri (thèse 2022–2025), G. Brochot (thèse 2024–), E. Hyon, Y. Carlinet, N. Perrot, T. Clausen et J.-L. Rougier

Les réseaux de communication et les infrastructures de calcul qui s’appuient sur eux, de l’informatique en périphérie de réseau aux clusters dans le cloud, produisent de grandes quantités de mesures et demandent de nombreuses décisions automatiques. Nous développons des méthodes d’apprentissage qui tiennent compte de leur structure : apprentissage par renforcement pour placer des services en périphérie de réseau, et réseaux de neurones sur graphes pour superviser des clusters d’orchestration de conteneurs.

Placement de services en périphérie de réseau

Avec O. Forghieri (thèse 2022–2025), E. Hyon, ainsi que Y. Carlinet et N. Perrot d’Orange, nous avons utilisé l’apprentissage par renforcement profond pour accélérer le placement de services soumis à des contraintes de latence en informatique en périphérie de réseau (atelier TX4NETs, IFIP Networking 2025). Ce travail s’appuie sur nos méthodes pour les grands processus de décision markoviens, présentées sur la page apprentissage par renforcement.

Supervision de clusters Kubernetes

Avec G. Brochot (thèse 2024–), T. Clausen et J.-L. Rougier, nous étudions des réseaux de neurones sur graphes hétérogènes pour superviser des clusters Kubernetes. Un tel cluster se décrit naturellement par un graphe dont les nœuds sont de types différents, comme les machines, les pods et les services, reliés par des relations de natures différentes et porteurs de leurs propres métriques. Les réseaux de neurones sur graphes hétérogènes apprennent à partir de cette structure pour décrire l’état du cluster et détecter les comportements anormaux.

Publications

2025 (1)

Actes de conférences internationales

BibTeX

@inproceedings{forghieri25,
  author = {Forghieri, O. and Carlinet, Y. and Hyon, E. and Le Pennec, E. and Perrot, N.},
  title = {Faster Latency Constrained Service Placement in Edge Computing with Deep Reinforcement Learning Methods},
  booktitle = {TX4NETs Workshop, IFIP NETWORKING Conference},
  year = {2025}
}

Apprentissage automatique pour les sciences de la conservation

Mon, 01 Jan 0001 00:00:00 +0000

en collaboration avec S. Cohen, S. Alao (thèse 2022–) et P. Hélou-de la Grandière

Le vieillissement des œuvres d’art est inévitable, mais la lumière, l’humidité, les polluants, les transports ou des restaurations inappropriées peuvent l’accélérer, et les musées de France doivent régulièrement établir l’état de conservation de leurs collections. Les informations nécessaires pour anticiper ces altérations sont dispersées entre constats d’état, rapports d’intervention et archives, hétérogènes et très incomplètes.

Un système d’information sur le cycle de vie des peintures

Avec S. Alao (thèse 2022–) et P. Hélou-de la Grandière, dans le cadre du projet M(IA)² (méthodes d’intelligence artificielle pour l’imputation des altérations), nous avons structuré la base NOIRœS, qui rassemble constats d’état, rapports d’intervention et historique des expositions, des transports et du stockage des peintures, d’abord pour les œuvres de Pierre Soulages, complétées par la documentation du C2RMF. Des outils d’extraction automatique d’informations dans des documents numérisés ou au format PDF alimentent cette base.

Modèles stochastiques du vieillissement

Avec S. Alao et S. Cohen (IPANEMA), nous modélisons le vieillissement d’une peinture par un processus de Markov portant sur deux grandeurs, sa fragilité et son état esthétique, dont l’évolution dépend des conditions de stockage et des transports. Les paramètres, ainsi que la fragilité lorsqu’elle n’est pas observée, sont estimés par un algorithme alterné combinant MCMC, SAEM et descente de gradient, évalué sur des données simulées construites à partir de données réelles avec une part croissante d’informations manquantes (Expériences partagées 2026). L’objectif est un outil d’aide à la décision qui estime l’état probable d’œuvres peu documentées et simule le risque d’altérations futures, par exemple avant un transport.

Travaux antérieurs en imagerie hyperspectrale

Ce thème prolonge une collaboration plus ancienne avec S. Cohen sur la segmentation non supervisée d’images hyperspectrales de matériaux anciens acquises à IPANEMA, fondée sur des modèles de mélange gaussien (voir classification par modèles de mélange).

Publications

2026 (1)

Actes de conférences nationales

Nouveaux outils d'apprentissage statistiques pour l'imputation et le pronostic en conservation : Exploitation de la base NOIRœS dans le projet M(IA)². S. Alao Afolabi, P. Hélou-de la Grandière, M. Ben Jelloul, M. Thoury, E. Le Pennec, S. X. Cohen. Expériences partagées : enjeux, solutions et perspectives pour la conservation préventive des matériaux modernes et contemporains, Charenton-le-Pont, 2026. HAL

BibTeX

@inproceedings{alaoafolabi26,
  author = {Alao Afolabi, S. and Hélou-de la Grandière, P. and Ben Jelloul, M. and Thoury, M. and Le Pennec, E. and Cohen, S. X.},
  title = {Nouveaux outils d'apprentissage statistiques pour l'imputation et le pronostic en conservation : Exploitation de la base NOIRœS dans le projet M(IA)²},
  booktitle = {Expériences partagées : enjeux, solutions et perspectives pour la conservation préventive des matériaux modernes et contemporains},
  address = {Charenton-le-Pont},
  year = {2026}
}

2024 (1)

Posters

Nouveaux outils d'apprentissage statistiques pour l'imputation et le pronostic en conservation. S. Alao Afolabi, P. Hélou-de la Grandière, M. Thoury, E. Perruchini, E. Le Pennec, S. X. Cohen. Poster, PhD Day DIM AI4IDF, Paris, mars 2024. PDF HAL

BibTeX

@misc{alaoafolabi24,
  author = {Alao Afolabi, S. and Hélou-de la Grandière, P. and Thoury, M. and Perruchini, E. and Le Pennec, E. and Cohen, S. X.},
  title = {Nouveaux outils d'apprentissage statistiques pour l'imputation et le pronostic en conservation},
  year = {2024},
  month = {3}
}