Apprentissage par renforcement
en collaboration avec P. Clavier (thèse 2021–2024), O. Forghieri (thèse 2022–2025), R. Besson (thèse 2016–2019), F. Logé-Munerel (thèse 2017–2021), M. Geist, S. Allassonnière, H. Castel, E. Hyon, Y. Carlinet, N. Perrot, H. Amadou-Boubacar, T. Levent et P. Preux
L’apprentissage par renforcement étudie comment prendre une suite de décisions dans l’incertain, lorsque les conséquences de chaque action ne sont que partiellement connues. Nos travaux vont de la théorie aux applications : garanties pour des méthodes robustes et distributionnelles, algorithmes permettant de passer la programmation dynamique à l’échelle de grands espaces d’états, et outils d’aide à la décision pour la médecine, les réseaux et l’énergie.
Apprentissage par renforcement robuste et distributionnel
Avec P. Clavier (thèse 2021–2024), M. Geist et S. Allassonnière, nous avons étudié des politiques qui restent fiables lorsque la dynamique estimée à partir des données est erronée. Nous avons montré que la robustesse à une boule de Φ-divergence autour de la dynamique peut être approchée par une formulation distributionnelle averse au risque, qui pénalise l’écart type du retour (arXiv 2022), puis, avec E. Rachelson, que remplacer l’espérance de l’opérateur de Bellman par un expectile fournit un algorithme pessimiste simple, plus robuste aux changements d’environnement (EWRL 2024). Sur le plan théorique, nous avons obtenu pour l’apprentissage par renforcement robuste fondé sur un modèle, avec des ensembles d’incertitude en boule Lₚ, des bornes de complexité d’échantillonnage qui atteignent, pour une incertitude faible, la borne inférieure du cas non robuste (UAI 2024), et, avec L. Shi, E. Mazumdar et A. Wierman, des bornes quasi optimales pour l’apprentissage par renforcement distributionnellement robuste avec des normes Lₚ générales (NeurIPS 2024).
Abstraction d’états et programmation dynamique à grande échelle
Avec O. Forghieri (thèse 2022–2025), H. Castel et E. Hyon, nous avons accéléré la résolution de grands processus de décision markoviens en agrégeant les états et en raffinant progressivement l’agrégation là où la fonction de valeur l’exige (ICAPS 2024). Cette désagrégation progressive a ensuite servi à découvrir des abstractions d’états pour l’apprentissage par renforcement (EWRL 2024).
Applications en médecine, en réseaux et en énergie
Avec R. Besson (thèse 2016–2019) et S. Allassonnière, nous avons combiné un modèle expert, des données et l’apprentissage par renforcement fondé sur un modèle pour optimiser la séquence d’examens du diagnostic prénatal des maladies rares (Entropy 2019, ICAART 2020) ; cet outil a été transféré à Sonio, rachetée par Samsung Medison en 2024. Avec F. Logé-Munerel (thèse 2017–2021, CIFRE Air Liquide) et H. Amadou-Boubacar, nous avons utilisé la programmation dynamique approchée pour construire des questionnaires adaptatifs (i-com 2021) et l’apprentissage par renforcement pour améliorer le conseil de bolus d’insuline dans le diabète de type 1 (KDD Workshop on Applied Data Science for Healthcare 2020). Avec O. Forghieri, E. Hyon, ainsi que Y. Carlinet et N. Perrot d’Orange, nous avons utilisé l’apprentissage par renforcement profond pour accélérer le placement de services soumis à des contraintes de latence en informatique en périphérie de réseau (atelier TX4NETs, IFIP Networking 2025). Avec T. Levent et P. Preux, nous avons appliqué l’apprentissage par renforcement à la gestion de l’énergie dans les micro-réseaux électriques (IEEE ISGT Europe 2019).
Le volet médical de ces projets est présenté sur la page santé, et le volet réseaux sur la page réseaux.
Publications
2025 (1)
-
Faster Latency Constrained Service Placement in Edge Computing with Deep Reinforcement Learning Methods. TX4NETs Workshop, IFIP NETWORKING Conference, 2025.
PDF
BibTeX
@inproceedings{forghieri25, author = {Forghieri, O. and Carlinet, Y. and Hyon, E. and Le Pennec, E. and Perrot, N.}, title = {Faster Latency Constrained Service Placement in Edge Computing with Deep Reinforcement Learning Methods}, booktitle = {TX4NETs Workshop, IFIP NETWORKING Conference}, year = {2025} }
2024 (7)
-
Near-Optimal Distributionally Robust RL with General Lₚ Norms. Advances in Neural Information Processing Systems (NeurIPS), 37:1750–1810, 2024.
PDFDOI
BibTeX
@inproceedings{clavier24c, author = {Clavier, P. and Shi, L. and Le Pennec, E. and Mazumdar, E. and Wierman, A. and Geist, M.}, title = {Near-Optimal Distributionally Robust RL with General $L_p$ Norms}, booktitle = {Advances in Neural Information Processing Systems (NeurIPS)}, volume = {37}, pages = {1750--1810}, year = {2024}, doi = {10.52202/079017-0056} } -
Bootstrapping Expectiles in Reinforcement Learning. 17th European Workshop on Reinforcement Learning, 2024.
PDFPrépublicationarXiv
BibTeX
@inproceedings{clavier24b, author = {Clavier, P. and Rachelson, E. and Le Pennec, E. and Geist, M.}, title = {Bootstrapping Expectiles in Reinforcement Learning}, booktitle = {17th European Workshop on Reinforcement Learning}, year = {2024}, eprint = {2406.04081}, archiveprefix = {arXiv} } -
State Abstraction Discovery from Progressive Disaggregation Methods. 17th European Workshop on Reinforcement Learning, 2024.
PDF
BibTeX
@inproceedings{Forghieri24b, author = {Forghieri, O. and Castel, H. and Hyon, E. and Le Pennec, E.}, title = {State Abstraction Discovery from Progressive Disaggregation Methods}, booktitle = {17th European Workshop on Reinforcement Learning}, year = {2024} } -
Towards Minimax Optimality of Model-based Robust Reinforcement Learning. Conference on Uncertainty in Artificial Intelligence (UAI), PMLR, 244:820–855, 2024.
PDFPrépublicationarXiv
BibTeX
@inproceedings{clavier24, author = {Clavier, P. and Le Pennec, E. and Geist, M.}, title = {Towards Minimax Optimality of Model-based Robust Reinforcement Learning}, booktitle = {Conference on Uncertainty in Artificial Intelligence (UAI)}, series = {PMLR}, volume = {244}, pages = {820--855}, year = {2024}, eprint = {2302.05372}, archiveprefix = {arXiv} } -
Progressive State Space Disaggregation for Infinite Horizon Dynamic Programming. International Conference on Automated Planning and Scheduling, 34:221–229, 2024.
PDFDOI
BibTeX
@inproceedings{Forghieri24, author = {Forghieri, O. and Castel, H. and Hyon, E. and Le Pennec, E.}, title = {Progressive State Space Disaggregation for Infinite Horizon Dynamic Programming}, booktitle = {International Conference on Automated Planning and Scheduling}, volume = {34}, pages = {221--229}, year = {2024}, doi = {10.1609/icaps.v34i1.31479} }
-
Progressive state space disaggregation for dynamic programming. 25e Congrès Annuel de la Société Française de Recherche Opérationnelle et d'Aide à la Décision (ROADEF), Amiens, 2024.
PDFHAL
BibTeX
@inproceedings{Forghieri24c, author = {Forghieri, O. and Castel, H. and Le Pennec, E. and Hyon, E.}, title = {Progressive state space disaggregation for dynamic programming}, booktitle = {25e Congrès Annuel de la Société Française de Recherche Opérationnelle et d'Aide à la Décision (ROADEF)}, address = {Amiens}, year = {2024} }
-
Real-time diagnosis aid method and decision-support for medical diagnosis to a user of a medical system. US11881309B2, 2024.
PDF
BibTeX
@patent{allassonniere21, author = {Allassonnière, S. and Besson, R. and Le Pennec, E.}, title = {Real-time diagnosis aid method and decision-support for medical diagnosis to a user of a medical system}, number = {US11881309B2}, year = {2024} }
2022 (1)
-
Robust Reinforcement Learning with Distributional Risk-averse formulation. arXiv, 2022.
PDFarXiv
BibTeX
@article{clavier22, author = {Clavier, P. and Allassonnière, S. and Le Pennec, E.}, title = {Robust Reinforcement Learning with Distributional Risk-averse formulation}, journal = {arXiv}, year = {2022}, eprint = {2206.06841}, archiveprefix = {arXiv} }
2021 (1)
-
A Model-Based Reinforcement Learning Approach for a Rare Disease Diagnostic Task. Proceedings of Entropy 2021: The Scientific Tool of the 21st Century, 2021.
DOI
BibTeX
@inproceedings{Besson21, author = {Besson, R. and Le Pennec, E. and Allassonnière, S.}, title = {A Model-Based Reinforcement Learning Approach for a Rare Disease Diagnostic Task}, booktitle = {Proceedings of Entropy 2021: The Scientific Tool of the 21st Century}, year = {2021}, doi = {10.3390/entropy2021-09749} }
2020 (4)
-
Intelligent Questionnaires Using Approximate Dynamic Programming. i-com, 19(3):227-237, 2020.
PDFDOI
BibTeX
@article{Loge21, author = {Logé, F. and Le Pennec, E. and Amadou-Boubacar, H.}, title = {Intelligent Questionnaires Using Approximate Dynamic Programming}, journal = {i-com}, number = {3}, volume = {19}, pages = {227-237}, year = {2020}, doi = {10.1515/icom-2020-0022} }
-
Challenging common bolus advisor for self-monitoring type-I diabetes patients using Reinforcement Learning. 2020 KDD Workshop on Applied Data Science for Healthcare, 2020.
PDFarXiv
BibTeX
@inproceedings{LogeDSHealh20, author = {Logé, F. and Le Pennec, E. and Amadou-Boubacar, H.}, title = {Challenging common bolus advisor for self-monitoring type-I diabetes patients using Reinforcement Learning}, booktitle = {2020 KDD Workshop on Applied Data Science for Healthcare}, year = {2020}, eprint = {2007.11880}, archiveprefix = {arXiv} } -
Adaptive predictive-questionnaire by approximate dynamic programming. Workshop on User-Centered Artificial Intelligence (UCAI), Mensch und Computer 2020, 2020.
PDFDOI
BibTeX
@inproceedings{LogeUCAI20, author = {Logé, F. and Le Pennec, E. and Amadou-Boubacar, H.}, title = {Adaptive predictive-questionnaire by approximate dynamic programming}, booktitle = {Workshop on User-Centered Artificial Intelligence (UCAI), Mensch und Computer 2020}, year = {2020}, doi = {10.18420/muc2020-ws111-264} } -
Optimization of a Sequential Decision Making Problem for a Rare Disease Diagnostic Application. ICAART 2020, pp. 475–482, 2020.
PDFDOI
BibTeX
@inproceedings{BessonIcaart20, author = {Besson, R. and Le Pennec, E. and Spaggiari, E. and Neuraz, A. and Stirnemann, J. and Allassonnière, S.}, title = {Optimization of a Sequential Decision Making Problem for a Rare Disease Diagnostic Application}, booktitle = {ICAART 2020}, pages = {475--482}, year = {2020}, doi = {10.5220/0008938804750482} }
2019 (2)
-
Learning from both experts and data. Entropy, 21(12):1208, 2019.
PDFDOIarXivHAL
BibTeX
@article{Besson19, author = {Besson, R. and Le Pennec, E. and Allassonnière, S.}, title = {Learning from both experts and data}, journal = {Entropy}, number = {12}, volume = {21}, pages = {1208}, year = {2019}, doi = {10.3390/e21121208}, eprint = {1910.09043}, archiveprefix = {arXiv} }
-
Energy Management for Microgrids: a Reinforcement Learning Approach. IEEE ISGT Europe, pp. 1–5, 2019.
PDFDOI
BibTeX
@inproceedings{Levent19, author = {Levent, T. and Preux, Ph. and Le Pennec, E. and Badosa, J. and Henri, G. and Bonnassieux, Y.}, title = {Energy Management for Microgrids: a Reinforcement Learning Approach}, booktitle = {IEEE ISGT Europe}, pages = {1--5}, year = {2019}, doi = {10.1109/ISGTEurope.2019.8905538} }
2018 (1)
-
A Model-Based Reinforcement Learning Approach for a Rare Disease Diagnostic Task. Preprint, 2018.
PDFarXiv
BibTeX
@article{Besson18, author = {Besson, R. and Le Pennec, E. and Allassonnière, S. and Stirnemann, J. and Spaggiari, E. and Neuraz, A.}, title = {A Model-Based Reinforcement Learning Approach for a Rare Disease Diagnostic Task}, journaltitle = {Preprint}, year = {2018}, eprint = {1811.10112}, archiveprefix = {arXiv} }
2017 (1)
-
Optimisation d'arbre de décision pour un problème de détection précoce d'anomalies foetales. Journée de la SFdS, Avignon, 2017.
PDF
BibTeX
@inproceedings{BessonSfdS17, author = {Besson, R. and Le Pennec, E. and Allassonnière, S.}, title = {Optimisation d'arbre de décision pour un problème de détection précoce d'anomalies foetales}, booktitle = {Journée de la SFdS}, address = {Avignon}, year = {2017} }
Exposés
2026 (1)
- Reinforcement Learning: An Introduction and Some Results. Séminaire Probabilités et Statistiques, LMO, Laboratoire de Mathématiques d'Orsay, Université Paris-Saclay, Orsay, France, avril 2026. Transparents
2024 (1)
- Reinforcement Learning: An Introduction and Some Results. 9e Journée Statistique et Informatique pour la Science des Données à Paris-Saclay, IHES, Bures-sur-Yvette, France, avril 2024. TransparentsVidéo
2022 (1)
- Optimization of Sequential-Decision Problems in Health using Reinforcement Learning. MVA, ENS Paris-Saclay, ENS Paris-Saclay, Gif-sur-Yvette, France, septembre 2022. Transparents
2021 (1)
- Optimization of a Sequential Decision Making Problem for a Rare Disease Diagnostic Application. Seminaire Telecom, Telecom, Palaiseau, France, novembre 2021. Transparents
2019 (2)
- Optimization of a Sequential Decision Making Problem for a Rare Disease Diagnostic Application. ANR COSMOS, Inria Paris, Paris, France, novembre 2019. Transparents
- Optimization of a Sequential Decision Making Problem for a Rare Disease Diagnostic Application. Agro Paris, Agro Paris, Paris, France, octobre 2019. Transparents
2018 (1)
- Optimization of a Sequential Decision Making Problem for a Rare Disease Diagnostic Application. TSE, TSE, Toulouse, France, octobre 2018. Transparents