Apprentissage par renforcement

· 10 min. de lecture
research-theme

en collaboration avec P. Clavier (thèse 2021–2024), O. Forghieri (thèse 2022–2025), R. Besson (thèse 2016–2019), F. Logé-Munerel (thèse 2017–2021), M. Geist, S. Allassonnière, H. Castel, E. Hyon, Y. Carlinet, N. Perrot, H. Amadou-Boubacar, T. Levent et P. Preux

L’apprentissage par renforcement étudie comment prendre une suite de décisions dans l’incertain, lorsque les conséquences de chaque action ne sont que partiellement connues. Nos travaux vont de la théorie aux applications : garanties pour des méthodes robustes et distributionnelles, algorithmes permettant de passer la programmation dynamique à l’échelle de grands espaces d’états, et outils d’aide à la décision pour la médecine, les réseaux et l’énergie.

Apprentissage par renforcement robuste et distributionnel

Avec P. Clavier (thèse 2021–2024), M. Geist et S. Allassonnière, nous avons étudié des politiques qui restent fiables lorsque la dynamique estimée à partir des données est erronée. Nous avons montré que la robustesse à une boule de Φ-divergence autour de la dynamique peut être approchée par une formulation distributionnelle averse au risque, qui pénalise l’écart type du retour (arXiv 2022), puis, avec E. Rachelson, que remplacer l’espérance de l’opérateur de Bellman par un expectile fournit un algorithme pessimiste simple, plus robuste aux changements d’environnement (EWRL 2024). Sur le plan théorique, nous avons obtenu pour l’apprentissage par renforcement robuste fondé sur un modèle, avec des ensembles d’incertitude en boule Lₚ, des bornes de complexité d’échantillonnage qui atteignent, pour une incertitude faible, la borne inférieure du cas non robuste (UAI 2024), et, avec L. Shi, E. Mazumdar et A. Wierman, des bornes quasi optimales pour l’apprentissage par renforcement distributionnellement robuste avec des normes Lₚ générales (NeurIPS 2024).

Abstraction d’états et programmation dynamique à grande échelle

Avec O. Forghieri (thèse 2022–2025), H. Castel et E. Hyon, nous avons accéléré la résolution de grands processus de décision markoviens en agrégeant les états et en raffinant progressivement l’agrégation là où la fonction de valeur l’exige (ICAPS 2024). Cette désagrégation progressive a ensuite servi à découvrir des abstractions d’états pour l’apprentissage par renforcement (EWRL 2024).

Applications en médecine, en réseaux et en énergie

Avec R. Besson (thèse 2016–2019) et S. Allassonnière, nous avons combiné un modèle expert, des données et l’apprentissage par renforcement fondé sur un modèle pour optimiser la séquence d’examens du diagnostic prénatal des maladies rares (Entropy 2019, ICAART 2020) ; cet outil a été transféré à Sonio, rachetée par Samsung Medison en 2024. Avec F. Logé-Munerel (thèse 2017–2021, CIFRE Air Liquide) et H. Amadou-Boubacar, nous avons utilisé la programmation dynamique approchée pour construire des questionnaires adaptatifs (i-com 2021) et l’apprentissage par renforcement pour améliorer le conseil de bolus d’insuline dans le diabète de type 1 (KDD Workshop on Applied Data Science for Healthcare 2020). Avec O. Forghieri, E. Hyon, ainsi que Y. Carlinet et N. Perrot d’Orange, nous avons utilisé l’apprentissage par renforcement profond pour accélérer le placement de services soumis à des contraintes de latence en informatique en périphérie de réseau (atelier TX4NETs, IFIP Networking 2025). Avec T. Levent et P. Preux, nous avons appliqué l’apprentissage par renforcement à la gestion de l’énergie dans les micro-réseaux électriques (IEEE ISGT Europe 2019).

Le volet médical de ces projets est présenté sur la page santé, et le volet réseaux sur la page réseaux.

Publications

2025 (1)
Actes de conférences internationales
  • Faster Latency Constrained Service Placement in Edge Computing with Deep Reinforcement Learning Methods. O. Forghieri, Y. Carlinet, E. Hyon, E. Le Pennec, N. Perrot. TX4NETs Workshop, IFIP NETWORKING Conference, 2025. PDF
    BibTeX
    @inproceedings{forghieri25,
      author = {Forghieri, O. and Carlinet, Y. and Hyon, E. and Le Pennec, E. and Perrot, N.},
      title = {Faster Latency Constrained Service Placement in Edge Computing with Deep Reinforcement Learning Methods},
      booktitle = {TX4NETs Workshop, IFIP NETWORKING Conference},
      year = {2025}
    }
2024 (7)
Actes de conférences internationales
  • Near-Optimal Distributionally Robust RL with General Lₚ Norms. P. Clavier, L. Shi, E. Le Pennec, E. Mazumdar, A. Wierman, M. Geist. Advances in Neural Information Processing Systems (NeurIPS), 37:1750–1810, 2024. PDFDOI
    BibTeX
    @inproceedings{clavier24c,
      author = {Clavier, P. and Shi, L. and Le Pennec, E. and Mazumdar, E. and Wierman, A. and Geist, M.},
      title = {Near-Optimal Distributionally Robust RL with General $L_p$ Norms},
      booktitle = {Advances in Neural Information Processing Systems (NeurIPS)},
      volume = {37},
      pages = {1750--1810},
      year = {2024},
      doi = {10.52202/079017-0056}
    }
  • Bootstrapping Expectiles in Reinforcement Learning. P. Clavier, E. Rachelson, E. Le Pennec, M. Geist. 17th European Workshop on Reinforcement Learning, 2024. PDFPrépublicationarXiv
    BibTeX
    @inproceedings{clavier24b,
      author = {Clavier, P. and Rachelson, E. and Le Pennec, E. and Geist, M.},
      title = {Bootstrapping Expectiles in Reinforcement Learning},
      booktitle = {17th European Workshop on Reinforcement Learning},
      year = {2024},
      eprint = {2406.04081},
      archiveprefix = {arXiv}
    }
  • State Abstraction Discovery from Progressive Disaggregation Methods. O. Forghieri, H. Castel, E. Hyon, E. Le Pennec. 17th European Workshop on Reinforcement Learning, 2024. PDF
    BibTeX
    @inproceedings{Forghieri24b,
      author = {Forghieri, O. and Castel, H. and Hyon, E. and Le Pennec, E.},
      title = {State Abstraction Discovery from Progressive Disaggregation Methods},
      booktitle = {17th European Workshop on Reinforcement Learning},
      year = {2024}
    }
  • Towards Minimax Optimality of Model-based Robust Reinforcement Learning. P. Clavier, E. Le Pennec, M. Geist. Conference on Uncertainty in Artificial Intelligence (UAI), PMLR, 244:820–855, 2024. PDFPrépublicationarXiv
    BibTeX
    @inproceedings{clavier24,
      author = {Clavier, P. and Le Pennec, E. and Geist, M.},
      title = {Towards Minimax Optimality of Model-based Robust Reinforcement Learning},
      booktitle = {Conference on Uncertainty in Artificial Intelligence (UAI)},
      series = {PMLR},
      volume = {244},
      pages = {820--855},
      year = {2024},
      eprint = {2302.05372},
      archiveprefix = {arXiv}
    }
  • Progressive State Space Disaggregation for Infinite Horizon Dynamic Programming. O. Forghieri, H. Castel, E. Hyon, E. Le Pennec. International Conference on Automated Planning and Scheduling, 34:221–229, 2024. PDFDOI
    BibTeX
    @inproceedings{Forghieri24,
      author = {Forghieri, O. and Castel, H. and Hyon, E. and Le Pennec, E.},
      title = {Progressive State Space Disaggregation for Infinite Horizon Dynamic Programming},
      booktitle = {International Conference on Automated Planning and Scheduling},
      volume = {34},
      pages = {221--229},
      year = {2024},
      doi = {10.1609/icaps.v34i1.31479}
    }
Actes de conférences nationales
  • Progressive state space disaggregation for dynamic programming. O. Forghieri, H. Castel, E. Le Pennec, E. Hyon. 25e Congrès Annuel de la Société Française de Recherche Opérationnelle et d'Aide à la Décision (ROADEF), Amiens, 2024. PDFHAL
    BibTeX
    @inproceedings{Forghieri24c,
      author = {Forghieri, O. and Castel, H. and Le Pennec, E. and Hyon, E.},
      title = {Progressive state space disaggregation for dynamic programming},
      booktitle = {25e Congrès Annuel de la Société Française de Recherche Opérationnelle et d'Aide à la Décision (ROADEF)},
      address = {Amiens},
      year = {2024}
    }
Brevets
2022 (1)
Prépublications
2021 (1)
Actes de conférences internationales
  • A Model-Based Reinforcement Learning Approach for a Rare Disease Diagnostic Task. R. Besson, E. Le Pennec, S. Allassonnière. Proceedings of Entropy 2021: The Scientific Tool of the 21st Century, 2021. DOI
    BibTeX
    @inproceedings{Besson21,
      author = {Besson, R. and Le Pennec, E. and Allassonnière, S.},
      title = {A Model-Based Reinforcement Learning Approach for a Rare Disease Diagnostic Task},
      booktitle = {Proceedings of Entropy 2021: The Scientific Tool of the 21st Century},
      year = {2021},
      doi = {10.3390/entropy2021-09749}
    }
2020 (4)
Articles de revue
  • Intelligent Questionnaires Using Approximate Dynamic Programming. F. Logé, E. Le Pennec, H. Amadou-Boubacar. i-com, 19(3):227-237, 2020. PDFDOI
    BibTeX
    @article{Loge21,
      author = {Logé, F. and Le Pennec, E. and Amadou-Boubacar, H.},
      title = {Intelligent Questionnaires Using Approximate Dynamic Programming},
      journal = {i-com},
      number = {3},
      volume = {19},
      pages = {227-237},
      year = {2020},
      doi = {10.1515/icom-2020-0022}
    }
Actes de conférences internationales
  • Challenging common bolus advisor for self-monitoring type-I diabetes patients using Reinforcement Learning. F. Logé, E. Le Pennec, H. Amadou-Boubacar. 2020 KDD Workshop on Applied Data Science for Healthcare, 2020. PDFarXiv
    BibTeX
    @inproceedings{LogeDSHealh20,
      author = {Logé, F. and Le Pennec, E. and Amadou-Boubacar, H.},
      title = {Challenging common bolus advisor for self-monitoring type-I diabetes patients using Reinforcement Learning},
      booktitle = {2020 KDD Workshop on Applied Data Science for Healthcare},
      year = {2020},
      eprint = {2007.11880},
      archiveprefix = {arXiv}
    }
  • Adaptive predictive-questionnaire by approximate dynamic programming. F. Logé, E. Le Pennec, H. Amadou-Boubacar. Workshop on User-Centered Artificial Intelligence (UCAI), Mensch und Computer 2020, 2020. PDFDOI
    BibTeX
    @inproceedings{LogeUCAI20,
      author = {Logé, F. and Le Pennec, E. and Amadou-Boubacar, H.},
      title = {Adaptive predictive-questionnaire by approximate dynamic programming},
      booktitle = {Workshop on User-Centered Artificial Intelligence (UCAI), Mensch und Computer 2020},
      year = {2020},
      doi = {10.18420/muc2020-ws111-264}
    }
  • Optimization of a Sequential Decision Making Problem for a Rare Disease Diagnostic Application. R. Besson, E. Le Pennec, E. Spaggiari, A. Neuraz, J. Stirnemann, S. Allassonnière. ICAART 2020, pp. 475–482, 2020. PDFDOI
    BibTeX
    @inproceedings{BessonIcaart20,
      author = {Besson, R. and Le Pennec, E. and Spaggiari, E. and Neuraz, A. and Stirnemann, J. and Allassonnière, S.},
      title = {Optimization of a Sequential Decision Making Problem for a Rare Disease Diagnostic Application},
      booktitle = {ICAART 2020},
      pages = {475--482},
      year = {2020},
      doi = {10.5220/0008938804750482}
    }
2019 (2)
Articles de revue
  • Learning from both experts and data. R. Besson, E. Le Pennec, S. Allassonnière. Entropy, 21(12):1208, 2019. PDFDOIarXivHAL
    BibTeX
    @article{Besson19,
      author = {Besson, R. and Le Pennec, E. and Allassonnière, S.},
      title = {Learning from both experts and data},
      journal = {Entropy},
      number = {12},
      volume = {21},
      pages = {1208},
      year = {2019},
      doi = {10.3390/e21121208},
      eprint = {1910.09043},
      archiveprefix = {arXiv}
    }
Actes de conférences internationales
  • Energy Management for Microgrids: a Reinforcement Learning Approach. T. Levent, P. Preux, E. Le Pennec, J. Badosa, G. Henri, Y. Bonnassieux. IEEE ISGT Europe, pp. 1–5, 2019. PDFDOI
    BibTeX
    @inproceedings{Levent19,
      author = {Levent, T. and Preux, Ph. and Le Pennec, E. and Badosa, J. and Henri, G. and Bonnassieux, Y.},
      title = {Energy Management for Microgrids: a Reinforcement Learning Approach},
      booktitle = {IEEE ISGT Europe},
      pages = {1--5},
      year = {2019},
      doi = {10.1109/ISGTEurope.2019.8905538}
    }
2018 (1)
Prépublications
  • A Model-Based Reinforcement Learning Approach for a Rare Disease Diagnostic Task. R. Besson, E. Le Pennec, S. Allassonnière, J. Stirnemann, E. Spaggiari, A. Neuraz. Preprint, 2018. PDFarXiv
    BibTeX
    @article{Besson18,
      author = {Besson, R. and Le Pennec, E. and Allassonnière, S. and Stirnemann, J. and Spaggiari, E. and Neuraz, A.},
      title = {A Model-Based Reinforcement Learning Approach for a Rare Disease Diagnostic Task},
      journaltitle = {Preprint},
      year = {2018},
      eprint = {1811.10112},
      archiveprefix = {arXiv}
    }
2017 (1)
Actes de conférences nationales

Exposés

2026 (1)
2024 (1)
2022 (1)
2021 (1)
2019 (2)
2018 (1)