2. « Adopter une démarche scientifique et responsable » - Sfen

2. « Adopter une démarche scientifique et responsable »

Depuis la parution, en octobre 2025, du rapport « Considerations for Deploying Artificial Intelligence Applications in the Nuclear Power Industry1 » de l’AIEA, il est désormais possible de bien comprendre les caractéristiques des données et de leur cycle de vie dans le domaine nucléaire, la « méthode IA », ainsi que les facteurs humains essentiels pour les applications fondées sur des LLM, compte tenu des interactions en langage naturel qu’ils impliquent.

Entretien avec Nelly Ngoy Kubelwa, responsable des activités de contrôle-commande (I&C) au sein de la section ingénierie du département de l’énergie nucléaire de l’AIEA et cheffe du groupe de travail sur l’IA.

Dans la RGN du Printemps 2024 consacrée à l’Intelligence artificielle, nous vous interrogions sur la feuille de route de l’AIEA. D’après vos récents travaux, existe-t-il une définition d’un seuil au-delà duquel un système peut être considéré comme trop autonome ?

L’objectif de notre rapport est de démontrer que l’IA est déjà notre présent et qu’elle est déployée de diverses manières. Nous y soulignons la nécessité d’une analyse préalable rigoureuse de ses caractéristiques, ainsi que la prise en compte de l’infrastructure et des besoins réels, dont dépendent directement les bénéfices attendus. Il est important de ne pas faire une promotion univoque de l’IA, mais plutôt d’adopter une démarche scientifique et responsable, compte tenu des risques propres de notre industrie. Dans cette publication, nous avons inclus une réflexion sur les niveaux d’autonomie et d’automatisation. À ce jour, il n’existe pas de seuil universel permettant de qualifier un système comme « trop autonome », mais il y a le niveau de risque à prendre en compte (cf. AI Act dans l’UE). La pyramide des risques ne détermine pas avec précision ces critères d’autonomie, mais elle offre un cadre pour évaluer l’impact. Cependant nous sommes actuellement loin des applications d’IA pour les systèmes de sûreté. On peut s’attendre au fait qu’avec le temps et des moyens de mitigation nouveaux, une application puisse changer de catégorie de risque.

Les shallow models, explicables par conception, doivent-ils selon vous répondre aux mêmes exigences réglementaires que les IA « boîte noire » ?

Il n’y a pas de code et standard. La question de la qualification reste ouverte surtout en ce qui concerne la vérification et la validation. Ce sont les risques associés à l’usage de l’application d’IA qui déterminent la méthode qualifiée et non pas la seule architecture du modèle. De plus, les autorités de sûreté étant souveraines, il n’y a pas de consensus international.

Le rapport évoque les usages de l’IA agentique ou conversationnelle et leur impact sur l’amélioration de la performance humaine. Y a-t-il eu l’excellence opérationnelle et de l’IA car le rapport ne le mentionne pas explicitement ?

Oui, il y a eu des discussions mais le sujet a été traité plus en profondeur dans le cadre d’un autre projet axé sur l’on-line monitoring pour la performance qui devrait être disponibles à la fin de l’année prochaine2. La revue de l’état de l’art de l’on-line monitoring a permis d’identifier des applications pour la maintenance, notamment l’usage de jumeaux numériques ou de smart plant en Asie. Il existe beaucoup d’applications au niveau R&D. Comme ces applications d’on-line monitoring ne sont pas classées de sûreté, il sera plus ou moins facile d’intégrer des dispositifs embarqués intelligents. Enfin, il est important de noter que la perception de l’IA pour le nucléaire varie selon les zones géographiques : dans certains pays, l’IA est perçue comme l’avenir, mais ce n’est pas une vision partagée partout.

Serait-il utile de créer des laboratoires permettant d’observer et tester comment les utilisateurs interagissent avec les applications d’IA ?

Nous avons récemment restructuré le groupe de travail sur l’IA (ISOP AI WG) en experts internationaux. Cette organisation permet de mieux répondre aux profils des membres et aux défis de l’IA. Le sujet des laboratoires IA est pris en compte par la task-force « Gestion des connaissances et facteurs humains ». La discussion porte aussi sur le niveau d’engagement et d’implication des humains sur les applications. Il est important de ne pas accorder une confiance excessive aux promesses tout en reconnaissant qu’il n’est pas sûr qu’augmenter l’activité des humains (human-in-the-loop) résolve les problèmes car ils ne sont pas non plus infaillibles. Il s’agit de prioriser les exigences en facteurs humains pour les systèmes d’IA (vérification et validation, conception des IHM des nouveaux dispositifs et nouveaux types d’interactions).

Enfin, le guide de sûreté SSG 51 « Human Factors Engineering in the Design of Nuclear Power Plants» sera également mis à jour afin d’intégrer les aspects liés aux nouvelles technologies, dont l’IA.

Quel est l’état d’avancement du rapport sur la sûreté et la sécurité des applications de l’IA qui était prévu à l’agenda ?

Ce document technique devrait sortir au premier semestre 2026.

Enfin, la gestion des connaissances étant une tâche importante de l’AIEA, est-ce que l’agence utilise elle-même l’IA à cette fin ?

Oui, l’Agence explore et utilise déjà l’IA dans certaines activités liées à la gestion des données et des connaissances. Au niveau de la gestion des données, par exemple le département de Safeguards a des spécialistes en data science qui ont développé des applications propres. Dans le département de Nuclear Energy, le service de Knowledge Management (KM) prévoit de lancer un projet sur l’usage de l’IA.

Le symposium de décembre 2025 portera sur l’IA et l’énergie nucléaire, car cette collaboration est bidirectionnelle. L’IA peut contribuer à améliorer la performance et l’efficacité des réacteurs en optimisant la maintenance, la sûreté et la gestion des opérations, mais l’IA gourmande en énergie a besoin de source décarbonée et de qualité de service équivalente.

~~~

  1. NR-T-1.26 – www.iaea.org
  2. Rapport NP-T-1.2 « On-line Monitoring for Improving Performance of Nuclear Power Plants – Part 2 : Process and Component Condition Monitoring and Diagnostics ». Home : International Symposium on Artificial Intelligence and Nuclear Energy | IAEA.

 

Propos recueillis par Jean-Bernard Thevenon, président de la Section technique « Transformation numérique » de la Sfen

Illustration Erwann Terrier