1. IA et organisations à haute fiabilité : garder le contrôle pour préserver la sûreté

Le déploiement continu de l’IA transforme profondément les entreprises, bien au-delà des secteurs historiquement concernés par l’automatisation. Les domaines intellectuels – conseil, recherche, ingénierie – voient à leur tour leurs pratiques et leurs équilibres internes (dynamiques collectives, répartition du travail cognitif, place du jugement humain) potentiellement modifiés. Le rôle de l’IA et la confiance qui lui est faite dans le secteur nucléaire doivent être précisément examinés.

L’IA n’est pas une nouveauté : depuis longtemps, les experts métiers utilisent les algorithmes d’optimisation sous contraintes, les systèmes experts, les outils de diagnostic automatique, les réseaux de neurones et le deep learning… Mais l’émergence récente, au sein de l’IA des Large Language Models (LLM), a été un puissant facteur d’accélération de cette technologie.
La transformation majeure de ces dernières années réside dans la diffusion massive des LLM auprès du grand public et dans les organisations. Ces technologies transforment profondément notre manière d’interagir avec la machine et modifient notre rapport à la connaissance et à l’apprentissage. Cette mutation soulève ainsi des enjeux socio-organisationnels, notamment pour les organisations à haute fiabilité (High Reliability Organizations – HRO)¹, dont fait partie le nucléaire. Leur mission repose sur la maîtrise de systèmes complexes garantissant la sûreté et la sécurité. Ces organisations ont toujours fondé leur performance sur l’expertise collective et individuelle. La connaissance technique, le terrain et le retour d’expérience constituent autant de barrières contre l’erreur et l’accident.

Avec la généralisation des LLM, on retrouve des processus déjà observés avec l’automatisation des années 1950-1960, à savoir substitution, déqualification, intensification, et contrôle du travail². Les LLM automatisent désormais une part des activités intellectuelles de routine, la création de synthèse bibliographique et l’aide à la recherche, ce qui soulève des questions fondamentales sur le sens du travail : risquons-nous de devenir de simples vérificateurs des décisions d’une machine ? Où se situe désormais la valeur ajoutée humaine ? L’homme sera-t-il réellement « augmenté » par l’IA, libéré des tâches intellectuelles routinières pour se concentrer sur des activités à plus forte valeur ? Ou au contraire deviendra-t-il dépendant cognitivement (capacité critique, biais de confirmation, risque de désapprentissage, etc.) de la machine ? Quelle forme prendra l’apprentissage pour l’Homme dans le futur ?

1 . Quels impacts de l’IA sur la construction du savoir ?

Apprendre, c’est expérimenter par soi-même, se tromper, être challengé, puis recommencer. L’apprentissage compris comme tel constitue un pilier essentiel de la sûreté nucléaire. Sa matière première, c’est en effet l’événement : chaque incident, chaque écart, même mineur, devient une opportunité de comprendre et de progresser.

Sur le terrain, les pratiques de fiabilisation en intervention reposent en partie sur un principe fondamental d’attitude interrogative. La détection et le traitement des signaux faibles ou des écarts à la norme engendrent le calcul de tendance et les actions correctives. C’est une boucle d’apprentissage rapide à la fréquence d’un poste ou d’un chantier. Les exploitants, quant à eux, apprennent en continu à partir des retours d’expérience locaux ou nationaux, nourrissant ainsi la culture de sûreté.

Dans une HRO, la gestion du savoir repose sur les trois leviers que sont la confrontation à l’erreur, la capacité à exploiter le retour d’expérience, et la réflexion collective. Ainsi l’apprentissage n’est-il pas qu’un processus individuel, il est aussi social, fondé sur l’échange, le questionnement et la remise en cause.

L’automatisation, accélérée par l’essor de l’IA, vient interroger ces mécanismes fondamentaux. Bien maîtrisée, elle peut renforcer la robustesse du système : elle stimule le questionnement, alerte l’opérateur, peut servir à détromper et soutient l’analyse. Mais dès lors que la détection, la correction ou la gestion des événements est confiée à l’IA, celle-ci risque de priver progressivement les travailleurs d’une source d’apprentissage essentielle. Si la machine filtre ou corrige à leur place, la boucle d’apprentissage perd de l’efficacité. D’autre part, comme pour tout système d’assistance, les équipes risquent de se retrouver en difficulté le jour où l’outil devient indisponible.

Un autre risque apparaît avec l’automatisation du traitement du retour d’expérience. Si les outils d’analyse suppriment le contexte ou si les chatbots remplacent les échanges entre pairs, l’apprentissage collectif s’appauvrit. Les interactions humaines, les doutes partagés et les discussions contradictoires, voire les conflits, constituent en effet le cœur de la fiabilité organisationnelle³. La chaire Resoh (Recherche en sécurité, organisation, homme) de l’IMT Atlantique, en partenariat avec Naval Group et le CEA, parle de « retour d’expérience vivant » : incarné, transmissible et contextualisé, permettant de traiter toute l’information et pas uniquement celle qui aura été automatiquement sélectionnée.

Dans la pratique d’ingénierie, lorsqu’un ingénieur rencontre un problème, il appelle souvent un collègue ayant traité un cas similaire. Cette interaction informelle permet de comprendre les spécificités de la situation, les marges d’interprétation, les arbitrages techniques. Une IA ne peut pas reproduire cette transmission tacite et située des savoirs, ni l’intelligence collective qu’elle génère. Pire, si les données initiales sont incomplètes ou erronées, la machine risque de diffuser ces erreurs avec une apparence de certitude.

Dans la filière, il y a aussi des exemples montrant que la confrontation des dires d’experts avec des régularités ou patterns détectés dans les données a permis de définir des stratégies nouvelles pour la maintenance.

Chaque organisation doit donc s’interroger sur la manière d’intégrer et de maîtriser l’IA afin de préserver la richesse des dynamiques d’apprentissage qui lui sont propres. Sans cette vigilance, l’apprentissage deviendrait solitaire, linéaire et contrôlé par l’IA. Or, dans le nucléaire, l’apprentissage et l’expertise sont des fondamentaux de la sûreté.

2. Le découplage cognitif : un risque émergent à l’ère des LLM

Un autre risque associé à l’automatisation est la perte de compréhension du fonctionnement réel d’un système complexe par son opérateur. Ce phénomène, souvent désigné sous le terme de « découplage cognitif », indique bien le rôle de l’humain dans la maîtrise des systèmes complexes.

L’ingénieur nucléaire est au cœur de la complexité. Il évolue dans un environnement fait de systèmes couplés, de rétroactions positives ou négatives, d’incertitudes et d’exigences fortes de justification. Or, l’émergence des LLM introduit un risque : ils produisent des réponses pertinentes, parfois justes, mais sans expliciter le raisonnement qui les sous-tend. Il faut donc une certaine expertise pour évaluer la justesse des propositions formulées par un LLM, au risque sinon de se faire une mauvaise représentation du fonctionnement.

L’interaction en langage naturel accentue encore ce risque, en donnant l’illusion d’un échange humain. Cette apparente familiarité installe une confiance implicite dans les réponses générées. Ce glissement cognitif fait peser le risque réel d’un éloignement progressif de l’opérateur ou du concepteur débutant avec la connaissance intime du système. Cette situation est susceptible de fragiliser, en aval, les capacités de justification, avec un impact négatif sur les délais. À terme, la question est posée de savoir comment maintenir la compétence et la maîtrise du sens lorsque la machine se charge des explications ou du « raisonnement ».

Ce risque n’est pas nouveau. Comme l’a montré Charles Perrow⁴, plus un système est complexe et fortement couplé, plus il devient difficile d’en garantir la sécurité. Les interactions internes rendent la compréhension du système partielle et la maîtrise des situations anormales incertaine. L’accident de Three Mile Island (TMI) en est une illustration : les opérateurs ne percevaient pas directement l’état réel de certains composants critiques, tels que la vanne de décharge ou le niveau d’eau dans le pressuriseur, les informations leur parvenant étaient filtrées par les automatismes, capteurs et l’interface homme-machine. L’introduction d’une IA qui interprète, filtre ou reformule l’information pourrait accentuer encore cette distance entre l’humain et le système réel.

Pour mitiger ce risque, il faut donner une place importante à l’expertise. Par exemple, le maintien de communautés de pratique actives, véritables espaces de confrontation des représentations et d’apprentissage collectif, sont essentielles. Leur vitalité dépend de la diversité des analyses, des expériences et de la volonté managériale.

Les communautés peuvent également jouer un rôle de « compensateur », en maintenant une diversité d’interprétations et de pratiques face à l’homogénéisation induite par les outils d’IA. En effet, si tous les acteurs s’appuient sur les mêmes systèmes générant les mêmes raisonnements et formulations, une standardisation des modes de pensée peut s’installer, appauvrissant la diversité cognitive nécessaire à la créativité et à la sûreté.

Les travaux sur les organisations à haute fiabilité montrent la nécessité d’une « variété requise », c’est-à-dire la pluralité des points de vue, des concepts et des expertises indispensables à la compréhension d’un système complexe. Une divergence dans les perspectives analytiques⁵ des membres d’une organisation quant aux modèles, hypothèses ou représentations de son fonctionnement, loin d’être un signe de confusion, constitue une protection contre les « erreurs d’interprétation⁶ » et renforce la capacité collective à détecter les signaux faibles avant qu’ils ne deviennent critiques.

Ainsi, au-delà de la perte de compréhension technique, c’est la dynamique collective de construction des connaissances qui risque de s’affaiblir dans un système homogénéisant les savoirs. Le découplage cognitif ne serait plus seulement individuel – entre l’opérateur et la machine – mais collectif, affectant la capacité des membres d’une organisation, voire d’organisations partenaires sous-traitantes, à confronter, articuler et coordonner leurs savoirs pour comprendre et maîtriser le système.

3. Performance : l’importance de la diversité

L’essor des LLM transforme la manière d’envisager l’efficacité et la productivité. Il est indéniable que ces technologies apportent un gain réel pour certaines tâches intellectuelles comme la recherche d’informations, la synthèse, l’aide rédactionnelle ou l’assistance à la décision, et bien d’autres encore à venir. Pour des opérations de diagnostic en médecine, l’IA s’avère même parfois plus fiable que l’expert humain⁷.

On peut alors se demander quel est désormais le rôle de l’humain face à la machine, et où se situe sa véritable valeur ajoutée ? Les recherches récentes montrent⁸ que, individuellement, l’usage des LLM (sur des tâches rédactionnelles et cognitives de cadres de niveaux intermédiaires et supérieurs) améliore la productivité et la qualité perçue de certaines tâches. En revanche, collectivement, leur usage tend à produire un effet inverse, soit une homogénéisation des réponses, une standardisation des raisonnements, une « moyennisation » des idées. Or, dans le domaine nucléaire, cette homogénéisation représente un risque de sûreté non pas directement, mais en réduisant la diversité d’analyse et de jugement.

En un mot, la performance ne se résume pas à la productivité. Elle résulte d’un équilibre entre plusieurs dimensions que sont la productivité, la qualité, la fiabilité et, bien sûr, la sûreté. Quel sera l’impact réel de l’IA sur cette performance sûre⁹ ? Ne risque-t-elle pas de renforcer certaines composantes, comme la productivité ou la qualité, tout en dégradant d’autres dimensions essentielles, telles que la sûreté, la résilience ou la capacité d’adaptation ? Dans un secteur où chaque erreur peut entraîner des conséquences majeures, la performance ne peut être envisagée uniquement sous l’angle de la productivité. Elle doit être comprise de manière intégrée, comme une performance sûre, où la sûreté n’est pas une contrainte externe, mais une composante à part entière de la performance globale de l’organisation.

4. Gouvernance de l’IA : l’équilibre entre DSI et métiers

Avec l’arrivée du Cloud, puis des offres LLM dans le Cloud ou sur site, la Direction des systèmes d’information (DSI), joue un rôle central dans le déploiement des LLM. Elle détient par ailleurs les leviers essentiels – sécurité, infrastructures, licences, conformité – et garantit la cohérence et la sécurité des déploiements à l’échelle de l’entreprise voire au-delà de ses frontières (entreprise étendue). Les experts métiers deviennent partenaires de solutions conçues et intégrées au sein d’un cadre plus global. Les arbitrages se font parfois à des niveaux plus stratégiques dans l’organisation.

Or, un des fondements historiques de la fiabilité des HRO réside dans le maintien d’un lien étroit entre les décideurs et la réalité technique. Repenser la gouvernance peut devenir un sujet pour objectiver les arbitrages conditionnés par les budgets des différentes directions, mais aussi le déploiement commercial des BU ainsi que les projets en cours. Certaines organisations ont déjà amorcé cette démarche en créant des comités d’arbitrage inter-risques réunissant experts métiers, ingénieurs sûreté et spécialistes cyber. Il s’agit d’un modèle intéressant qui illustre la possibilité d’une gouvernance partagée, où la décision reste connectée aux besoins du terrain en facilitant le déploiement des LLM.

5. Autorité et légitimité : maintenir l’humain au cœur de la décision

Dans un secteur où chaque décision doit être justifiée et traçable, la question n’est pas anodine : jusqu’où peut-on déléguer la décision à la machine ? Et au fond, ne sommes-nous pas plus exigeants envers la machine qu’envers l’homme lui-même ?

Dans les HRO, l’humain demeure l’autorité, mais la frontière avec les apports de la machine devient de plus en plus floue. Un agent de maintenance équipé d’un assistant conversationnel fera-t-il toujours confiance à son collègue plutôt qu’à la réponse de l’outil s’il obtient deux réponses différentes ?

Un chef de projet osera-t-il suivre son intuition face à un modèle présenté comme « objectivé » ? L’enjeu central est bel et bien de préserver la crédibilité de l’humain dans la boucle décisionnelle.

L’humain gardera-t-il cette autorité face à un système jugé « neutre » ou « objectif » et pour lequel il sera quasi impossible d’estimer les biais ou l’incertitude associée à la réponse¹⁰ ?

Si l’usage de systèmes d’IA peut être vu comme un filet de réassurance (par exemple dans la détection de défauts), cela peut également conduire à une baisse de la vigilance et à une déresponsabilisation (l’IA étant jugée plus performante) de l’opérateur, ou bien à l’inverse à sa sur-responsabilisation (lorsqu’il serait équipé d’un système d’IA dont on attendrait une quasi-infaillibilité du fait de cette « augmentation »).

Tout dépendra ultimement des choix organisationnels. Si l’IA reste un outil d’aide à la décision, avec validation et supervision humaines, elle peut renforcer la fiabilité et soutenir la performance sûre. En revanche, si elle devient prescriptive, c’est-à-dire si la décision humaine se réduit à entériner les propositions de la machine, on perdra à la fois la légitimité de l’humain et la capacité d’apprentissage collectif – deux piliers fondamentaux de la sûreté.

6. L’intelligence artificielle, oui… mais sous contrôle

L’intégration de l’IA dans les organisations à haute fiabilité ne relève pas seulement d’un enjeu technologique. Les questions de gouvernance, d’organisation et de formation sont au moins aussi déterminantes. L’IA n’est pas un outil neutre : elle agit comme un levier de transformation des relations humaines, des relations de pouvoir et de la responsabilité.

Son « bon usage » dépendra des choix organisationnels et des arbitrages pour constater les bénéfices d’un usage de l’IA dans les organisations à haute fiabilité. Les LLM peuvent même aider à ce travail de réflexivité de l’organisation sur elle-même. Pour guider ces choix, il est utile de toujours conserver à l’esprit la question de base : pourquoi doit-on utiliser l’IA au regard des missions de l’entreprise et de la performance recherchée ?

Dans le nucléaire, l’innovation doit être maîtrisée : il est impératif d’éviter toute innovation dont les risques ne sont pas identifiés ou compris. Chaque innovation, chaque déploiement d’IA, doit être évalué à cette aune. L’IA ne doit pas remplacer le discernement humain, mais au contraire contribuer à renforcer la rigueur, la vigilance et la responsabilité collective au service de la sûreté.

~~~

1. Voir les travaux de Todd LaPorte, Gene Rochlin, Karlene Roberts et Karl Weick.
2. Voir Pierre Naville, Vers l’automatisme Problèmes du travail et de l’automation, Gallimard, 1963 et Juan Sebastian Carbonell, Le Futur du travail, Amsterdam, 2022.
3. Jérémy Eydieux et, La Fiabilité organisationnelle au prisme des activités interstitielles, Annales des Mines, 2016.
4. Charles Perrow, Normal Accident, Living with High-Risk Technologies, Princetown University Press,
5. Voir les travaux de Paul Schulman sur le slack conceptue.
6. Voir les travaux de Karl Weick sur le sensemaking et les « erreurs d’interprétation » des organisations.
7. Buckley TA, Riccardo Conci R, Brodeur PG, et al.
8. Dell’Acqua, Fabrizio, et , Navigating the Jagged Technological Frontier : Field Experimental Evidence of the Effects of AI on Knowledge Worker Productivity and Quality, september 15, 2023. Harvard Business School Technology & Operations Mgt. Unit Working Paper No. 24-013, The Wharton School Research Paper, Available at SSRN : https ://ssrn.com/ abstract=4573321 or http ://dx.doi.org/10.2139/ ssrn.4573321
9. Voir les travaux de Benoît Journé et Stéphanie Tillement sur la notion de « performance sûre ».
10. Simon Borel, « Étude des impacts de l’IA sur le travail – Rapport d’enquête LaborIA Explorer », Rapport d’étude général LaborIA_ V3, 2024