Ton code n'est pas toi (mais bientôt, ce sera toujours toi) - qui paiera quand l'IA se trompe ?

Shirley ALMOSNI CHICHE

— 6 min de lecture
Partager
Ton code n'est pas toi (mais bientôt, ce sera toujours toi) - qui paiera quand l'IA se trompe ?

Qui dit responsabilité, dit être humain qui réalise une tâche, qui a conscience de ses erreurs et qui apprend de celles-ci. Qui dit responsabilité, dit détenir un certain pouvoir, un ownership sur des actions de code, de rédaction de contenu, de choix de candidats.

Dans une équipe technique, les tâches sont réparties. Il y a un terrain d'observation, de mimétisme, et un jeu d'appropriation dans la manière de coder, de recruter, de faire son job en somme.

Où va se situer ce niveau de responsabilité lorsque l'être humain est seul maître à bord ? Est-ce seulement l'orchestrateur d'agents qui sera mis sur le banc des accusés ? Qui dira : “Mais c'est la faute du stagiaire !”, bouc-émissaire facile quand l'erreur vient du haut. Qui dira : “Ah, c'est normal, je n'ai pas assez de temps ni de ressources pour bien faire mon job !” Est-ce une bonne chose que la mauvaise foi disparaisse ? Ou est-ce une mauvaise chose que l'être humain soit autant à poil face à ses responsabilités et face aux exigences de l'entreprise ?

Le concept a déjà été nommé et s'appelle la “moral crumple zone” (Madeleine Elish, chercheuse à Data & Society, 2019). La “moral crumple zone” (ou zone de déformation morale) est une métaphore directement inspirée de l'automobile : dans une voiture, la zone de déformation (crumple zone) absorbe l'impact lors d'un accident pour protéger les passagers. En technologie, la moral crumple zone désigne la personne humaine qui absorbe la responsabilité légale ou morale quand un système automatisé ou une IA commet une erreur. En résumé : le système fait le travail la plupart du temps, mais dès que quelque chose tourne mal, c'est l'humain dans la boucle qui prend tout sur lui.

Exemple concret : le conducteur de la voiture autonome

Imaginons une voiture autonome sur l'autoroute.

  • 99 % du trajet : l'algorithme gère la vitesse, le freinage et la trajectoire. Le conducteur humain est simplement là en "supervision", les mains posées près du volant.
  • Le problème : soudain, dans une situation ambiguë (ex : météo difficile, obstacle inhabituel), l'IA ne sait plus quoi faire et rend le contrôle à l'humain 1,5 seconde avant l'impact.
  • L'accident : la voiture percute un obstacle.

Dans ce cas, le constructeur ou les ingénieurs peuvent dire : “Le système a demandé à l'humain de reprendre le contrôle, l'humain n'a pas réagi assez vite, c'est donc son erreur”. L'humain sert ici de pare-chocs moral : il avait très peu de moyens réels d'éviter l'accident en une seconde, mais c'est lui qui porte la responsabilité juridique et morale, protégeant la technologie (et l'entreprise qui l'a conçue) des conséquences.

Par ailleurs, dans un contexte classique d'entreprise, il y a des discussions sur qui fait quoi et à quel point la personne est apte à gérer son périmètre de travail. Cela est même encadré dans un contrat de travail avec des tâches, des niveaux de statut, une nomenclature. On sait dire ce que doit faire l'être humain et à quel moment l'entreprise doit mettre son nez dans le droit du travail lorsqu'il y a des abus. Ce contexte de travail humain mettait un cadre, des règles (bon, pas toujours respectées, hein) et surtout des mots sur les responsabilités de chacun et sur les risques d'abus. Je me demande, naturellement, si l'abus au niveau des frontières de chacun ne va pas se normaliser car le contenu même du job va se réduire. Par exemple, là où, avant, le code représentait 90 % du travail, dès lors qu'il en représente désormais 10 %, le multitâche et la polyvalence des rôles vont se normaliser avec un système : "c'est désormais comme ça. Tu marches ou tu crèves".

Le rapport Future of Jobs 2025 du World Economic Forum estime que 47 % des tâches sont aujourd'hui majoritairement humaines, 22 % majoritairement automatisées, et 30 % en collaboration homme-machine. Par ailleurs, 40 % des employeurs s'attendent à réduire leurs effectifs là où l'IA peut automatiser des tâches.

Avec l'IA, je me demande donc qui portera ce poids de la responsabilité et où se situera concrètement la limite de la responsabilité individuelle. De plus, à quel point la vigilance perdurera-t-elle dans le temps ? Aujourd'hui, des profils mid et seniors sont sur le marché et ils connaissent le monde d'avant. Ils ont développé des automatismes de réflexion, de vérification, de contrôle. Les nouvelles personnes formées n'ont pas ce recul de la séniorité. Je me demande donc naturellement si l'on ne bascule pas dans le biais d'automatisation, ou "automation bias" (Skitka et al., 1999) : quand un humain supervise un système automatisé, il a tendance à accorder une confiance excessive à ses recommandations et à réduire sa vigilance. Les futurs chefs d'orchestre, seuls maîtres à bord, seront-ils toujours en position de superviser, ou glisseront-ils vers un rôle de validation nominale (“rubber stamping”), rendant leur responsabilité réelle mais leur contrôle effectif illusoire ? C'est un point central des débats sur le "human in the loop" dans la gouvernance de l'IA.

Par ailleurs, quand je vois que, déjà, à l'échelle d'une équipe de recrutement, on se permet parfois de manquer de temps, et donc de rigueur, pour bien expliquer le produit, le besoin en recrutement, les enjeux actuels et futurs, en se disant que l'individu qui apprend avancera en roue libre, apprendra de ses erreurs, et que si la compétence n'est pas au rendez-vous, une rupture de contrat est possible. Il y a cette responsabilité diluée, non assumée ; et quand il faut discuter de responsabilité autour de la table, il y a toujours la possibilité de pointer le travail de l'autre, de pointer ses erreurs comme pour se cacher de ses propres incompétences.

À l'ère de l'IA, la responsabilité sera entière et l'incompétence révélée au grand jour, et peut-être même durablement, car l'agent, lui, reste avec sa dette, ses erreurs de prompt. Il apprend vite, heureusement, mais quid de la charge mentale qui pèsera sur les épaules de ces chefs d'orchestre ?

La charge mentale ne se niche pas uniquement dans ce FOMO, avec ce besoin viscéral de prendre le train pour ne pas être en retard. Elle se niche aussi dans le quotidien. Ce sont les humains restés à bord qui devront rendre des comptes. 

L'IA n'a pas encore de responsabilité juridique. Ce n'est pas elle qui devra faire face à une Direction ou à la justice. D'ailleurs, la Commission européenne a retiré en 2025 sa proposition de directive sur la responsabilité civile de l'IA (AI Liability Directive), faute d'accord entre États membres, laissant un vide : il reste la directive sur la responsabilité du fait des produits (approche “produit défectueux”), mais aucun régime spécifique pour la faute liée à un système d'IA. Le philosophe Andreas Matthias avait théorisé cela dès 2004 sous le nom de “responsibility gap” : quand une machine apprenante agit de façon imprévisible pour son concepteur, ni le fabricant ni l'utilisateur ne peuvent en être tenus pour moralement responsables au sens classique, et la société doit alors choisir entre interdire la machine ou accepter ce vide.

Par ailleurs, si la dilution de la responsabilité a un côté sombre, en masquant parfois certaines incompétences, elle offre en contrepartie un vrai filet de sécurité humain. Elle favorise l'entraide, le dialogue autour des bugs et une déculpabilisation bienvenue, portée par la culture du “tu n'es pas ton code”,  un soutien collectif indispensable dans la tempête comme dans les victoires. Mais, évidemment, cette dynamique de groupe a son revers psychologique : l'effet Ringelmann (illustré par l'expérience du tir à la corde dans les années 1880). Il démontre que plus l'équipe s'agrandit et moins la contribution individuelle est visible, plus l'effort fourni par chacun a tendance à décroître mécaniquement. Mais ce moindre effort n'est-il pas humain et nécessaire, par moments, pour préserver une bonne santé mentale ? Avoir la possibilité de souffler, avoir du répit en comptant un peu plus sur les autres, fait partie du mécanisme naturel d'un cerveau qui a besoin de respirer, de se poser, de se recentrer pour relancer la machine intellectuelle.

Ainsi, mon souhait le plus cher, lorsqu'une entreprise investit dans l'IA, c'est qu'elle prenne en compte l'organisation du travail et ses fondamentaux indispensables pour le bien-être des individus, au même niveau que l'amélioration de la productivité. Car je pense que ce qui peut coûter très cher aux entreprises n'est pas uniquement le volume d'usage des tokens qui explose plus vite que les prix ne baissent, mais aussi le départ de ces chefs d'orchestre totalement cramés par le poids de la montagne de jobs à réaliser. Gallup (2024-2025) mesure que 41 % des salariés dans le monde ressentent “beaucoup de stress” au quotidien, et que le taux d'épuisement professionnel global est passé de 38 % (2023) à plus de 43 % (2025).

Un cadre y répond concrètement : la “just culture”, issue de la sécurité aérienne et hospitalière (modèle du fromage suisse de James Reason), sépare explicitement l'erreur humaine individuelle de la défaillance systémique, pour éviter la culture du blâme tout en gardant une exigence de rigueur. C'est probablement le modèle organisationnel le plus proche de ce que j'aimerais voir se développer à l'avenir. Les entreprises qui l'ont adopté (l'aviation civile, notamment) ont un temps d'avance sur la question que pose l'IA…

Shirley Almosni Chiche

Quelques sources : 

Lire la suite