Les systèmes d’IA ne peuvent pas expliquer leurs décisions. Voici les pistes de recherche vers « l’explicabilité »

Le recours à l’intelligence artificielle, dans certains cas, génère des risques de discrimination accrue, voire de perte de confidentialité ; à tel point que l’Union européenne tente de réglementer les usages de l’IA selon différents niveaux de risque. Ceci est d’autant plus discutable que la plupart des systèmes d’IA actuels ne sont pas en mesure de fournir des explications à l’appui de leurs conclusions. Le domaine de « l’IA explicable » est en plein essor.

Dans les hôpitaux, les systèmes d’intelligence artificielle (IA) peuvent aider les médecins en analysant des images médicales ou en prédisant les résultats des patients sur la base de données historiques. Lors du recrutement, des algorithmes peuvent être utilisés pour trier les CV, classer les candidats et même mener les premiers entretiens. Sur Netflix, un « algorithme de recommandation » prédit les films que vous êtes susceptibles d’apprécier en fonction de vos habitudes de visionnage. Même lorsque vous conduisez, des algorithmes prédictifs sont à l’œuvre dans des applications de navigation telles que Waze et Google Maps pour optimiser les itinéraires et prédire les modèles de trafic qui devraient garantir des déplacements plus rapides.

Au bureau, ChatGPT, GitHub Copilot et d’autres outils basés sur l’IA aident à rédiger des e-mails, à écrire du code et à automatiser les tâches répétitives ; Des études suggèrent que jusqu’à 30 % des heures travaillées pourraient être automatisées par l’IA d’ici 2030.

Ces systèmes d’IA sont très variés, mais ils ont un point commun : leur fonctionnement interne et leurs résultats sont difficiles à expliquer… non seulement au grand public, mais aussi aux experts. Ce manque d’explicabilité limite le déploiement de systèmes d’IA dans la pratique. Pour résoudre ce problème et s’aligner sur les exigences réglementaires croissantes, un domaine de recherche connu sous le nom d’« IA explicable » (ou explicabilité) a émergé.

IA, machine learning… des noms qui recouvrent divers systèmes

Avec la médiatisation de l’intelligence artificielle et son déploiement rapide, il est facile de s’y perdre. De nombreux termes circulent notamment pour désigner différentes techniques d’IA, sans forcément savoir ce que chacune recouvre, par exemple « machine learning », « deep learning » et « grands modèles de langage », pour ne citer qu’eux. pour n’en citer que quelques-uns.

En termes simples, l’IA fait référence au développement de systèmes informatiques qui effectuent des tâches nécessitant l’intelligence humaine, telles que la résolution de problèmes, la prise de décision et la compréhension du langage. Il englobe divers sous-domaines tels que la robotique, la vision par ordinateur et la compréhension du langage naturel.

Un sous-ensemble important de l’IA est l’apprentissage automatique, qui permet aux ordinateurs d’apprendre à partir de données au lieu d’être explicitement programmés pour chaque tâche. En termes simples, la machine observe des modèles dans les données et les utilise pour faire des prédictions ou prendre des décisions. Dans le cas d’un filtre anti-spam, par exemple, le système est formé sur des milliers d’exemples de courriers indésirables et non-spam. Au fil du temps, il apprend des éléments (des mots, des expressions ou des détails sur l’expéditeur) qui sont courants dans le spam.

L’apprentissage profond lui-même est un sous-ensemble de l’apprentissage automatique et utilise des réseaux neuronaux complexes composés de plusieurs couches pour repérer et apprendre des modèles récurrents encore plus sophistiqués. L’apprentissage profond s’avère être d’une valeur exceptionnelle pour travailler avec des données textuelles ou images et constitue la technologie de base de divers outils de reconnaissance ou de reconnaissance d’images. principaux modèles de langage comme ChatGPT.

Réguler l’IA

Les exemples présentés au début de cet article montrent la grande variété d’applications possibles de l’IA dans différents secteurs. Plusieurs de ces applications, par exemple la suggestion de films sur Netflix, semblent relativement peu risquées, tandis que d’autres, comme le recrutement, l’évaluation de l’éligibilité au crédit bancaire ou le diagnostic médical, peuvent avoir un impact significatif sur la vie d’une personne. Il est donc essentiel que ces candidatures respectent des critères éthiques partagés.

C’est en raison de ce besoin de contrôle que l’Union européenne a proposé son « AI Act ». Ce cadre réglementaire classe les applications d’IA en quatre niveaux de risque différents en fonction de leur impact potentiel sur la société et les individus : inacceptable, élevé, limité et minime. Chaque niveau conduit à différents degrés de réglementation et d’exigences.

Lire la suite : L’Europe propose des règles pour l’intelligence artificielle

Ainsi, les systèmes d’IA présentant un « risque inacceptable », tels que les systèmes utilisés pour le score social ou la police prédictive, sont interdits dans l’Union européenne, car ils représentent des menaces importantes pour les droits de l’homme.

Les systèmes d’IA « à haut risque » sont autorisés, mais ils sont soumis à la réglementation la plus stricte car ils sont susceptibles de causer des dommages importants s’ils échouent ou sont utilisés à mauvais escient, par exemple dans des secteurs sensibles tels que les forces de l’ordre et la police, le recrutement et l’éducation.

Les systèmes d’IA à « risque limité » comportent certains risques de manipulation ou de tromperie, par exemple les chatbots ou les systèmes de reconnaissance d’émotions, où il est essentiel que les humains soient informés de leur interaction avec le système d’IA. IA.

Les systèmes d’IA à « risque minimal » contiennent tous les autres systèmes d’IA, tels que les filtres anti-spam, qui peuvent être déployés sans restrictions supplémentaires.

Le besoin d’explications, ou comment sortir l’IA de la « boîte noire »

De nombreux consommateurs ne sont plus disposés à accepter que les entreprises attribuent leurs décisions à des algorithmes de type boîte noire. Prenez par exemple l’incident de la Apple Card, où un homme s’est vu accorder une limite de crédit nettement plus élevée que sa femme, malgré le fait qu’ils partageaient les mêmes actifs. Cet incident a suscité l’indignation du public car Apple n’a pas été en mesure d’expliquer le raisonnement derrière la décision de son algorithme. Cet exemple met en évidence le besoin croissant d’expliquer les décisions prises par l’IA, non seulement pour garantir la satisfaction des clients et des utilisateurs, mais aussi pour éviter une perception négative du public.

De plus, pour les systèmes d’IA à haut risque, l’article 86 de la loi sur l’IA établit le droit de demander une explication sur les décisions prises par les systèmes d’IA, ce qui constitue une étape importante pour garantir la transparence des algorithmes.

Au-delà de la conformité légale, les systèmes d’IA « transparents » présentent plusieurs avantages, tant pour les propriétaires de modèles que pour ceux concernés par les décisions.

IA transparente

Premièrement, la transparence renforce la confiance (comme dans le cas de l’Apple Card) : lorsque les utilisateurs comprennent comment fonctionne un système d’IA, ils sont plus susceptibles de l’utiliser.

Deuxièmement, la transparence permet d’éviter des résultats biaisés, en permettant aux régulateurs de vérifier si un modèle favorise injustement des groupes spécifiques.

Lire la suite : La société est biaisée, et cela biaise l’IA… voici quelques solutions possibles pour une IA vertueuse et une société plus inclusive

Enfin, la transparence permet l’amélioration continue des systèmes d’IA en révélant des erreurs ou des effets récurrents inattendus.

D’une manière générale, il existe deux approches pour rendre les systèmes d’IA plus transparents.

Premièrement, nous pouvons utiliser des modèles d’IA simples, tels que des arbres de décision ou des modèles linéaires, pour faire des prédictions. Ces modèles sont faciles à comprendre car leur processus de décision est simple.

Par exemple, un modèle de régression linéaire peut être utilisé pour prédire les prix des logements en fonction de caractéristiques telles que le nombre de chambres, la superficie en pieds carrés et l’emplacement. La simplicité réside dans le fait que chaque caractéristique se voit attribuer un poids et que la prévision est simplement la somme de ces caractéristiques pondérées : il est clair comment chaque caractéristique contribue à la prévision finale du prix de l’immobilier.

Cependant, à mesure que les données deviennent plus complexes, ces modèles simples risquent de ne plus fonctionner suffisamment bien.

C’est pourquoi les développeurs se tournent souvent vers des « systèmes de boîtes noires » plus avancés, comme les réseaux neuronaux profonds, qui peuvent traiter des données plus volumineuses et plus complexes mais sont difficiles à interpréter. Par exemple, un réseau neuronal profond comportant des millions de paramètres peut atteindre des performances très élevées, mais la manière dont il prend des décisions n’est pas compréhensible pour les humains car son processus de prise de décision est trop vaste et trop complexe.

IA explicable

Une autre option consiste à utiliser ces modèles puissants malgré leur effet de « boîte noire » en conjonction avec un algorithme d’explication distinct. Cette approche, dite « IA explicable », permet de bénéficier de la puissance de modèles complexes tout en offrant un certain niveau de transparence.

Une méthode bien connue pour cela est l’explication contrefactuelle, qui consiste à expliquer la décision prise par un modèle en identifiant des changements minimes dans les caractéristiques d’entrée qui conduiraient à une décision différente.

Par exemple, si un système d’IA refuse un prêt à quelqu’un, une explication contrefactuelle pourrait informer le demandeur : « Si votre revenu annuel avait été supérieur de 5 000 euros, votre prêt aurait été approuvé. » Cela rend la décision plus compréhensible, tout en conservant un modèle d’apprentissage automatique complexe et puissant. L’inconvénient est que ces explications sont des approximations, ce qui signifie qu’il peut y avoir plusieurs façons d’expliquer la même décision.

Vers des usages positifs et équitables

À mesure que les systèmes d’IA deviennent de plus en plus complexes, leur potentiel de transformation de la société augmente, tout comme leur capacité à commettre des erreurs. Pour que les systèmes d’IA soient véritablement efficaces et fiables, les utilisateurs doivent être capables de comprendre comment ces modèles prennent des décisions.

La transparence n’est pas seulement une question de confiance, elle est également cruciale pour détecter les erreurs et garantir l’équité. Par exemple, dans le cas des voitures autonomes, l’IA explicable peut aider les ingénieurs à comprendre pourquoi la voiture a mal interprété un panneau d’arrêt ou n’a pas reconnu un piéton. De même, en matière d’embauche, comprendre comment un système d’IA classe les candidats peut aider les employeurs à éviter les sélections biaisées et à promouvoir la diversité.

En nous concentrant sur des systèmes d’IA transparents et éthiques, nous pouvons garantir que la technologie sert les individus et la société de manière positive et équitable.

Créé en 2007 pour accélérer et partager les connaissances scientifiques sur de grands enjeux sociétaux, le Fonds Axa pour la Recherche a soutenu près de 700 projets dans le monde, portés par des chercheurs de 38 pays. Pour en savoir plus, visitez le site Web du Fonds Axa pour la Recherche ou suivez-nous sur Twitter @AXAResearchFund.