Pourquoi le règlement européen sur l’IA est le meilleur argument en faveur du design dans le secteur bancaire
La loi européenne sur l’IA exige que les systèmes d’IA soient transparents, explicables et contrôlables par l’utilisateur. Pour le design, ce n’est pas une restriction – c’est le meilleur argument qu’il ait eu depuis des années. Les organisations qui conçoivent selon ce critère ont désormais un avantage sur celles qui attendent le régulateur.
Pourquoi le règlement européen sur l'IA est la meilleure nouveauté en matière de design depuis des années
Lorsque la loi européenne sur l’IA est entrée en vigueur en 2024, la plupart des organisations l’ont interprétée comme une question de conformité. Une nouvelle réglementation, un nouveau coût, une nouvelle couche de bureaucratie sur des projets déjà complexes en eux-mêmes.
Nous le lisons différemment.
Le règlement européen sur l’IA est, entre autres, un document qui stipule que les systèmes d’IA qui prennent des décisions affectant les personnes doivent être transparents, explicables et contrôlables par l’utilisateur. Que la personne qui reçoit une décision automatisée — concernant un crédit, un bien public, une couverture d’assurance — a le droit de comprendre pourquoi cette décision a été prise et de la contester.
Ce n'est pas de la bureaucratie. Il s’agit d’une conception centrée sur l’utilisateur ayant force de loi.
Le problème que le design tente de résoudre depuis des années
Depuis des années, les équipes de conception soutiennent que la transparence et l’explicabilité des systèmes numériques ne sont pas seulement des principes éthiques : ce sont aussi des facteurs d’utilisabilité. Un utilisateur qui ne comprend pas ce que fait un système ne lui fait pas confiance. Un utilisateur qui ne lui fait pas confiance ne l'utilise pas. Et un système que personne n’utilise ne sert à rien, aussi sophistiqué soit-il technologiquement.
Cet argument a convaincu certaines équipes produit. Cela n’a pas toujours convaincu les comités de direction, les équipes juridiques ou les chefs de produit qui privilégient la rapidité de sortie plutôt que la qualité de l’expérience.
L’AI Act change la donne. Désormais, la transparence n’est pas une recommandation de conception : c’est une exigence légale pour tout système d’IA à haut risque. Et dans les banques, les assurances et l’administration publique, presque tous les systèmes d’IA importants présentent un risque élevé.
Que signifie concevoir pour l'AI Act
Le règlement établit, entre autres, que les systèmes d’IA à haut risque doivent :
— Être suffisamment transparent pour que ses utilisateurs puissent interpréter les résultats et les utiliser de manière appropriée.
— Permettre une supervision humaine efficace : les personnes responsables de l'utilisation du système doivent être capables de comprendre ce qu'il fait et d'intervenir si nécessaire.
— Fournir des informations compréhensibles aux personnes concernées par les décisions du système.
Traduit en langage de conception : vous avez besoin d'interfaces qui expliquent ce que l'IA décide et pourquoi. Vous avez besoin de mécanismes de contrôle réels et non décoratifs. Vous avez besoin de flux de référence humains qui fonctionnent bien lorsque le système tombe en panne ou lorsque l'utilisateur ne comprend pas la décision.
Ce problème n’est pas résolu par l’équipe de conformité. Il est résolu par l’équipe de conception, avec jugement et temps.
Pourquoi il s'agit d'un avantage concurrentiel et non d'un fardeau
Les organisations qui commencent à concevoir leurs systèmes d’IA selon ces critères ont désormais un avantage sur celles qui abandonnent jusqu’à ce que le régulateur vienne frapper à leur porte.
La raison est simple : concevoir la transparence plus tard coûte beaucoup plus cher que de la concevoir dès le début. Un système d’IA construit sans penser à l’explicabilité ne devient pas explicable en ajoutant un texte d’avertissement à la fin du flux. Cela nécessite de repenser l’architecture de l’expérience : comment l’information est présentée, quand elle apparaît, sous quel format, dans quel langage.
Les organisations qui le font bien auront également un avantage en matière de confiance auprès de leurs utilisateurs. Et dans des secteurs comme la banque ou l’assurance, où la confiance est la base de la relation avec le client, cela se traduit directement en adoption, en fidélisation et en business.
Ce que nous apprenons à EGGS
Dans les projets d’IA sur lesquels nous avons travaillé ces dernières années – dans les banques, les assurances, l’administration publique – nous avons vu que le problème le plus difficile n’est pas technique. C'est la conception d'expérience.
Comment expliquer à un client qu’un système automatisé a examiné sa demande de crédit et est parvenu à une conclusion, sans que cette explication ne ressemble à une excuse d’entreprise ? Comment concevoir le moment où l’utilisateur a besoin de parler à une personne, sans donner l’impression que le système est en panne ? Comment instaurer la confiance dans un assistant conversationnel dans un contexte – assurance, banque, santé – où l’utilisateur a de gros enjeux ?
Ces questions n’ont pas de réponse générique. Ils ont une réponse dans le contexte spécifique de chaque organisation, avec des recherches auprès d'utilisateurs réels et avec un processus de conception qui traite la transparence comme un objectif d'expérience et non comme une exigence légale à respecter avec un minimum d'effort.
C'est exactement le type de problème pour lequel iX existe : notre méthodologie et notre plateforme de connaissances pour concevoir des expériences intelligentes dans des secteurs complexes.
La loi sur l’IA n’a pas changé ce que nous faisons. Cela nous a donné de meilleurs arguments pour expliquer pourquoi il est important de bien le faire.
