En août 2023, le conseil exécutif de la Canadian Association of Law Libraries/Association canadienne des bibliothèques de droit (CALL/ACBD) a approuvé une proposition visant à créer un nouveau groupe de travail sur les normes en matière d’IA (GTIA). Ce groupe a été créé à titre de sous-comité du comité de liaison avec les fournisseurs (CLF).

Le présent guide est régi par la licence Creative Commons CC BY-NC-SA 4.0.

Les membres du comité sont les suivants :

• Annette Demers, Université de Windsor (promotrice et coprésidente)
• Sandy Hervieux, Université McGill (coprésidente)
• James Bachmann, Université de la Colombie-Britannique
• Katarina Daniels, Davies Ward Phillips & Vineberg S.E.N.C.R.L., s.r.l.
• Erica Friesen, Université Queen’s
• Sarah Gibbs, Parlee McLaws LLP
• Bryony Livingston, Assemblée législative de l’Ontario
• Anita Susac-Bilyk, Goodmans LLP

Ce groupe est bien placé pour donner des conseils sur le sujet, car ses membres cumulent des dizaines d’années d’expérience quant à l’utilisation d’outils de recherche juridique électroniques dans la pratique du droit.

Le groupe de travail a mené de nombreuses consultations afin de préparer ses recommandations. Ces consultations ont réuni des membres de la CALL/ACBD, des professionnels du droit, des représentants de fournisseurs et des professionnels de domaines connexes.

Le présent guide a pour but d’orienter les consommateurs avertis qui établiront des normes et des attentes de base que tous les fournisseurs de solutions de recherche et rédaction juridiques (RRJ) basées sur l’IA s’efforceront d’atteindre.

Comme le soulignent de nombreux barreaux au Canada ¹, les titulaires de licence qui utilisent l’intelligence artificielle ont des responsabilités éthiques et professionnelles à cet égard. Par conséquent, ce guide a été rédigé pour aider les utilisateurs. Ces utilisateurs comprennent les bibliothécaires de droit, les juges, les avocats, les administrateurs, les parajuristes, les greffiers, les professeurs et les étudiants. Le public et d’autres utilisateurs, comme les législateurs ou décideurs, peuvent également trouver des informations utiles dans ce guide.

Les utilisateurs doivent savoir ce qu’ils doivent rechercher et ce qu’ils doivent demander par rapport aux applications d’IA conçues pour aider à la RRJ. À savoir :

• faire l’achat d’applications ;
• apprendre à les utiliser ;
• enseigner leur utilisation et mentorer d’autres personnes sur leur utilisation ;
• rechercher ou demander des informations ;
• utiliser les résultats ;
• gérer les risques liés à ces applications.

Pour les utilisateurs qui évaluent un système particulier à des fins d’approvisionnement ou autres, un encadré est présenté à la fin de chaque section afin de leur permettre d’attribuer un pointage en fonction des critères et d’ajouter des notes. Un tableau récapitulatif des pointages figure également à la fin du document, permettant ainsi aux utilisateurs d’obtenir des résultats pondérés. Un tableur Excel a aussi été conçu dans le but d’accompagner ce guide.

Les renseignements que renferme le présent guide ne sont donnés qu’à titre informatif aux utilisateurs et fournisseurs d’IA. Ils ne constituent nullement des conseils juridiques. Toute personne utilise les produits d’IA à ses propres risques et doit faire preuve de diligence raisonnable pour déterminer toute responsabilité liée à leur utilisation. Les personnes ayant contribué à la rédaction du présent guide n’offrent aucune garantie quant à l’exactitude et à la fiabilité des renseignements présentés ni quant à tout autre contenu connexe fourni.

Ce guide vise à compléter d’autres lignes directrices et pratiques exemplaires qui peuvent être fournies dans les instructions relatives à la pratique, les règles de déontologie, les lois, les normes, les critères et les politiques.

Il ne prétend pas aborder tous les enjeux de nature éthique possibles liés aux systèmes d’IA, comme les préoccupations relatives à l’environnement, les droits de la personne, etc. Les utilisateurs sont invités à se renseigner sur ces questions.

Algorithme

[Traduction] mathématiques et informatique. Une procédure ou un ensemble de règles utilisés dans le calcul et la résolution de problèmes ; un ensemble d’opérations mathématiques ou logiques clairement défini permettant d’exécuter une tâche particulière. ²

Intelligence artificielle

La technologie de l’information qui exécute des tâches pour lesquelles il faut habituellement faire appel à l’intelligence biologique, comme comprendre le langage parlé, apprendre des comportements ou résoudre des problèmes ³.

Système d’intelligence artificielle (système d’IA) ⁴

Un système d’intelligence artificielle est tout système informatique utilisant des algorithmes d’intelligence artificielle⁵.

Données

Renseignements structurés et non structurés qui sont recueillis, stockés et analysés pour faciliter la prise de décision.

Mur éthique

Aussi connu sous les termes « barrière de l’information » et « pare-feu », il s’agit de sauvegardes procédurales utilisées par les organisations afin d’empêcher l’échange de renseignements confidentiels entre des services, des équipes ou des personnes dont les interactions pourraient entraîner un conflit d’intérêts ou un manquement à l’éthique. Ces barrières sont conçues pour protéger les renseignements confidentiels, maintenir la confidentialité avec les clients et préserver l’intégrité des pratiques professionnelles en veillant à ce que seul le personnel autorisé ait accès à certains renseignements.

Modèles de fondation

[Traduction] Les modèles de fondation sont des modèles d’intelligence artificielle (IA) entraînés sur un ensemble de données très vaste et varié et peuvent accomplir un large éventail de tâches générales. Ils servent d’éléments de base ou de composantes à la création d’applications plus spécialisées.⁷

IA générative

L’intelligence artificielle générative (IA générative) fait partie d’un sous-ensemble de l’IA qui utilise des modèles avancés pour générer de nouveaux contenus comme du texte, des images, des vidéos et des fichiers audio sur la base d’entrées utilisateur. Ces modèles, qui sont habituellement des algorithmes d’apprentissage profond, apprennent des modèles et des structures à partir de vastes bases de données et utilisent ces connaissances pour générer du contenu original.

Hallucination

Une réponse d’IA générative est considérée comme une hallucination lorsqu’elle est incorrecte ou infondée. En d’autres mots, on dit qu’un système d’IA hallucine s’il fait une fausse déclaration ou affirme à tort qu’une source appuie une déclaration8 [traduction libre].⁸

Grands modèles de langage (LLM)

[Traduction] Un algorithme d’apprentissage profond qui utilise des quantités massives de paramètres et de données d’entraînement pour comprendre et prédire du texte. Ces modèles sont basés sur l’intelligence artificielle générative et peuvent effectuer diverses tâches de traitement du langage naturel en dehors de la simple génération de texte, notamment la révision et la traduction de contenu. Les LLM visent à produire le résultat le plus probable pour un mot donné⁹."

Apprentissage automatique (machine learning) (ML)

L’apprentissage automatique est une branche de l’intelligence artificielle qui vise à permettre aux ordinateurs et aux machines d’imiter la façon dont les humains apprennent, de réaliser des tâches de manière autonome et d’améliorer leur rendement et leur précision grâce à l’expérience acquise et en étant exposés à de nouvelles données¹⁰.

Apprentissage par renforcement

“L’apprentissage par renforcement (RL) est une technique de machine learning qui entraîne les logiciels à prendre des décisions en vue d’obtenir les meilleurs résultats. Elle imite le processus d’apprentissage par tâtonnements employés par les êtres humains pour atteindre leurs objectifs. Les actions logicielles qui contribuent à la réalisation de votre objectif sont renforcées, tandis que les actions qui nuisent à celle-ci sont ignorées¹⁴."

Modèle

Un modèle d’IA est un programme qui analyse des données afin d’identifier des schémas ou d’effectuer des prédictions¹⁵.

Traitement du langage naturel (NLP)

“Le traitement automatique du langage naturel (NLP) est un sous-domaine de l’informatique et de l’intelligence artificielle qui utilise le machine learning pour permettre aux ordinateurs de comprendre et de communiquer en langage humain¹⁶."

Requête

(Voir également Entrée utilisateur.)

Résultats

Résultat produit par un système d’IA en réponse à une requête.

Génération améliorée par récupération d’information (GARI)

La GARI est une technique d’intelligence artificielle qui peut améliorer la qualité des résultats générés par l’IA générative en permettant aux grands modèles de langage d’accéder à des ensembles de données spécialisés (p. ex., des bases de données juridiques primaires ou secondaires) en dehors de leurs sources de données d’apprentissage.

Entrée utilisateur

Instructions ou données fournies par un utilisateur à un système d’IA et que celui-ci utilise pour générer des résultats ¹⁷ (Voir également Requête.)

Fournisseur

Une personne physique ou morale, une autorité publique, une agence ou tout autre organisme qui commercialise ou fournit l’accès à un système d’IA.¹⁸

Tous les documents relatifs à la commercialisation et aux produits doivent être rédigés dans un langage clair.

Commercialisation

Les déclarations faites dans le cadre de la commercialisation doivent être véridiques, exactes et transparentes. Elles doivent refléter de manière réaliste les avantages et les risques présentés par le produit.

Lorsque des résultats d’enquêtes sont utilisés pour commercialiser le produit, les fournisseurs doivent communiquer les questions posées et la méthodologie utilisée.

Documents destinés aux utilisateurs éventuels

Les fournisseurs doivent mettre à la disposition des utilisateurs éventuels des documents qui décrivent de manière transparente tous les aspects du système d’IA, comme indiqué dans le présent guide.

Documents destinés à aider les utilisateurs abonnés

Les fournisseurs doivent mettre à la disposition des utilisateurs abonnés des documents qui décrivent de manière transparente tous les aspects du système d’IA, comme indiqué dans le présent guide.

En outre, les utilisateurs abonnés doivent avoir accès à des conseils sur l’utilisation du produit.

Les documents et conseils doivent être accessibles à partir du produit (p. ex., une page d’aide).

Les documents doivent décrire les types de soutien offerts à l’utilisateur comme, entre autres, un service de soutien en temps réel fourni par une vraie personne.

Les utilisateurs doivent être conscients que la plupart, voire la totalité, des applications d’IA pour la RRJ sont créées sur des modèles de fondation entraînés sur le réseau ouvert Internet. Les applications de RRJ doivent être conçues sur une collecte transparente de sources d’informations juridiques. Les fournisseurs doivent fournir des renseignements clairs sur les points suivants :

1. Quelles sont les sources de données utilisées par le système d’IA ? En voici des exemples :

2. La portée de chaque ensemble de données est-elle fournie ? Elle doit au minimum inclure, le cas échéant :

3. Quelles données ne sont PAS incluses dans la production des résultats ? Par exemple, l’IA utilise-t-elle ou non certains contenus d’abonnés ? Les contenus de non-abonnés sont-ils exclus ?

4. Les différents services proposés dans le cadre du produit précisent-ils également la portée des données (telle que décrite ci-dessus) sur lesquelles chaque service est entraîné et à partir desquelles les résultats sont produits ?

5. Des normes de qualité des données ont-elles été établies et consignées ?

Biais

Quelles sont les mesures prises, s’il y a lieu, pour atténuer les biais provenant de sources de données ? Voir également la section Biais ci-dessous.

Les données sur lesquelles un système d’IA a été entraîné ont une incidence sur la précision, la validité et la pertinence des résultats produits par l’IA. Les fournisseurs doivent divulguer les données utilisées par leurs outils, ainsi que les mécanismes de contrôle de la qualité mis en place pour évaluer les résultats et prévenir les erreurs. Lorsque ces renseignements ne sont pas connus par les modèles de fondation, le fournisseur doit clairement l’indiquer. Les renseignements portant sur ces points doivent inclure :

1. Sur quelles données l’IA est-elle entraînée ? Par exemple, les données d’entraînement sont-elles limitées au contenu des bases de données juridiques (si oui, lesquelles) ou proviennent-elles de ressources externes ou du réseau ouvert Internet ? L’utilisateur peut-il connaître toutes les sources utilisées pour l’entraînement ? Quelles lacunes ont été identifiées dans les données d’entraînement qui pourraient contribuer à des hallucinations ou à des résultats anormaux ?

2. L’utilisateur a-t-il été prévenu que des hallucinations ou des résultats incomplets ou non pertinents pourraient découler de lacunes dans les données d’entraînement spécialisées ?

3. Les entrées des utilisateurs sont-elles utilisées comme données pour entraîner le système d’IA ? Si oui, les données sont-elles anonymisées ou dépersonnalisées ? Le fournisseur offre-t-il la possibilité de refuser ?

4. Les résultats du système d’IA sont-ils utilisés pour l’entraîner ?

5. L’étiquetage des données a-t-il été effectué par des humains, par un autre système d’IA ou par une combinaison des deux ? Décrivez tout processus, toute norme ou toute politique ayant trait au processus d’étiquetage.

Biais

Quelles sont les mesures prises, s’il y a lieu, pour atténuer les biais provenant des données d’entraînement et des processus d’entraînement ? Voir également la section Biais ci-dessous.

Les fournisseurs doivent fournir une description détaillée du système d’IA, notamment les éléments décrits ci-dessous. Lorsque ces renseignements ne sont pas connus pour les modèles de fondation, le fournisseur doit clairement l’indiquer.

Algorithmes

Sur quelles méthodes et quels algorithmes reposent l’entraînement et le fonctionnement du système d’IA (p. ex., traitement du langage naturel, GARI, type d’apprentissage [p. ex., apprentissage semi-supervisé], modèles de transformateurs, etc.) ? Voici des exemples de questions connexes à poser :

1. Comment fonctionnent les algorithmes ?

2. Comment sont entraînés les algorithmes ? Par exemple :

3. Sur quels produits de tiers ou d’IA le système d’IA repose-t-il (p. ex., GPT-5, DeepSeek) ? Dans quelle mesure le produit tiers est-il entraîné sur des données spécialisées ou spécifiques à un sujet ?

Facteurs liés aux résultats

Les fournisseurs doivent faire preuve de transparence quant à la manière dont les résultats du système d’IA sont testés, notamment :

1. En quoi consiste un résultat adéquat par rapport à un résultat inadéquat ?

2. Les outils de test et les résultats des tests sont-ils accessibles ? À quelle date ont-ils été réalisés ? Dans quelle mesure les résultats des tests reflètent-ils la configuration actuelle du système ?

Hallucinations

Pour les systèmes d’IA générative :

1. De quelle manière le fournisseur définit-il les hallucinations ? Existe-t-il des types d’hallucinations qui ne sont pas reconnus par le fournisseur ? Voir, par exemple, notre définition de l’hallucination ci-dessus.

2. Le fournisseur précise-t-il que des hallucinations sont possibles ? Si oui, de quels types ?

3. Quel pourcentage des résultats est hallucinatoire ? Ce pourcentage varie-t-il en fonction du type de requête ou de tâche demandée à l’IA (et si oui, comment) ? Ce pourcentage varie-t-il en fonction du type d’hallucination en question (et si oui, comment) ?

4. Quels sont les contrôles mis en place pour prévenir les hallucinations ?

5. Que doit faire un utilisateur lorsqu’une hallucination est identifiée (p. ex., le fournisseur sollicite-t-il les commentaires de ses utilisateurs sur les cas d’hallucinations) ?

Biais

1. Quelles mesures ont été prises pour créer des algorithmes qui réduisent et éliminent les biais et la discrimination ?

2. Dans quelle mesure et de quelle manière les vraies personnes participent-elles à la réduction et à l’élimination des biais dans les algorithmes, les données et les résultats ?

Voir également la section Biais ci-dessous.

1. Le produit comporte-t-il des instructions pour conseiller les utilisateurs sur la manière d’interagir efficacement avec le système d’IA (p. ex., les meilleures pratiques pour formuler des requêtes) ?

2. Le matériel de formation et les documents sont-ils offerts dans divers formats (p. ex., vidéos, tutoriels interactifs, listes de vérification, guides) ?

3. La compétence est-elle clairement mentionnée dans l’interaction (p. ex., par une requête particulière ou des options de préfiltrage ou de postfiltrage) ?

4. Le système d’IA permet-il aux utilisateurs de créer des profils réutilisables ou partageables sur leurs comptes ?

5. Le système d’IA permet-il aux utilisateurs de créer des bibliothèques de requêtes ou d’enregistrer ou de réutiliser les entrées utilisateur ?

6. Le système d’IA fournit-il des renseignements sur d’autres cas ou questions connexes à explorer ?

7. Le système d’IA apprend-il à partir des entrées utilisateur (p. ex., à partir des requêtes, des commentaires des utilisateurs sur les résultats, etc.) ? Si oui, comment ?

Crédibilité des résultats

1. De quelle manière le système d’IA réagit-il s’il ne peut pas produire de résultat ? L’IA indique-t-elle clairement qu’elle ne peut pas fournir de résultat, affiche-t-elle un message d’erreur ou génère-t-elle toujours un résultat ?

2. Un indicateur de confiance est-il fourni ? Si oui, comment est-il calculé ?

Attribution des résultats de l’IA générative¹⁹

Le fournisseur fournit-il suffisamment de renseignements pour citer les résultats générés par l’IA, compte tenu des exigences des barreaux, des directives pratiques des tribunaux, etc., en matière d’attribution des résultats générés par l’IA ?

Sources de références

1. Les références sont-elles systématiquement fournies²⁰ Si ce n’est pas le cas, un rappel ou un indicateur est-il fourni pour inciter les utilisateurs à vérifier les résultats ?

2. Les sources sont-elles objectivement reconnaissables et vérifiables ?

Voir également la section Transparence des algorithmes – Biais

1. Le matériel de formation, les conditions d’utilisation, les rappels ou les avertissements du système comprennent-ils les éléments suivants ?

2. Le fournisseur fournit-il des documents démontrant le respect des lois et des règlements applicables à ce système d’IA ?

1. Le fournisseur explique-t-il comment les données de l’utilisateur seront utilisées et protégées, notamment :

2. Pour les systèmes d’IA qui s’intègrent à d’autres applications ou logiciels, y compris, mais sans s’y limiter :

Le fournisseur explique-t-il dans quelle mesure et/ou comment les murs éthiques ou autres mécanismes de conflit ou de sécurité seront transférés afin de veiller à ce que les utilisateurs ne puissent voir que le contenu auquel ils sont autorisés à accéder ? À quelle fréquence les murs éthiques ou autres mécanismes de conflit ou de sécurité seront-ils synchronisés entre les systèmes ?

Lorsque les murs éthiques ou autres mécanismes de conflit ou de sécurité ne peuvent pas être transférés, l’outil permet-il la mise en place de mesures de sécurité personnalisées ? De quelle manière sont-elles gérées ?

1. Existe-t-il une politique régissant l’utilisation des données protégées par le droit d’auteur utilisées par le système d’IA ?

2. Existe-t-il une politique régissant le téléchargement par les utilisateurs de contenus protégés par le droit d’auteur vers le système d’IA ?

3. Quelles sont les mesures prises par le fournisseur pour protéger les utilisateurs contre toute violation involontaire du droit d’auteur lors de l’utilisation de contenus produits par le système d’IA ?

4. Le fournisseur confirme-t-il que les éléments protégés par le droit d’auteur ont été utilisés avec autorisation ? Lorsque ces renseignements ne sont pas connus par les modèles de fondation, le fournisseur doit clairement l’indiquer.

5. Les citations ou les attributions sont-elles mises à la disposition des utilisateurs en même temps que les résultats ?

6. Le fournisseur autorise-t-il les auteurs et les fournisseurs de contenu sous licence à refuser que leur contenu soit utilisé par des systèmes d’IA ?

1. Le fournisseur reconnaît-il l’existence de biais dans le système d’IA et le risque de perpétuer ou d’aggraver ces biais ?

2. Quelles sont les mesures prises par le fournisseur pour mettre en évidence ou atténuer les biais dans le système d’IA ? Lorsque ces renseignements ne sont pas connus par les modèles de fondation, le fournisseur doit clairement l’indiquer. Par exemple :

3. Le fournisseur garantit-il que le système d’IA respecte toutes les exigences législatives et réglementaires et se conforme aux normes internationales pertinentes ?

4. Le système d’IA bloque-t-il certaines requêtes ? Si oui, dans quelles circonstances ?

Les utilisateurs doivent être particulièrement vigilants quant aux biais des outils qui prétendent discerner les caractéristiques subjectives d’un document, par exemple la véracité, le ton et le sarcasme.

Voir également les sections suivantes :

Transparence des algorithmes – Biais

Transparence des données – Biais

1. Le fournisseur dispose-t-il d’une politique publique, tant pour les auteurs que pour les commentaires générés à l’interne, concernant l’utilisation de l’IA dans la création, la mise à jour ou la modification de produits de commentaires ?

2. L’éditeur indique-t-il clairement comment l’IA est utilisée dans la création, la mise à jour ou la modification de produits de commentaires ?

3. Dans de telles situations, comment l’utilisation de l’IA est-elle attribuée ? Voir, par exemple : COAL-RJAL Editorial Group, Canadian Open Access Legal Citation Guide /Guide canadien de la référence juridique en accès libre (RJAL) Institut canadien d’information juridique, 2024 CanLIIDocs 830, en ligne : https://canlii.ca/t/7nc6q section 8.

Critères	Pointage	Pondération
Documents sur la commercialisation et les produits
Transparence des données
Données utilisées pour l’entraînement (données d’entraînement)
Transparence des algorithmes
Entrées utilisateur, requêtes et ingénierie de requêtes
Résultats
Gestion des risques connexes
Confidentialité
Droit d’auteur
Biais
Commentaires juridiques générés par l’IA