Nous avons publié avec l’avocat Bernard Lamon une étude, parue cette semaine à la Semaine juridique édition Générale, consacrée à l’expérience menée par l’entreprise LawGeex, et dont il est question ici.
Cette entreprise basée aux USA et en Israël a organisé un « match » entre une vingtaine de lawyers expérimentés (des avocats stricto sensu mais aussi des juristes d’entreprise ou de collectivités publiques) et le logiciel d’analyse des contrats développé par l’entreprise.
LawGeex a rédigé un document sur cette expérience, document qu’il est possible de commander.
Ce match consistait à soumettre cinq contrats aux humains et à l’IA et à leur demander d’identifier des clauses de 30 catégories différentes.
I – Le résultat: victoire nette de l’IA…
Le résultat du match est clairement à l’avantage de la machine, qui identifie en 26 secondes les clauses de 30 types divers dans les contrats là où les humains mettent plutôt une heure ou deux, et la machine est plus fiable que les humains.
Il semble en découler que l’IA est prête à remplacer les avocats, menace que l’on a déjà entendue à propos du logiciel ROSS (voir l’article de ce blog « ROSS, Peter, Dalloz et les autres« ).
II – … à nuancer sérieusement.
N’allons pas si vite, car il faut faire état de plusieurs points importants.
Tout d’abord, le match ne portait que sur l’identification de clauses, donc la tâche consistant à identifier une clause comme étant, par exemple, une clause limitative de responsabilité, ou une clause d’arbitrage, etc.
L’IA (du moins celle qui a été utilisée) ne « détecte pas les erreurs », contrairement à ce que l’on a pu lire, au sens où elle ne fait pas le travail suivant:
- identifier la loi L applicable au contrat C;
- identifier dans C une clause d’un type donné (la clause X);
- comprendre du 1 que la clause X est interdite par la loi A dans le contrat C;
- signaler la clause X comme étant illicite.
Ensuite, l’analyse ne portait sur des contrats du même type, et des contrats standards (ce sont des accords de confidentialité) que la machine avait vu des milliers de fois.
Enfin, et surtout, certains avocats font parfois mieux que la machine.
Le tableau des résultats est passionnant, en ce qu’il permet de comparer les avocats à la machine, mais aussi les avocats entre eux.
Dans le tableau ci-dessous, figurant dans l’étude LawGeex, on voit les moyennes de plusieurs juristes humains, contrat par contrat (NDA 1, NDA 2, etc.) puis leur moyenne générale.
Dans ce second extrait, on voit les résultats des humains pris dans leur ensemble, et on peut les comparer aux résultats de l’IA.
Certains points sautent aux yeux: la machine est toujours meilleure que les humains pris dans leur ensemble, et elle les bat de beaucoup.
Mais certains humains, comme les lawyers 19 et 20 battent parfois la machine ou font jeu égal avec elle.
L’avocat contre l’IA (allégorie Marvel)
III – Et après?
L’IA ne remplace pas encore l’avocat, pour dire si une clause est valable au regard de la loi applicable. Du moins l’IA qui a été utilisée ici ne le fait pas, mais cela ne devrait pas être infaisable.
Notons tout de même que le travail de vérification de la validité d’une clause n’est pas si simple qu’on peut le penser de prime abord, et qu’une rédaction un tout petit peu inhabituelle pourrait perturber la machine, de même que l’insertion d’un détail inhabituel dans une photo perturbe beaucoup les logiciels de reconnaissance d’image, comme l’évoquait un article du NY Times récemment.
L’IA est tout de même très utile, par exemple pour trouver une clause sensible dans un contrat, ou dans de très nombreux contrats. Par exemple, si je rachète une entreprise avec des centaines de collaborateurs, il est important de savoir s’ils ont une clause de conscience dans leurs contrats et s’ils vont potentiellement partir.
En conclusion, ce qui est envisageable dans notre domaine maintenant et sans doute encore pour quelques années, c’est une collaboration de l’IA aux tâches des juristes humains.
Bruno DONDERO
Le blog du professeur Bruno Dondero 
Bonsoir
Il est temps que les avocats dont j’ai eu à subir les pratiques apprennent à rédiger une liste des pièces communiquées avec les informations de date, d’émetteur, de destinataire, d’objet du document, d’identifier individuellement chaque photo, de ne pas les extraire du sous dossier en lesquelles sont celles du demandeur ou celles du défendeur pour les besoins de la plaidoirie ou du dossier destiné au magistrat. Enfin de les reclasser dans le dossier avant de le transmettre à un confrère.
Une recherche par mots clés plus évoluée que celle des arrêts de legifrance, déjà appréciable serait souhaitable pour suppléer l’oubli des avocats de tel ou tel N° d’article du C. Civ. qui s’applique au cas que le justiciable lui a fait l’honneur de lui confier, sans parler des jurisprudences.
N’étant pas illettré j’ai pu suppléer à l’ignorance de l’avocat dont notre association m’avait fait le support sur la répétition de l’indu face à au défendeur qui se réclamait de la prescription commerciale.
De même qui pour demander des DI ignore les clauses spécifiques à la non exécution des conventions. Dont celle de ne pas faire.
Certes l’IA en fait le Machine Learning est un des axes de recherche de la Puissance Militaire. Dépassé par le deep learning qui avec la puissance des processeurs graphiques permet, pour simplifier, plusieurs étages de raffinement et d’agrégation de l’information pour identifier le symbole (mot ou signal) recherché.
Cela évitera que trop d’avocats censurent les éléments de preuve que leur apporte leur client, ou encore que dans leur suffisance ils n’aillent faire un aveu contraire à la réalité des faits et aux intérêts de leurs clients.
Enfin, ce n’est pas de l’IA dont les avocats ont besoin pour se conformer à la déontologie complétée par le Règlement de la Comm des Barreaux.
Merci Monsieur le Professeur de l’honneur que vous me faîtes.
Michel ALLIBERT Ecole de l’Air 1957-59
IESTO CNAM 1967-68 Organisateur-Informaticien
IAE Paris 1982-1984 Spé CTL de Gestion
ICG Paris 1985
Un souvenir ému de Mme Mac Créau notre prof de droit à l’IAE sous la haute Direction de M. Percerou.
Le Général d’Armée aérienne Mercier, alors Commander à la transformation de l’OTAN, a organisé début juin 2018 un congrès sur l’IA à Bordeaux afin de sensibiliser les milieux industriels et universitaires sur les besoins militaires de l’OTAN. Une video de son allocution de présentation sur le sujet, très intéressante, est dispo sur la toile.
Bonjour Monsieur le Professeur
Dans mes surfs à la recherche d’information, je suis parvenu au site ci-dessous.
http://www.cedip.developpement-durable.gouv.fr/du-numerique-a-l-intelligence-artificielle-r665.html
Il est une réalisation de Bercy devant laquelle je m’incline très bas.
Après quelques vidéos initiales les choses sérieuses nécessitent encore l’écrit.
Ainsi que vous pourrez le voir, il répond mieux que je ne saurais le faire à la présentation des modalités d’action de l’IA, de ses applications en de multiples domaines, et aboutit à la même conclusion que la vôtre.
Mais peut-être avions nous les mêmes lectures…
A savoir que l’homme a encore sur l’IA la capacité d’action (de l’avocat) dans l’émotionnel.
C’est aussi une belle illustration de site de formation ainsi que vous l’évoquiez.
C’est la réforme nécessaire de l’enseignement supérieur mis à disposition de tous ceux qui veulent y accéder, libéré de la sujétion de capacité des amphithéâtres.
Très respectueusement. Michel ALLIBERT
L’IA ne remplacera fort heureusement jamais le juriste, Avocat ou autre . Merci pour votre contribution qui a d’ailleurs été récemment citée dans cet article de Numa https://medium.com/numa/intelligence-artificielle-quels-m%C3%A9tiers-vont-r%C3%A9ellement-disparaitre-d130c526b831 Il faut cesser ce discours anxiogène qui tend à voir dans l’IA une menace mais l’envisager plutôt comme un outil complémentaire dans l’exercice de nos professions.
Il faut cesser d’envisager l’IA comme une menace. Comme l’indiquait cet article de Numa vous citant « L’IA ne comprend pas les données qu’elle manipule et n’a pas de ‘bon sens’ commun. » [https://medium.com/numa/intelligence-artificielle-quels-m%C3%A9tiers-vont-r%C3%A9ellement-disparaitre-d130c526b831] En revanche, il serait regrettable de ne pas l’utiliser comme complément de notre pratique quotidienne de juriste, Avocat ou autre …
Un article passionnant, merci pour cette étude. Comme pour foule d’autres « industries », il ne faut pas voire l’IA comme un concurrent, mais comme une aide ou un support. Cet exemple de traitement de données / clauses en est la parfaite illustration, et l’utilisation de ces outils pourrait sans doute participer à désengorger pour une part la Justice avec ces gains de temps cumulés.
Au delà de ça, l’approche avec les gens que nous défendons se doit d’être humaine avant tout, et cela est irremplaçable. Le dialogue avec une IA n’étant pas encore d’actualité je pense …
Le problème de ce type de concours est qu’il compare surtout les avocats avec la personne qui a entraînée l’IA.
La qualification d’une clause est parfois subjective. Or, quand une qualification est ambigue, l’IA est avantagée parce que c’est son annotateur qui sélectionne la « bonne » réponse.