Nous avons publié avec l’avocat Bernard Lamon une étude, parue cette semaine à la Semaine juridique édition Générale, consacrée à l’expérience menée par l’entreprise LawGeex, et dont il est question ici.
Cette entreprise basée aux USA et en Israël a organisé un « match » entre une vingtaine de lawyers expérimentés (des avocats stricto sensu mais aussi des juristes d’entreprise ou de collectivités publiques) et le logiciel d’analyse des contrats développé par l’entreprise.
LawGeex a rédigé un document sur cette expérience, document qu’il est possible de commander.
Ce match consistait à soumettre cinq contrats aux humains et à l’IA et à leur demander d’identifier des clauses de 30 catégories différentes.
I – Le résultat: victoire nette de l’IA…
Le résultat du match est clairement à l’avantage de la machine, qui identifie en 26 secondes les clauses de 30 types divers dans les contrats là où les humains mettent plutôt une heure ou deux, et la machine est plus fiable que les humains.
Il semble en découler que l’IA est prête à remplacer les avocats, menace que l’on a déjà entendue à propos du logiciel ROSS (voir l’article de ce blog « ROSS, Peter, Dalloz et les autres« ).
II – … à nuancer sérieusement.
N’allons pas si vite, car il faut faire état de plusieurs points importants.
Tout d’abord, le match ne portait que sur l’identification de clauses, donc la tâche consistant à identifier une clause comme étant, par exemple, une clause limitative de responsabilité, ou une clause d’arbitrage, etc.
L’IA (du moins celle qui a été utilisée) ne « détecte pas les erreurs », contrairement à ce que l’on a pu lire, au sens où elle ne fait pas le travail suivant:
- identifier la loi L applicable au contrat C;
- identifier dans C une clause d’un type donné (la clause X);
- comprendre du 1 que la clause X est interdite par la loi A dans le contrat C;
- signaler la clause X comme étant illicite.
Ensuite, l’analyse ne portait sur des contrats du même type, et des contrats standards (ce sont des accords de confidentialité) que la machine avait vu des milliers de fois.
Enfin, et surtout, certains avocats font parfois mieux que la machine.
Le tableau des résultats est passionnant, en ce qu’il permet de comparer les avocats à la machine, mais aussi les avocats entre eux.
Dans le tableau ci-dessous, figurant dans l’étude LawGeex, on voit les moyennes de plusieurs juristes humains, contrat par contrat (NDA 1, NDA 2, etc.) puis leur moyenne générale.
Dans ce second extrait, on voit les résultats des humains pris dans leur ensemble, et on peut les comparer aux résultats de l’IA.
Certains points sautent aux yeux: la machine est toujours meilleure que les humains pris dans leur ensemble, et elle les bat de beaucoup.
Mais certains humains, comme les lawyers 19 et 20 battent parfois la machine ou font jeu égal avec elle.
L’avocat contre l’IA (allégorie Marvel)
III – Et après?
L’IA ne remplace pas encore l’avocat, pour dire si une clause est valable au regard de la loi applicable. Du moins l’IA qui a été utilisée ici ne le fait pas, mais cela ne devrait pas être infaisable.
Notons tout de même que le travail de vérification de la validité d’une clause n’est pas si simple qu’on peut le penser de prime abord, et qu’une rédaction un tout petit peu inhabituelle pourrait perturber la machine, de même que l’insertion d’un détail inhabituel dans une photo perturbe beaucoup les logiciels de reconnaissance d’image, comme l’évoquait un article du NY Times récemment.
L’IA est tout de même très utile, par exemple pour trouver une clause sensible dans un contrat, ou dans de très nombreux contrats. Par exemple, si je rachète une entreprise avec des centaines de collaborateurs, il est important de savoir s’ils ont une clause de conscience dans leurs contrats et s’ils vont potentiellement partir.
En conclusion, ce qui est envisageable dans notre domaine maintenant et sans doute encore pour quelques années, c’est une collaboration de l’IA aux tâches des juristes humains.
Bruno DONDERO
Le blog du professeur Bruno Dondero 