L’IA meilleure que l’avocat: oui… mais sur certaines tâches seulement!

Nous avons publié avec l’avocat Bernard Lamon une étude, parue cette semaine à la Semaine juridique édition Générale, consacrée à l’expérience menée par l’entreprise LawGeex, et dont il est question ici.

Cette entreprise basée aux USA et en Israël a organisé un « match » entre une vingtaine de lawyers expérimentés (des avocats stricto sensu mais aussi des juristes d’entreprise ou de collectivités publiques) et le logiciel d’analyse des contrats développé par l’entreprise.

LawGeex a rédigé un document sur cette expérience, document qu’il est possible de commander.

Ce match consistait à soumettre cinq contrats aux humains et à l’IA et à leur demander d’identifier des clauses de 30 catégories différentes.

 

I – Le résultat: victoire nette de l’IA…

Le résultat du match est clairement à l’avantage de la machine, qui identifie en 26 secondes les clauses de 30 types divers dans les contrats là où les humains mettent plutôt une heure ou deux, et la machine est plus fiable que les humains.

Résultat de recherche d'images pour "lawgeex"

Il semble en découler que l’IA est prête à remplacer les avocats, menace que l’on a déjà entendue à propos du logiciel ROSS (voir l’article de ce blog « ROSS, Peter, Dalloz et les autres« ).

Image associée

 

II – … à nuancer sérieusement.

N’allons pas si vite, car il faut faire état de plusieurs points importants.

Tout d’abord, le match ne portait que sur l’identification de clauses, donc la tâche consistant à identifier une clause comme étant, par exemple, une clause limitative de responsabilité, ou une clause d’arbitrage, etc.

L’IA (du moins celle qui a été utilisée) ne « détecte pas les erreurs », contrairement à ce que l’on a pu lire, au sens où elle ne fait pas le travail suivant:

  1.  identifier la loi L applicable au contrat C;
  2. identifier dans C une clause d’un type donné (la clause X);
  3. comprendre du 1 que la clause X est interdite par la loi A dans le contrat C;
  4. signaler la clause X comme étant illicite.

Ensuite, l’analyse ne portait sur des contrats du même type, et des contrats standards (ce sont des accords de confidentialité) que la machine avait vu des milliers de fois.

Enfin, et surtout, certains avocats font parfois mieux que la machine.

Le tableau des résultats est passionnant, en ce qu’il permet de comparer les avocats à la machine, mais aussi les avocats entre eux.

Dans le tableau ci-dessous, figurant dans l’étude LawGeex, on voit les moyennes de plusieurs juristes humains, contrat par contrat (NDA 1, NDA 2, etc.) puis leur moyenne générale.

LawGeex haut

Dans ce second extrait, on voit les résultats des humains pris dans leur ensemble, et on peut les comparer aux résultats de l’IA.

LawGeex Extrait 2

Certains points sautent aux yeux: la machine est toujours meilleure que les humains pris dans leur ensemble, et elle les bat de beaucoup.

Mais certains humains, comme les lawyers 19 et 20 battent parfois la machine ou font jeu égal avec elle.

Résultat de recherche d'images pour "man vs robot comic"

L’avocat contre l’IA (allégorie Marvel)

 

III – Et après?

L’IA ne remplace pas encore l’avocat, pour dire si une clause est valable au regard de la loi applicable. Du moins l’IA qui a été utilisée ici ne le fait pas, mais cela ne devrait pas être infaisable.

Notons tout de même que le travail de vérification de la validité d’une clause n’est pas si simple qu’on peut le penser de prime abord, et qu’une rédaction un tout petit peu inhabituelle pourrait perturber la machine, de même que l’insertion d’un détail inhabituel dans une photo perturbe beaucoup les logiciels de reconnaissance d’image, comme l’évoquait un article du NY Times récemment.

L’IA est tout de même très utile, par exemple pour trouver une clause sensible dans un contrat, ou dans de très nombreux contrats. Par exemple, si je rachète une entreprise avec des centaines de collaborateurs, il est important de savoir s’ils ont une clause de conscience dans leurs contrats et s’ils vont potentiellement partir.

En conclusion, ce qui est envisageable dans notre domaine maintenant et sans doute encore pour quelques années, c’est une collaboration de l’IA aux tâches des juristes humains.

Bruno DONDERO

3 Commentaires

Classé dans Clauses, Contract Law, Droit des contrats, Intelligence artificielle, LegalTech, Uncategorized

3 réponses à “L’IA meilleure que l’avocat: oui… mais sur certaines tâches seulement!

  1. ALLIBERT Michel

    Bonsoir
    Il est temps que les avocats dont j’ai eu à subir les pratiques apprennent à rédiger une liste des pièces communiquées avec les informations de date, d’émetteur, de destinataire, d’objet du document, d’identifier individuellement chaque photo, de ne pas les extraire du sous dossier en lesquelles sont celles du demandeur ou celles du défendeur pour les besoins de la plaidoirie ou du dossier destiné au magistrat. Enfin de les reclasser dans le dossier avant de le transmettre à un confrère.
    Une recherche par mots clés plus évoluée que celle des arrêts de legifrance, déjà appréciable serait souhaitable pour suppléer l’oubli des avocats de tel ou tel N° d’article du C. Civ. qui s’applique au cas que le justiciable lui a fait l’honneur de lui confier, sans parler des jurisprudences.
    N’étant pas illettré j’ai pu suppléer à l’ignorance de l’avocat dont notre association m’avait fait le support sur la répétition de l’indu face à au défendeur qui se réclamait de la prescription commerciale.
    De même qui pour demander des DI ignore les clauses spécifiques à la non exécution des conventions. Dont celle de ne pas faire.
    Certes l’IA en fait le Machine Learning est un des axes de recherche de la Puissance Militaire. Dépassé par le deep learning qui avec la puissance des processeurs graphiques permet, pour simplifier, plusieurs étages de raffinement et d’agrégation de l’information pour identifier le symbole (mot ou signal) recherché.
    Cela évitera que trop d’avocats censurent les éléments de preuve que leur apporte leur client, ou encore que dans leur suffisance ils n’aillent faire un aveu contraire à la réalité des faits et aux intérêts de leurs clients.
    Enfin, ce n’est pas de l’IA dont les avocats ont besoin pour se conformer à la déontologie complétée par le Règlement de la Comm des Barreaux.

  2. ALLIBERT Michel

    Merci Monsieur le Professeur de l’honneur que vous me faîtes.
    Michel ALLIBERT Ecole de l’Air 1957-59
    IESTO CNAM 1967-68 Organisateur-Informaticien
    IAE Paris 1982-1984 Spé CTL de Gestion
    ICG Paris 1985
    Un souvenir ému de Mme Mac Créau notre prof de droit à l’IAE sous la haute Direction de M. Percerou.
    Le Général d’Armée aérienne Mercier, alors Commander à la transformation de l’OTAN, a organisé début juin 2018 un congrès sur l’IA à Bordeaux afin de sensibiliser les milieux industriels et universitaires sur les besoins militaires de l’OTAN. Une video de son allocution de présentation sur le sujet, très intéressante, est dispo sur la toile.

  3. ALLIBERT Michel

    Bonjour Monsieur le Professeur
    Dans mes surfs à la recherche d’information, je suis parvenu au site ci-dessous.
    http://www.cedip.developpement-durable.gouv.fr/du-numerique-a-l-intelligence-artificielle-r665.html
    Il est une réalisation de Bercy devant laquelle je m’incline très bas.
    Après quelques vidéos initiales les choses sérieuses nécessitent encore l’écrit.
    Ainsi que vous pourrez le voir, il répond mieux que je ne saurais le faire à la présentation des modalités d’action de l’IA, de ses applications en de multiples domaines, et aboutit à la même conclusion que la vôtre.
    Mais peut-être avions nous les mêmes lectures…
    A savoir que l’homme a encore sur l’IA la capacité d’action (de l’avocat) dans l’émotionnel.
    C’est aussi une belle illustration de site de formation ainsi que vous l’évoquiez.
    C’est la réforme nécessaire de l’enseignement supérieur mis à disposition de tous ceux qui veulent y accéder, libéré de la sujétion de capacité des amphithéâtres.
    Très respectueusement. Michel ALLIBERT

Répondre

Entrez vos coordonnées ci-dessous ou cliquez sur une icône pour vous connecter:

Logo WordPress.com

Vous commentez à l'aide de votre compte WordPress.com. Déconnexion /  Changer )

Photo Google

Vous commentez à l'aide de votre compte Google. Déconnexion /  Changer )

Image Twitter

Vous commentez à l'aide de votre compte Twitter. Déconnexion /  Changer )

Photo Facebook

Vous commentez à l'aide de votre compte Facebook. Déconnexion /  Changer )

Connexion à %s