‘Wat voor effect kan ChatGPT hebben op juridische zoekmachines zoals Rechtsorde?’ Dat vraagt Niels Bergers zich af in deze blog. Hij is manager van Rechtsorde en ging zelf op zoek naar antwoorden.
Miljoenen mensen speelden de afgelopen periode met ChatGPT. Ook diverse advocatenkantoren testten deze disruptieve chatbot. Zij concludeerden dat, alhoewel de antwoorden indrukwekkend waren, deze chatbot (nog) niet goed genoeg is om daadwerkelijk juridisch inhoudelijk werk over te nemen.
Ook mijn collega Koen Aarns testte ChatGPT en schreef onlangs een lezenswaardige blog over de impact van ChatGPT op het juridische zoekgedrag. Zelf ging ik ook aan de slag en onderzocht mijn hamvraag: ‘Wat voor effect kan ChatGPT hebben op juridische zoekmachines zoals Rechtsorde?’
Dicht bij het bed
Artificial Intelligence (AI) is voor veel mensen ver van het bed. Door (de aandacht voor) deze chatbot, die op een menselijke manier antwoorden geeft, is AI een stuk dichterbij gekomen. Ook voor de juridische sector is dit het geval, ondanks dat de technologie nog niet direct breed toepasbaar blijkt te zijn.
Zoals Koen Aarns samenvatte in zijn artikel is vooral het feit, dat je bij de antwoorden geen bronvermeldingen krijgt, een groot gemis. Zeker voor onze sector. De chatbot doet daarnaast altijd alsof het gegeven antwoord juist is, maar dat is niet altijd zo. Een bepaalde zekerheidsscore bij antwoorden ontbreekt.
Ten slotte is het antwoord van ChatGPT gebaseerd op een (hele grote) dataset en die is op dit moment niet gevuld met de meest actuele gegevens. Een toonaangevende recente uitspraak of belangrijke recente wetswijziging wordt dus nog niet meegenomen. Kortom, de kwaliteit is voor de juridische sector nog niet voldoende om nu al echt van meerwaarde te zijn. Maar veelbelovend is het in ieder geval wel!
Kleine anekdote over de onbeperktheid van ChatGPT
Even tussendoor een kleine anekdote van mijn ChatGPT-testwerk. Ik vroeg om een samenvatting van het Hollende kleurling-arrest. Vervolgens krijg ik geen samenvatting van het arrest uit 1977, maar van het gelijknamige boek van Zuid-Afrikaanse schrijfster Pauline Smith.
Ik werd geconfronteerd met de beperking van de onbeperktheid: ChatGPT is getraind op alles wat er wereldwijd online te vinden is. Voor juridisch gebruik dient het zich echter te kunnen focussen op juridisch relevante documenten. Nu is dit een overduidelijke fout, die je snel herkent. Maar zaken die iets minder duidelijk zijn, en die vol overtuiging worden gebracht, zijn een risico. Zonder bronvermelding, geen controle en dus te veel risico.
Tot welke actie zet ChatGPT wel aan?
Wat deze chatbot in ieder geval al wel voor elkaar krijgt, is ons aan het denken zetten hoe we juridische zoekmachines verder kunnen ontwikkelen. We concluderen dat in onze sector de OpenAI-technologie – nog – niet toepasbaar is, maar dat het bewijst dat computers in staat zijn om menselijke taal te begrijpen en daarin te antwoorden.
Dat alleen is al fascinerend te noemen en biedt hele mooie kansen. Zeker als je kijkt naar de werking van de huidige juridische zoekmachines. We nemen Rechtsorde als voorbeeld. De zoekmachine zoekt primair op zoektermen die gebruikers invoeren. Zoek je op ontslag op staande voet bagatel, dan krijg je alle documenten waarin letterlijk ‘ontslag op staande voet’ – of het bijbehorende wetsartikel – en ‘bagatel’ staat. Het helpt je om relevante documenten te vinden, maar wat als de rechter deze term niet letterlijk gebruikt in de uitspraak?
Gelukkig is er binnen de juridische sector, en in Rechtsorde, al wel een interessante en bruikbare AI-toepassing die helpt om te voorkomen dat gebruikers belangrijke uitspraken missen in het geschetste voorbeeld. Zo herkent het Bluetick-taalmodel uitspraken waarin het niet letterlijk over ‘bagatel’ gaat, maar het bijvoorbeeld wel gaat over: een (vernietigd) ontslag op staande voet vanwege het nemen van een hap uit een donut door een supermarktmedewerkster.
Het accent gaat liggen op het verifiëren van de resultaten.
Daarnaast kan het Bluetick-taalmodel kernoverwegingen uit uitspraken herkennen ter aanvulling op soms nietszeggende inhoudsindicaties. Dit helpt juristen om van tevoren beter te kunnen inschatten of een uitspraak echt relevant is voor een onderhanden casus. Met deze functionaliteiten is AI-technologie, vergelijkbaar met wat ChatGPT aanbiedt, al beschikbaar voor Nederlandse juristen om juridisch onderzoek gemakkelijker en vollediger te maken.
Hoe gaat de toekomst van juridische zoekmachines eruitzien?
Zoals ik ChatGPT heb getest en de mogelijkheden van Bluetick ken, verwacht ik dat we met AI-zoektechnologie in de nabije toekomst wel heel veel kunnen verwachten wat juridisch onderzoek vooruit gaat brengen. Wat zouden we kunnen verwachten?
- De meest realistische toepassing is dat de zoekbalk van zoekmachines als Rechtsorde veel slimmer wordt en de zoekopdracht echt gaat begrijpen. Waar er nu primair gezocht wordt op letterlijke zoektermen zal de zoekmachine ook documenten kunnen aanreiken die niet letterlijk de zoekterm bevatten, maar wel dezelfde strekking bevatten als de zoekopdracht en dus zoekintentie van de jurist.
- De vervolgstap daarop kan zijn dat juristen niet in zoektermen, maar aan de hand van een menselijke vraag een zoekopdracht uitzetten. Vervolgens krijgen zij niet per se lijsten met resultaten, maar een helder geformuleerd antwoord bovenaan.
Denk aan Google en de vraag “Wanneer gaat de zomertijd in?”. Je ziet dan direct het antwoord. Nu moet een gebruiker de zoekresultaten zelf doorzoeken en vertalen naar het antwoord. Een aanzienlijk aantal zoekopdrachten zou op deze manier beantwoord kunnen worden, vooral oriënterende ‘hoe zit het ook alweer’-vragen. Wel cruciaal is dat bij antwoorden de bronvermelding wordt gegeven ter verificatie. - Nog een stap verder gedacht; waarom zouden we in de toekomst eigenlijk überhaupt nog zoekopdrachten moeten formuleren? Als AI geschreven tekst echt zo goed begrijpt, dan kan ook het simpelweg uploaden van een processtuk of aantekeningen van een gesprek met een cliënt genoeg zijn voor de technologie om op basis daarvan bijvoorbeeld relevante jurisprudentie of artikelen aan te bevelen.
Het accent verleggen
Wat al deze ontwikkelingen gemeen hebben? Dat is dat het minder belangrijk dan nu gaat zijn om de juiste zoektermen en schrijfwijzen in te voeren om de gewenste documenten te vinden. Het accent verschuift naar het verifiëren van de resultaten in plaats van zowel op het formuleren van de zoekopdracht als op het doorspitten van alle resultaten.
Andere denkbare toepassingen in de juridische sector
Tot nu toe heb ik voornamelijk doorontwikkelingen van juridische zoektechnologie genoemd, maar het valt te verwachten dat AI ook op andere fronten juristen gaat helpen en hiermee van meerwaarde gaat zijn in het werkproces. Denk aan;
- het opstellen van conceptovereenkomsten;
- het opstellen van conceptprocesdocumenten;
- samenvatten van omvangrijke documenten of;
- juist het maken van gespreksverslagen op basis van summiere aantekeningen.
Vervolgens is het aan de jurist om de concepten te controleren, waar nodig aan te vullen en uiteraard (en nog meer dan nu) aandacht te geven aan het intermenselijke contact met de cliënt.
Vroegtijdige adoptie
Zoeken met behulp van AI en de inzet van deze technologie op andere wijze, lijkt voor velen nog ver van het bed. Toch passeren veel van de hier genoemde toekomstige mogelijkheden daadwerkelijk al de revue tijdens brainstormen over de verdere toepassingen van Bluetick binnen Rechtsorde.
ChatGPT heeft daarnaast ook aan het grote publiek bewezen dat de technologische ontwikkelingen hard gaan; de toekomst is dichterbij dan je denkt! De ontwikkelingen zullen hard gaan, dus vroegtijdige adoptie van deze (zoek)technologie is cruciaal om als jurist de best mogelijke dienstverlening te kunnen blijven verlenen.
