RechtMr. Online
Het beste model haalt vijftien procent. Reken het zelf maar na
In een van mijn vorige blogs pleitte ik voor meer openheid en het delen van kennis (zie ook https://www.mr-online.nl/open-source-als-oplossing/). Dat ging over prompts, over tooling, en over het idee dat de sector sneller volwassen wordt als we laten zien waar we mee bezig zijn. Diezelfde redenering geldt voor het meten van kwaliteit, misschien wel een van de belangrijkste thema’s als het over AI gaat. Wat een leverancier over beveiliging beweert kan ik nog controleren, want certificeringen en subverwerkerslijsten zijn openbaar. Bij de claim dat een tool goed juridisch werk levert, is dit echter een stuk ingewikkelder. Deze maand verscheen DELTA (https://www.legalbenchmarks.ai/research/delta), een publieke en openbare benchmark voor Nederlands juridisch onderzoek van Legal Benchmarks. De gebruikte testset staat ook openbaar, dus het onderzoek is volledig openbaar (https://github.com/legalbenchmarks/delta)
Je gaat naar de website van de uitgever. Hier tonen we alleen een korte intro.
