I weekenden rapporterede NOS, at tre advokater har modtaget en advarsel for at have brugt AI (som ChatGPT) i juridiske argumenter med henvisninger til domme, der viste sig ikke at eksistere eller handlede om noget andet.

(Artiklen: https://lnkd.in/eGAMGxmw)

To af dem er blevet pålagt at følge et AI-kursus af tilsynsmyndigheden.

Det, der kommer til syne her, er ikke et rent teknologisk problem, som man kan løse med en uddannelse.

AI-resultater bliver hurtigt betragtet som autoritative. Et klassisk eksempel på automatiseringsbias, forstærket af AI: »Computeren ved det nok bedre.«

Resultatet er:

● Resultater, der ikke altid verificeres kritisk

● Fejl, der forbliver ubemærket

Vi så dette for nylig også i forbindelse med algoritmisk beslutningstagning (som i øvrigt ikke udelukkende kunne tilskrives AI). Blind tillid uden effektive kontroller fører til forkerte resultater.

Det professionelle ansvar ligger fortsat hos mennesker, mens brugen af disse systemer under alle omstændigheder er stigende.

Uddannelse er naturligvis vigtig i denne sammenhæng.

Faktisk skal organisationer, der bruger AI, i henhold til EU's AI-lov sikre tilstrækkelig AI-kompetence.

Men uddannelse alene er ikke nok.

Ansvarlig brug af AI kræver klare rammer, verifikationsprocesser og tilsyn. Det er også et spørgsmål om governance og kontrol.

Disse forhold blev bemærket af dommere i Arnhem, Rotterdam og Groningen.

Men AI anvendes nu i langt bredere omfang: juridisk, administrativt, finansielt og operationelt.

Hvor mange af denne type AI-genererede fejl bliver opdaget? Og hvor mange bliver ikke opdaget?

Organisationer, der anvender AI strukturelt, har brug for rammer, der er risikostyrede, kontrollerbare og administrativt forankrede.