I helgen rapporterade NOS att tre advokater har fått en varning för att de använde AI (som ChatGPT) i juridiska argument, med hänvisningar till domar som visade sig inte existera eller handlade om något annat.

(Artikeln: https://lnkd.in/eGAMGxmw)

Två av dem har av tillsynsmyndigheten ålagts att gå en AI-kurs.

Det som blir tydligt här är att det inte rör sig om ett rent tekniskt problem som kan lösas med utbildning.

AI-resultat betraktas snabbt som auktoritativa. Ett klassiskt exempel på automatiseringsbias, förstärkt av AI: ”Datorn vet säkert bättre.”

Resultatet blir:

● Resultat som inte alltid verifieras kritiskt

● Fel som förblir oupptäckta

Vi såg detta nyligen även vid algoritmisk beslutsfattande (som för övrigt inte enbart kunde tillskrivas AI). Blind tillit utan effektiva kontroller leder till felaktiga resultat.

Det professionella ansvaret ligger fortfarande hos människor, medan användningen av dessa system ökar oavsett.

Utbildning är naturligtvis viktigt i detta sammanhang.

Faktum är att enligt EU:s AI-lag måste organisationer som använder AI säkerställa tillräcklig AI-kompetens.

Men utbildning räcker inte.

Ansvarsfull användning av AI kräver tydliga ramar, verifieringsprocesser och tillsyn. Det är också ett problem som rör styrning och kontroll.

Dessa frågor har uppmärksammats av domare i Arnhem, Rotterdam och Groningen.

Men AI används numera i mycket bredare utsträckning: juridiskt, administrativt, finansiellt och operativt.

Hur många av dessa AI-genererade fel upptäcks? Och hur många upptäcks inte?

Organisationer som använder AI strukturellt behöver ramar som är riskstyrda, testbara och administrativt förankrade.