Dieses Wochenende berichtete die niederländische Rundfunkgesellschaft NOS, dass drei Anwälte eine Verwarnung erhalten haben, weil sie KI (wie ChatGPT) in juristischen Argumentationen verwendet haben, mit Verweisen auf Urteile, die sich als nicht existent erwiesen haben oder sich auf etwas anderes bezogen.

(Der Artikel: https://lnkd.in/eGAMGxmw)

Zwei von ihnen wurden von der Aufsichtsbehörde zu einem KI-Kurs verpflichtet.

Was hier sichtbar wird, ist kein reines Technologieproblem, das man mit einer Schulung lösen kann.

KI-Ergebnisse werden schnell als maßgeblich angesehen. Ein klassisches Beispiel für Automatisierungsbias, verstärkt durch KI: „Der Computer weiß es sicher besser.“

Die Folge:

● Ergebnisse, die nicht immer kritisch überprüft werden

● Fehler, die unbemerkt bleiben

Wir haben dies kürzlich auch bei der algorithmischen Entscheidungsfindung beobachtet (die übrigens nicht ausschließlich auf KI zurückzuführen war). Blindes Vertrauen ohne wirksame Kontrollen führt zu falschen Ergebnissen.

Die berufliche Verantwortung liegt weiterhin bei den Menschen, während die Nutzung dieser Systeme ohnehin zunimmt.

Dabei ist natürlich die Schulung wichtig.

Mehr noch: Nach dem EU-KI-Gesetz müssen Organisationen, die KI einsetzen, für ausreichende KI-Kompetenz sorgen.

Aber Schulungen allein reichen nicht aus.

Der verantwortungsvolle Einsatz von KI erfordert klare Rahmenbedingungen, Verifizierungsprozesse und Überwachung. Es ist auch ein Problem der Governance und Kontrolle.

Auf diese Punkte haben Richter in Arnheim, Rotterdam und Groningen hingewiesen.

Mittlerweile wird KI jedoch in viel weiteren Bereichen eingesetzt: im Rechtswesen, in der Verwaltung, im Finanzwesen und im operativen Bereich.

Wie viele dieser durch KI verursachten Fehler werden tatsächlich bemerkt? Und wie viele nicht?

Organisationen, die KI strukturell einsetzen, benötigen Rahmenbedingungen, die risikoorientiert, überprüfbar und administrativ verankert sind.