Wou KI-Agenten eng mënschlech Validatioun brauchen

01Agenten handelen, dofir ännert sech d’Fro

E Chat-Assistent schreift en Text, an e Mënsch decidéiert, wat domat geschitt. En Agent geet méi wäit: hie rifft Tools op. Hien aktualiséiert en Dossier, reservéiert en Termin, leet e Fall weider, schéckt e Message oder bereet eng Bezuelung vir. Soubal eng Software handelt, ass déi nëtzlech Fro net méi nëmmen „Ass dës Äntwert gutt?“, mee „Wien ass fir dës Aktioun verantwortlech, a wéini huet déi Persoun zougestëmmt?“

D’Sécherheetscommunautéit huet en Numm dofir, wann et hei schif geet. D’OWASP Top 10 fir Applikatioune mat grousse Sproochmodeller zielt Excessive Agency (mécht eng extern Websäit op) als ee vun de Kärrisiken: en Agent mat méi Funktiounen, méi Rechter oder méi Autonomie, wéi seng Aufgab brauch. Mënschlech Validatioun ass eng vun de Kontrollen. Wann ee se iwwerall asetzt, bremst se d’Aarbecht a gewinnt d’Leit drun, op „Validéieren“ ze klicken. Wann ee se néierens asetzt, bleiwen Aktiounen, iwwer déi keen entscheet huet. D’Aarbecht läit doran, se richteg ze placéieren.

02Vun den Aktiounen ausgoen, net vum Modell

Maacht eng Lëscht vun all Tool, dat den Agent opruffe kann. Stellt fir all eenzelt véier Froen. Si ziele bewosst op d’Aktioun an hir Wierkung, net op de Modell.

1. 01Kann een et réckgängeg maachen? A mat wéi engem Opwand: e Klick, e Korrekturbréif, e Remboursement, e Prozess virum Geriicht?
2. 02Wien ass betraff? En internen Entworf, e Kolleeg, e Client oder e Bierger, Suen, en Drëtten?
3. 03Entsteet eng Verflichtung oder eng rechtlech Wierkung? Eng Entscheedung iwwer eng Persoun, eng Bezuelung, e Kontrakt, e Message, deen am Numm vun Ärer Organisatioun erausgeet.
4. 04Wéi dacks a wéi séier? Eng Aktioun, déi dausendmol den Dag geschitt, brauch eng aner Kontroll wéi eng, déi zweemol d’Woch virkënnt.

Mat den Äntwerte kënnt all Aktioun an eng vu véier Stufen. Déi meescht Organisatioune stelle fest, datt e puer wéineg Aktioune bal de ganze Risiko droen. Dat ass eng gutt Noriicht: do gehéiert den Opwand fir d’Validatioun hin. Bei de Facturë vu Liwwerante vun engem Distributeur kann dat esou ausgesinn: d’Zouuerdnung zu enger Bestellung leeft an der Stuf 2, d’Validatioun vun der Bezuelung iwwer engem fixe Montant an der Stuf 3 oder 4.

D’Stufe sinn en Design-Instrument, keng juristesch Klassifikatioun. Préift se géint d’Reegelen, déi fir Iech gëllen. De RGPD gëtt de Leit spezifesch Rechter bei Entscheedungen, déi ausschliisslech op enger automatiséierter Veraarbechtung berouen (mécht eng extern Websäit op) a rechtlech oder änlech bedeitend Wierkungen hunn (Artikel 22). Fir Héichrisiko-Systemer verlaangt d’KI-Reglement, datt Mënsche se effektiv iwwerwaache kënnen (mécht eng extern Websäit op) (Artikel 14). Stuf 4 ass dacks do, wou dës Obligatiounen ukommen.

03Signaler, déi ëmmer e Mënsch erreeche mussen

Verschidde Situatioune sollten eng Aktioun eng Stuf méi héich setzen, egal wou se soss steet. Baut se als explizit Kontrollen an den Aarbechtsoflaf an, sou datt se net dovun ofhänken, ob den Agent se bemierkt.

• Den Input läit ausserhalb vun deem, wat mam Agent getest gouf: eng nei Zort Dokument, eng ongewéinlech Sprooch, Felder, déi feelen oder net zesummepassen.
• D’Quellen, déi den Agent fonnt huet, widdersprieche sech, oder déi proposéiert Aktioun baut op eppes, wat hien net zitéiere kann.
• De Montant, den Ëmfang oder d’Zuel vun de betraffenen Dossiere läit iwwer engem Seuil, deen Dir festleet.
• De Fall betrëfft eng sensibel Kategorie: Gesondheetsdonnéeën, Mannerjäreger, eng Reklamatioun, e Sträit oder e lafende Recours.
• Den Agent huet et schonn e puer Mol probéiert, oder e System hannendrun huet e Feeler gemellt.

Ee Signal feelt bewosst op dëser Lëscht: wéi sécher sech de Modell selwer ass. Sproochmodeller kënne falsch Saachen iwwerzeegend formuléieren; den US National Institute of Standards and Technology nennt dat Confabulation (mécht eng extern Websäit op) a sengem Risikoprofil fir generativ KI. E Score, deen de Modell selwer ugëtt, kann ee Signal ënner ville sinn, mee e gehéiert nieft externe Kontrollen, wéi Validatiounsreegelen an e Verglach mam féierende System, an ersetzt se ni.

04Eng Validatioun, déi Leit wierklech gi kënnen

Eng Rei vu Froe wéi „Validéieren?“ bréngt de Leit bäi, ze validéieren. D’KI-Reglement nennt de Risiko direkt: wien en Héichrisiko-System iwwerwaacht, muss sech vum Automatiséierungs-Bias bewosst bleiwe kënnen. A senger franséischer Versioun seet den Text et esou:

Véier Designentscheedunge maachen dat Bewosstsinn an der Praxis méiglech.

D’Beweiser weisen, net nëmmen d’Äntwert

Weist déi proposéiert Aktioun an einfache Wierder, d’Quellen, op déi se sech stëtzt (mat Linken, déi op der richteger Plaz opginn), d’Reegel oder déi intern Virschrëft, déi se ugewannt huet, a genee dat, wat sech a wéi engem System ännert. Wann een dräi Applikatiounen opmaache muss, fir e Virschlag ze préiwen, hält een ënner Zäitdrock iergendwann op ze kontrolléieren.

„Nee“ esou einfach maache wéi „Jo“

Refuséieren an ännere sinn normal Resultater, keng Ausnamen. Setzt se direkt nieft „Validéieren“, frot no enger kuerzer Begrënnung, wann ee refuséiert, a benotzt dës Begrënnungen an der Evaluatioun. Wann et méi schwéier ass, e Virschlag z’änneren, wéi en nei ze schreiwen, validéieren d’Leit amplaz Virschléi, déi net perfekt sinn.

D’Validatioun enger Roll mat Autoritéit ginn

D’Validatioun gehéiert zu enger benannter Roll, déi d’Kompetenz, d’Formatioun an d’Autoritéit huet, fir de System z’iwwerstëmmen; fir Héichrisiko-KI-Systemer verlaangt d’KI-Reglement genee dat vun de Bedreiwer (Artikel 26 Paragraf 2 (mécht eng extern Websäit op)). Setzt e Stellvertrieder an en Eskalatiounswee fest, a moosst, wéi laang d’Elementer waarden. Eng Waardeschlaang, fir déi keen zoustänneg ass, gëtt zum Flaschenhals, deen Equippen dozou dréckt, de Validatiounspunkt z’ëmgoen.

Sammelvalidatioun nëmme bei klengem Risiko

Véierzeg bal identesch Elementer een nom aneren ze kontrolléieren, mécht keen opmierksamer. Fir Aktioune vun der Stuf 2 erlaabt eng Sammelvalidatioun mat zoufällege Stéchprouwen. Elementer vun de Stufen 3 a 4 bleiwen eenzel.

05De Validatiounspunkt am System duerchsetzen, net am Prompt

Eng Instruktioun an engem Prompt ass keng Zougangskontroll. Texter, déi den Agent liest, zum Beispill eng E-Mail, en Dokument oder eng Websäit, kënnen hir eegen Instruktiounen enthalen; OWASP nennt dat Prompt Injection (mécht eng extern Websäit op). Wann tëscht engem Agent an enger Aktioun, déi net méi réckgängeg ze maachen ass, just e Saz a sengen Instruktioune steet, gitt dovun aus, datt dee Saz enges Daags iwwergaange gëtt.

• Gitt dem Agent seng eegen Identitéit mat de mannste Rechter, déi all Tool brauch, a loosst en, wou d’Plattform dat ënnerstëtzt, am Kader vun de Rechter vum Benotzer handelen, deen d’Ufro stellt.
• Setzt d’Validatioun an der Integratiounsschicht duerch: de Service, deen de Bréif verschéckt, refuséiert den Opruff, wann et fir genee dës Aktioun kee gëltege Validatiounsnoweis gëtt.
• Setzt Limitte fir Montant, Volume a Frequenz op d’Tools, onofhängeg vum Agent.
• Haalt Tools fir d’Liesen an d’Schreiwen auserneen, da kënnt Dir erweideren, wat den Agent gesäit, ouni z’erweideren, wat hie maache kann.

06Protokolléiert, wat Dir spéider erkläre musst

Haalt fir all Laf vum Agent d’Ufro, déi fonnte Quellen, all Tool-Opruff mat senge Parameteren, déi proposéiert Aktioun, wie validéiert huet, d’Entscheedung, eventuell Ännerungen an d’Zäitpunkte fest. Bedreiwer vun Héichrisiko-KI-Systemer mussen déi automatesch generéiert Logs op d’mannst sechs Méint halen, ausser en anert Gesetz gesäit eppes anescht vir (Artikel 26 Paragraf 6 (mécht eng extern Websäit op)). Wou keng Reegel et verlaangt, haalt se trotzdeem: aus de Logs léiert Dir.

Kuckt d’Logs a fixen Abstänn duerch. Aktiounen, déi ëmmer onverännert validéiert ginn, si Kandidate fir eng Stuf méi déif. Aktiounen, déi dacks geännert ginn, weisen op eng Schwächt vum Agent oder gehéieren eng Stuf méi héich. Refusen, déi sech ëm eng Quell, e Formulaire oder eng Equipe sammelen, weise meeschtens op e Problem am Prozess, deen e Modell net léist.

07Enk ufänken, duerno Aktiounen eng Stuf erofsetzen

Fänkt domat un, datt déi meescht Aktioune mat grousse Konsequenzen an de Stufen 3 a 4 sinn. Leet virdru fest, wéi e gutt Resultat ausgesäit: wéi eng Resultater als richteg gëllen, wéi eng Feeler akzeptabel sinn a wéi eng net. Moosst da géint dës Critèren, zum Beispill mat de Moossfunktioune vum NIST AI Risk Management Framework (mécht eng extern Websäit op) als Checklëscht.

Setzt eng Aktioun eréischt mat Beweiser an eng méi liicht Stuf: eng Period, an där d’Validatioune keng wesentlech Ännerunge gebraucht hunn, Tester mat de Fäll, déi schifgaange sinn, an d’Zoustëmmung vum Verantwortleche fir de Prozess. Dokumentéiert dës Entscheedung wéi all aner Ännerung um System, a behaalt d’Méiglechkeet, se réckgängeg ze maachen.

D’Resultater vun der KI kënne falsch sinn. Dat ass kee Grond, Agente vun der richteger Aarbecht ewechzehalen; et ass de Grond, fir ze plangen, wou Mënschen d’Kontroll behalen. Agente sinn nëtzlech, well se handele kënnen. Wann Dir d’Validatiounspunkte bewosst setzt, kënnt Dir hinne mat der Zäit méi Aarbecht iwwerloossen.