Gdzie agenci AI potrzebują zatwierdzenia przez człowieka

01Agenci działają, więc zmienia się pytanie

Asystent czatu redaguje tekst, a człowiek decyduje, co z nim zrobić. Agent idzie dalej: wywołuje narzędzia. Aktualizuje rekord, rezerwuje termin, kieruje sprawę, wysyła wiadomość albo przygotowuje płatność. Gdy oprogramowanie podejmuje działania, przydatne pytanie nie brzmi już tylko „czy ta odpowiedź jest dobra?”, lecz „kto odpowiada za to działanie i kiedy się na nie zgodził?”.

Specjaliści od bezpieczeństwa mają nazwę na ten błąd. Lista OWASP Top 10 dla aplikacji opartych na dużych modelach językowych wymienia nadmierną sprawczość (otwiera stronę zewnętrzną) (excessive agency) jako jedno z głównych ryzyk: agent ma więcej funkcji, uprawnień lub autonomii, niż wymaga jego zadanie. Zatwierdzenie przez człowieka jest jednym z mechanizmów kontroli. Stosowane wszędzie spowalnia pracę i uczy ludzi klikać „zatwierdź”. Niestosowane nigdzie zostawia działania, o których nikt nie zdecydował. Cała sztuka polega na tym, gdzie je umieścić.

02Zaczynać od działań, nie od modelu

Pierwszy krok to spis wszystkich narzędzi, które agent może wywołać. Dla każdego trzeba odpowiedzieć na cztery pytania. Celowo dotyczą one działania i jego skutku, a nie modelu.

1. 01Czy da się je cofnąć? I jakim kosztem: kliknięcia, pisma z korektą, zwrotu pieniędzy, sprawy sądowej?
2. 02Kogo dotyczy? Wewnętrznego szkicu, współpracownika, klienta lub obywatela, pieniędzy, strony trzeciej?
3. 03Czy tworzy zobowiązanie lub skutek prawny? Decyzja dotycząca osoby, płatność, umowa, wiadomość wysłana w imieniu organizacji.
4. 04Jak często i jak szybko? Działanie wykonywane tysiące razy dziennie wymaga innej kontroli niż takie, które zdarza się dwa razy w tygodniu.

Odpowiedzi przypisują każde działanie do jednego z czterech poziomów. Większość organizacji odkrywa, że kilka działań niesie prawie całe ryzyko, i to dobra wiadomość: właśnie tam należy skupić wysiłek związany z zatwierdzaniem.

Dwa przykłady. W urzędzie marszałkowskim agent sprawdza kompletność wniosków o dofinansowanie i przygotowuje wezwanie do uzupełnienia braków (poziom 3), ale ocenę wniosku i decyzję podejmuje osoba prowadząca sprawę (poziom 4). W hurtowni materiałów budowlanych agent dopasowuje faktury pobrane z KSeF do zamówień i przyjęć towaru; zgodne pozycje przechodzą dalej (poziom 2), a faktury powyżej ustalonej kwoty lub z rozbieżnościami czekają na zatwierdzenie w dziale księgowości (poziom 3).

Poziomy są narzędziem projektowym, a nie klasyfikacją prawną. Warto zestawić je z przepisami, które obowiązują daną organizację. RODO daje osobom szczególne prawa w odniesieniu do decyzji opartych wyłącznie na zautomatyzowanym przetwarzaniu (otwiera stronę zewnętrzną), które wywołują skutki prawne lub w podobny sposób istotnie wpływają na osobę (art. 22). W przypadku systemów wysokiego ryzyka akt w sprawie sztucznej inteligencji wymaga, aby mogły być skutecznie nadzorowane przez ludzi (otwiera stronę zewnętrzną) (art. 14), czyli nadzoru ze strony człowieka. Te obowiązki zwykle dotyczą poziomu 4.

03Sygnały, które zawsze powinny trafić do człowieka

W niektórych sytuacjach działanie powinno przejść poziom wyżej, niezależnie od zwykłego miejsca. Warto zbudować je jako jawne kontrole w procesie, aby nie zależały od tego, czy agent je zauważy.

• Dane wejściowe wykraczają poza to, na czym agenta testowano: nowy rodzaj dokumentu, nietypowy język, brakujące lub sprzeczne pola.
• Źródła znalezione przez agenta są ze sobą sprzeczne albo proponowane działanie opiera się na czymś, czego agent nie potrafi wskazać.
• Kwota, zakres lub liczba rekordów, których dotyczy działanie, przekracza ustalony próg.
• Sprawa dotyczy kategorii wrażliwej: danych o zdrowiu, małoletnich, skargi, sporu lub toczącego się odwołania.
• Agent już ponawiał próbę albo system docelowy zwrócił błąd.

Jednego sygnału celowo brakuje na tej liście: pewności samego modelu. Modele językowe potrafią płynnie formułować nieprawdziwe stwierdzenia, co amerykański National Institute of Standards and Technology w swoim profilu ryzyka generatywnej AI nazywa konfabulacją (otwiera stronę zewnętrzną). Deklarowany przez model wynik pewności może być jedną z danych wejściowych, ale powinien stać obok kontroli zewnętrznych, takich jak reguły walidacji i porównanie z systemem źródłowym, a nigdy ich nie zastępować.

04Zatwierdzenie, którego ludzie naprawdę mogą udzielić

Strumień pytań „zatwierdzić?” uczy ludzi zatwierdzać. AI Act nazywa to ryzyko wprost: osoby nadzorujące system wysokiego ryzyka muszą mieć możliwość zachowania świadomości tak zwanego błędu automatyzacji.

Cztery decyzje projektowe sprawiają, że ta świadomość działa w praktyce.

Pokazywać dowody, nie tylko odpowiedź

Proponowane działanie warto przedstawić prostymi słowami, razem ze źródłami, na których się opiera (z linkami otwierającymi właściwy fragment), regułą lub zasadą, którą zastosowano, i dokładnym opisem tego, co zmieni się w którym systemie. Osoba, która musi otworzyć trzy aplikacje, aby sprawdzić propozycję, pod presją czasu przestanie sprawdzać.

Odmowa tak łatwa jak zgoda

Odrzucenie i poprawka to zwykłe wyniki, a nie wyjątki. Powinny stać obok zatwierdzenia, przy odrzuceniu system powinien prosić o krótkie uzasadnienie, a te uzasadnienia powinny zasilać ocenę agenta. Jeśli poprawienie propozycji jest trudniejsze niż napisanie jej od zera, ludzie będą zatwierdzać niedoskonałe propozycje.

Zatwierdzanie w rękach roli z uprawnieniami

Zatwierdzanie należy do wskazanej roli, która ma kompetencje, przeszkolenie i uprawnienia, aby zmienić rozstrzygnięcie systemu; w przypadku systemów AI wysokiego ryzyka AI Act wymaga tego od podmiotów stosujących (art. 26 ust. 2 (otwiera stronę zewnętrzną)). Do tego zastępstwo, ścieżka eskalacji i pomiar czasu oczekiwania. Kolejka, której nikt nie jest właścicielem, staje się wąskim gardłem, które skłania zespoły do omijania punktu zatwierdzenia.

Zbiorczo tylko to, co naprawdę mało ryzykowne

Przeglądanie czterdziestu niemal identycznych pozycji po kolei nikogo nie czyni uważniejszym. Dla działań z poziomu 2 można dopuścić przegląd zbiorczy z losową kontrolą próby. Pozycje z poziomów 3 i 4 pozostają indywidualne.

05Punkt zatwierdzenia w systemie, nie w prompcie

Polecenie w prompcie nie jest kontrolą dostępu. Tekst, który agent czyta, na przykład e-mail, dokument lub strona internetowa, może zawierać własne polecenia; OWASP opisuje to jako wstrzykiwanie poleceń (otwiera stronę zewnętrzną) (prompt injection). Jeśli jedyną barierą między agentem a nieodwracalnym działaniem jest zdanie w jego instrukcjach, trzeba założyć, że kiedyś zostanie ono ominięte.

• Agent ma własną tożsamość z minimalnymi uprawnieniami, których potrzebuje każde narzędzie, a tam, gdzie platforma na to pozwala, działa w granicach uprawnień użytkownika, który zlecił zadanie.
• Zatwierdzenia egzekwuje warstwa integracyjna: usługa wysyłająca pismo odrzuca wywołanie, jeśli nie istnieje ważny zapis zatwierdzenia dla dokładnie tego działania.
• Narzędzia mają limity wartości, liczby i częstotliwości wywołań, niezależne od agenta.
• Narzędzia do odczytu i do zapisu są rozdzielone, aby można było poszerzyć to, co agent widzi, bez poszerzania tego, co może zrobić.

06Rejestrować to, co trzeba będzie później wyjaśnić

Dla każdego uruchomienia agenta warto przechowywać wniosek, znalezione źródła, każde wywołanie narzędzia z parametrami, proponowane działanie, osobę zatwierdzającą, decyzję, ewentualne poprawki i znaczniki czasu. W przypadku systemów AI wysokiego ryzyka podmioty stosujące muszą przechowywać automatycznie generowane rejestry zdarzeń przez co najmniej sześć miesięcy, chyba że inne przepisy stanowią inaczej (art. 26 ust. 6 (otwiera stronę zewnętrzną)). Tam, gdzie żaden przepis tego nie wymaga, i tak warto je przechowywać: rejestr jest źródłem wiedzy.

Rejestry warto przeglądać w stałym rytmie. Działania zawsze zatwierdzane bez zmian są kandydatami do przeniesienia poziom niżej. Działania często poprawiane wskazują na słabość agenta albo powinny trafić poziom wyżej. Odrzucenia, które skupiają się wokół jednego źródła, jednego formularza lub jednego zespołu, zwykle ujawniają problem procesowy, którego żaden model nie rozwiąże.

07Zacząć wąsko, potem przenosić działania niżej

Na start większość działań o istotnych skutkach powinna być na poziomach 3 i 4. Wcześniej trzeba uzgodnić, jak wygląda dobry wynik: które rezultaty są poprawne, które błędy są dopuszczalne, a które nie. Potem mierzy się według tych kryteriów, na przykład wykorzystując funkcje pomiaru z NIST AI Risk Management Framework (otwiera stronę zewnętrzną) jako listę kontrolną.

Działanie przenosi się na lżejszy poziom tylko na podstawie dowodów: okresu, w którym zatwierdzenia nie wymagały istotnych poprawek, testów na przypadkach, które wcześniej poszły źle, i akceptacji właściciela procesu. Tę decyzję zapisuje się jak każdą inną zmianę w systemie i zachowuje możliwość powrotu.

Wynik AI może być błędny. To nie powód, by trzymać agentów z dala od prawdziwej pracy; to powód, by zaprojektować miejsca, w których kontrolę zachowują ludzie. Agenci są użyteczni, bo potrafią działać. Świadome rozmieszczenie punktów zatwierdzenia pozwala z czasem powierzać im więcej.