Къде AI агентите се нуждаят от човешко одобрение

01Агентите действат, затова въпросът се променя

Чат асистентът пише текст, а човек решава какво да прави с него. Агентът отива по-далеч: той извиква инструменти. Обновява запис, запазва час, насочва преписка, изпраща съобщение или подготвя плащане. Щом софтуерът извършва действия, полезният въпрос вече не е само „добър ли е отговорът?“, а „кой отговаря за това действие и кога се е съгласил с него?“.

Специалистите по сигурност имат име за грешката в тази област. OWASP Top 10 за приложения с големи езикови модели посочва прекомерната автономност (отваря външен сайт) (excessive agency) като основен риск: агент с повече функции, повече права или повече самостоятелност, отколкото задачата му изисква. Одобрението от човек е една от мерките за контрол. Ако го поставите навсякъде, работата се забавя и хората свикват просто да натискат „Одобри“. Ако го няма никъде, остават действия, за които никой не е решил. Трудната част е да го поставите на правилното място.

02Започнете от действията, а не от модела

Направете списък на всички инструменти, които агентът може да извиква. За всеки от тях отговорете на четири въпроса. Те умишлено се отнасят до действието и последиците му, а не до модела.

1. 01Може ли да бъде отменено? И на каква цена: едно щракване, писмо с корекция, връщане на сума, съдебно дело?
2. 02Кого засяга? Вътрешна чернова, колега, клиент или гражданин, пари, трета страна?
3. 03Поражда ли задължение или правни последици? Решение за конкретен човек, плащане, договор, съобщение, изпратено от името на Вашата организация.
4. 04Колко често и колко бързо? Действие, което се случва хиляди пъти на ден, изисква различен контрол от действие, което се случва два пъти седмично.

Отговорите поставят всяко действие в едно от четири нива. Повечето организации установяват, че няколко действия носят почти целия риск, и това е добра новина: точно там трябва да отиде усилието за одобрение. Пример от общинска администрация: агент, който проверява за пълнота заявленията на читалища и спортни клубове за общинско финансиране на проекти, може сам да отбележи липсващ документ, но решението за финансирането остава при служителя. При търговец на едро агентът съпоставя входящите електронни фактури с поръчките, а над определена сума плащането одобрява човек.

Нивата са инструмент за проектиране, а не правна класификация. Проверете ги спрямо правилата, които се прилагат за Вас. Общият регламент относно защитата на данните (GDPR) дава на хората конкретни права при решения, основани единствено на автоматизирано обработване (отваря външен сайт), които пораждат правни последствия или ги засягат в също толкова значителна степен (член 22). За високорисковите системи Актът за изкуствения интелект изисква хората да могат ефективно да ги наблюдават (отваря външен сайт) (член 14). Тези задължения обикновено попадат в ниво 4.

03Сигнали, които винаги трябва да стигат до човек

Някои ситуации трябва да преместят действието едно ниво нагоре, независимо от обичайното му място. Изградете ги като изрични проверки в работния процес, така че да не зависят от това дали агентът ще ги забележи.

• Входните данни са извън това, с което агентът е тестван: нов вид документ, необичаен език, липсващи или противоречиви полета.
• Намерените от агента източници си противоречат или предложеното действие се основава на нещо, което агентът не може да цитира.
• Сумата, обхватът или броят на засегнатите записи надхвърлят праг, който сте определили.
• Случаят засяга чувствителна категория: здравни данни, непълнолетни, жалба, спор или висящо обжалване.
• Агентът вече е опитвал повторно или друга система е върнала грешка.

Един сигнал липсва от списъка умишлено: собствената увереност на модела. Езиковите модели могат гладко да твърдят неверни неща. Националният институт по стандарти и технологии на САЩ (NIST) нарича това конфабулация (отваря външен сайт) в своя рисков профил за генеративния изкуствен интелект. Оценката, която моделът дава сам на себе си, може да бъде един от входовете, но трябва да стои до външни проверки, например правила за валидиране и сравнение със системата, която е първоизточник на данните, и никога да не ги замества.

04Одобрение, което хората реално могат да дадат

Поток от въпроси „Одобрявате ли?“ учи хората да одобряват. Актът за изкуствения интелект назовава риска пряко: хората, които наблюдават високорискова система, трябва да осъзнават склонността да се осланят на автоматизираните решения.

Четири решения при проектирането превръщат това осъзнаване в практика.

Покажете доказател­ствата, а не само отговора

Представете предложеното действие с ясни думи, източниците, на които се основава (с връзки, които се отварят на точното място), приложеното правило или политика и какво точно ще се промени и в коя система. Проверяващ, който трябва да отвори три приложения, за да провери едно предложение, под натиска на времето ще спре да проверява.

Направете „не“ толкова лесно, колкото „да“

Отказът и редакцията са нормални резултати, а не изключения. Поставете ги до бутона за одобрение, искайте кратка причина при отказ и използвайте тези причини при оценката. Ако редактирането на предложение е по-трудно от писането му от нулата, хората ще одобряват несъвършени предложения.

Дайте одобрението на роля с правомощия

Одобрението принадлежи на определена роля с необходимите компетентност, обучение и правомощия да отмени резултата на системата. За високорисковите системи с изкуствен интелект Актът изисква точно това от внедрителите (член 26, параграф 2 (отваря външен сайт)). Определете заместник и път за ескалация и измервайте колко дълго чакат задачите. Опашка, за която никой не отговаря, се превръща в тясното място, което кара екипите да заобикалят проверката.

Групирайте само наистина нискорис­ковото

Прегледът на четиридесет почти еднакви задачи една по една не прави никого по-внимателен. За действията от ниво 2 позволете групов преглед със случайни извадки. Задачите от ниво 3 и ниво 4 преглеждайте поотделно.

05Контролът се прилага в системата, а не в инструкциите

Инструкцията към модела не е контрол на достъпа. Текстът, който агентът чете, например имейл, документ или уеб страница, може да съдържа собствени инструкции. OWASP описва това като инжектиране на инструкции (отваря външен сайт) (prompt injection). Ако единственото, което стои между агента и едно необратимо действие, е изречение в инструкциите му, приемете, че един ден то ще бъде заобиколено.

• Дайте на агента собствена идентичност с минималните права, от които се нуждае всеки инструмент, и го оставете да действа в рамките на правата на потребителя, отправил искането, където платформата позволява това.
• Прилагайте одобренията в интеграционния слой: услугата, която изпраща писмото, отказва извикването, ако няма валиден запис за одобрение точно на това действие.
• Поставете ограничения за стойност, обем и честота на инструментите, независимо от агента.
• Разделете инструментите за четене от инструментите за запис, за да можете да разширите това, което агентът вижда, без да разширявате това, което може да прави.

06Записвайте това, което ще трябва да обясните по-късно

За всяко изпълнение на агента пазете искането, намерените източници, всяко извикване на инструмент с параметрите му, предложеното действие, одобрилия, решението, евентуалните редакции и времето на всяка стъпка. За високорисковите системи с изкуствен интелект внедрителите трябва да пазят автоматично генерираните записи поне шест месеца, освен ако правото на Съюза или националното право не предвижда друго (член 26, параграф 6 (отваря външен сайт)). Където никое правило не го изисква, пак ги пазете: журналът е начинът да се учите.

Преглеждайте журналите в определен ритъм. Действията, които винаги се одобряват без промяна, са кандидати за по-ниско ниво. Действията, които често се редактират, показват слабост в агента или принадлежат на по-високо ниво. Откази, които се натрупват около един източник, един формуляр или един екип, обикновено разкриват проблем в процеса, който никой модел няма да реши.

07Започнете тясно, после местете действията надолу

Започнете с най-значимите действия в нива 3 и 4. Договорете предварително какво е добър резултат: кои резултати се смятат за верни, кои грешки са допустими и кои не. След това измервайте спрямо тези критерии, например като използвате функциите за измерване от Рамката за управление на риска при изкуствения интелект на NIST (отваря външен сайт) като контролен списък.

Премествайте действие в по-леко ниво само при доказателства: период, в който одобренията не са изисквали съществени редакции, тестове върху случаите, които са се объркали, и съгласие от отговорника за процеса. Документирайте това решение като всяка друга промяна в системата и запазете възможността да го върнете.

Резултатите от изкуствен интелект могат да бъдат грешни. Това не е причина агентите да стоят далеч от реалната работа; това е причината да проектирате къде хората запазват контрола. Агентите са полезни, защото могат да действат. Внимателно поставените точки за одобрение Ви позволяват с времето да им поверявате повече.