Yapay zekâ ajanları hangi işlemlerde insan onayı gerektirir

01Ajanlar işlem yapar, soru değişir

Bir sohbet asistanı metin taslağı hazırlar, onunla ne yapılacağına bir kişi karar verir. Ajan bir adım daha ileri gider: araçları çağırır. Bir kaydı günceller, randevu ayırır, bir dosyayı yönlendirir, mesaj gönderir ya da bir ödemeyi hazırlar. Yazılım işlem yapmaya başladığında yararlı soru artık yalnızca “bu yanıt iyi mi?” değildir; asıl soru “bu işlemin sorumlusu kim ve buna ne zaman onay verdi?” sorusudur.

Güvenlik topluluğu bu konudaki hatanın adını koymuştur. Büyük dil modeli uygulamalarına yönelik OWASP Top 10 listesi, aşırı yetki (harici bir site açılır) riskini temel riskler arasında sayar: görevinin gerektirdiğinden fazla işleve, izne ya da özerkliğe sahip bir ajan. İnsan onayı bu riske karşı kontrollerden biridir. Her yerde kullanılırsa işi yavaşlatır ve insanlara “onayla” düğmesine basmayı alışkanlık hâline getirir. Hiçbir yerde kullanılmazsa kimsenin karar vermediği işlemler ortaya çıkar. Asıl iş, onayı doğru yere koymaktır.

02Modelden değil, işlemlerden başlayın

Ajanın çağırabileceği her aracın envanterini çıkarın. Her biri için dört soruyu yanıtlayın. Sorular bilinçli olarak modelle değil, işlemle ve etkisiyle ilgilidir.

1. 01Geri alınabilir mi? Hangi maliyetle: bir tıklama, bir düzeltme yazısı, bir iade, bir dava?
2. 02Kimi etkiler? Bir iç taslağı, bir iş arkadaşını, bir müşteriyi ya da vatandaşı, parayı, üçüncü bir tarafı?
3. 03Bir taahhüt ya da hukuki sonuç doğurur mu? Bir kişi hakkında karar, bir ödeme, bir sözleşme, kurumunuz adına gönderilen bir mesaj.
4. 04Ne sıklıkta ve ne hızla? Günde binlerce kez gerçekleşen bir işlem, haftada iki kez gerçekleşen bir işlemden farklı bir kontrol gerektirir.

Yanıtlar her işlemi dört katmandan birine yerleştirir. Çoğu kurum, riskin neredeyse tamamının bir avuç işlemde toplandığını görür. Bu iyi bir haberdir: onay emeği tam da oraya harcanmalıdır.

İki açıklayıcı örnek. Kıbrıs Cumhuriyeti’nde bir bakanlığa bağlı bir dairede ajan, başvuru dosyalarını eksik belgeler ve ilgili kurallarla birlikte hazırlar; başvurunun sonucuna dosyayı inceleyen görevli karar verir. Bir dağıtım şirketinde ajan gelen faturaları siparişlerle ve mal kabulleriyle eşleştirir; belirli bir tutarın üzerindeki faturalar ödemeden önce bir kişinin onayına gider.

Katmanlar hukuki bir sınıflandırma değil, bir tasarım aracıdır. Bunları size uygulanan kurallarla karşılaştırın. Genel Veri Koruma Tüzüğü (GDPR), kişiler hakkında hukuki ya da benzer ölçüde önemli sonuçlar doğuran yalnızca otomatik işlemeye dayalı kararlar (harici bir site açılır) karşısında özel haklar tanır (22. madde). AB Yapay Zekâ Yasası ise yüksek riskli sistemlerin insanlar tarafından etkili biçimde gözetilebilmesini (harici bir site açılır) şart koşar (14. madde). Bu yükümlülükler genellikle 4. katmanda karşılık bulur.

03Her zaman bir kişiye ulaşması gereken sinyaller

Bazı durumlar, olağan yeri neresi olursa olsun bir işlemi bir üst katmana taşımalıdır. Bunları iş akışında açık kontroller olarak kurun; böylece ajanın onları fark etmesine bağlı kalmazsınız.

• Girdi, ajanın test edildiği alanın dışında: yeni bir belge türü, alışılmadık bir dil, eksik ya da çelişkili alanlar.
• Ajanın bulduğu kaynaklar birbiriyle çelişiyor ya da önerilen işlem, ajanın kaynak gösteremediği bir şeye dayanıyor.
• Tutar, kapsam ya da etkilenen kayıt sayısı sizin belirlediğiniz eşiğin üzerinde.
• Dosya hassas bir kategoriye dokunuyor: sağlık verileri, reşit olmayanlar, bir şikâyet, bir uyuşmazlık ya da süren bir itiraz.
• Ajan işlemi daha önce yeniden denedi ya da bağlı bir sistem hata döndürdü.

Bu listede bir sinyal bilerek yer almıyor: modelin kendi güven düzeyi. Dil modelleri yanlış bilgileri akıcı biçimde ifade edebilir; ABD Ulusal Standartlar ve Teknoloji Enstitüsü (NIST), üretken yapay zekâ risk profilinde bunu konfabulasyon (harici bir site açılır) olarak adlandırır. Modelin kendi bildirdiği bir puan girdilerden biri olabilir; ancak doğrulama kuralları ve kayıt sistemiyle karşılaştırma gibi dış kontrollerin yanında durmalı, asla onların yerini almamalıdır.

04İnsanların gerçekten verebileceği bir onay tasarlayın

Art arda gelen “onaylıyor musunuz?” soruları insanlara onaylamayı öğretir. Yapay Zekâ Yasası bu riski açıkça adlandırır: yüksek riskli bir sistemi gözeten kişiler otomasyon yanlılığının farkında kalabilmelidir.

Dört tasarım tercihi bu farkındalığı uygulanabilir kılar.

Yalnızca yanıtı değil, dayanakları gösterin

Önerilen işlemi sade bir dille, dayandığı kaynakları (doğru pasajda açılan bağlantılarla), uygulanan kuralı ya da politikayı ve hangi sistemde tam olarak neyin değişeceğini birlikte gösterin. Bir öneriyi kontrol etmek için üç uygulama açmak zorunda kalan kişi, zaman baskısı altında kontrol etmeyi bırakır.

“Hayır” demeyi “evet” demek kadar kolaylaştırın

Reddetmek ve düzenlemek istisna değil, olağan sonuçlardır. Bu seçenekleri onay düğmesinin yanına koyun, ret durumunda kısa bir gerekçe isteyin ve bu gerekçeleri değerlendirmeye aktarın. Bir öneriyi düzenlemek onu sıfırdan yazmaktan daha zorsa, insanlar kusurlu önerileri onaylamaya başlar.

Onayı yetkili bir role verin

Onay, sistemi geçersiz kılacak yetkinliğe, eğitime ve yetkiye sahip, adı belirlenmiş bir role aittir; Yapay Zekâ Yasası yüksek riskli yapay zekâ sistemlerini kullanan kuruluşlardan (uygulayıcılardan) tam olarak bunu ister (26(2). madde (harici bir site açılır)). Bir vekil ve bir üst kademeye aktarma yolu belirleyin, işlerin ne kadar beklediğini ölçün. Kimsenin sahiplenmediği bir kuyruk darboğaza dönüşür ve ekipleri onay kapısını atlamaya iter.

Yalnızca gerçekten düşük riskli işleri toplu inceleyin

Neredeyse aynı kırk işi tek tek incelemek kimseyi daha dikkatli yapmaz. 2. katmandaki işlemler için rastgele örneklemeyle toplu incelemeye izin verin. 3. ve 4. katmandaki işleri tek tek ele alın.

05Onay kapısını komutta değil, sistemde uygulayın

Komuttaki (prompt) bir talimat erişim kontrolü değildir. Ajanın okuduğu metinler, örneğin bir e-posta, bir belge ya da bir web sayfası, kendi talimatlarını içerebilir; OWASP bunu komut enjeksiyonu (prompt injection) (harici bir site açılır) olarak tanımlar. Bir ajanla geri alınamaz bir işlem arasında yalnızca talimatlarındaki bir cümle duruyorsa, o cümlenin bir gün geçersiz kılınacağını varsayın.

• Ajana, her aracın gerektirdiği en az yetkiyle kendi kimliğini verin; platform destekliyorsa ajanın talepte bulunan kullanıcının yetkileri içinde çalışmasını sağlayın.
• Onayları entegrasyon katmanında uygulayın: yazıyı gönderen servis, tam o işlem için geçerli bir onay kaydı yoksa çağrıyı reddeder.
• Araçlara ajandan bağımsız tutar, hacim ve sıklık sınırları koyun.
• Okuma ve yazma araçlarını ayrı tutun; böylece ajanın görebildiklerini, yapabildiklerini genişletmeden artırabilirsiniz.

06Sonradan açıklamanız gerekecek her şeyi kaydedin

Her ajan çalışması için talebi, bulunan kaynakları, parametreleriyle birlikte her araç çağrısını, önerilen işlemi, onaylayan kişiyi, kararı, yapılan düzeltmeleri ve zaman damgalarını saklayın. Yüksek riskli yapay zekâ sistemlerinde uygulayıcılar, başka bir hukuk kuralı aksini öngörmedikçe otomatik oluşturulan kayıtları en az altı ay saklamak zorundadır (26(6). madde (harici bir site açılır)). Hiçbir kural gerektirmese de kayıtları saklayın: öğrenmenin aracı kayıtlardır.

Kayıtları düzenli aralıklarla gözden geçirin. Her zaman değişiklik yapılmadan onaylanan işlemler bir alt katmana inmeye adaydır. Sık düzeltilen işlemler ajandaki bir zayıflığa işaret eder ya da bir üst katmana aittir. Tek bir kaynakta, tek bir formda ya da tek bir ekipte yoğunlaşan retler, çoğu zaman hiçbir modelin çözemeyeceği bir süreç sorununu ortaya çıkarır.

07Dar başlayın, sonra işlemleri bir alt katmana taşıyın

Sonuçları ağır olan işlemlerin çoğunu 3. ve 4. katmanda tutarak başlayın. Neyin iyi sayılacağını önceden kararlaştırın: hangi sonuçlar doğru kabul edilir, hangi hatalar kabul edilebilir, hangileri edilemez. Ardından bu ölçütlere göre ölçün; örneğin NIST Yapay Zekâ Risk Yönetimi Çerçevesi (harici bir site açılır) içindeki ölçüm işlevlerini bir kontrol listesi olarak kullanabilirsiniz.

Bir işlemi daha hafif bir katmana yalnızca kanıtla taşıyın: onayların esaslı bir düzeltme gerektirmediği bir dönem, yanlış giden vakalar üzerinde yapılan testler ve sürecin sahibinin onayı. Bu kararı sistemdeki diğer değişiklikler gibi kayda geçirin ve işlemi geri taşıma seçeneğini koruyun.

Yapay zekâ çıktısı yanlış olabilir. Bu, ajanları gerçek işlerden uzak tutmak için bir neden değil; insanların kontrolü nerede elinde tutacağını tasarlamanın nedenidir. Ajanlar işlem yapabildikleri için yararlıdır. Onay kapılarını bilinçli olarak yerleştirmek, onlara zamanla daha fazla iş vermenizi sağlar.