Πράκτορες τεχνητής νοημοσύνης και ανθρώπινη έγκριση

01Ο πράκτορας ενεργεί, άρα αλλάζει το ερώτημα

Ένας βοηθός συνομιλίας γράφει ένα κείμενο και ο χρήστης κρίνει τι θα το κάνει. Ο πράκτορας τεχνητής νοημοσύνης πηγαίνει παραπέρα: καλεί εργαλεία. Ενημερώνει μια εγγραφή στο σύστημα φακέλων, κλείνει ραντεβού, προωθεί μια αίτηση, στέλνει μήνυμα ή ετοιμάζει πληρωμή. Μόλις το λογισμικό αρχίσει να ενεργεί, δεν αρκεί να ελέγχουμε αν η απάντηση στέκει. Χρειάζεται να ξέρουμε ποιος λογοδοτεί για κάθε ενέργεια και πότε έδωσε τη συγκατάθεσή του.

Στον χώρο της ασφάλειας το λάθος αυτό έχει ήδη όνομα. Στη λίστα OWASP με τους δέκα σοβαρότερους κινδύνους των εφαρμογών LLM, η υπερβολική αυτονομία (excessive agency) (ανοίγει εξωτερικό ιστότοπο) περιγράφει πράκτορα που έχει περισσότερες λειτουργίες, δικαιώματα ή περιθώριο δράσης από όσα απαιτεί η εργασία του. Η ανθρώπινη έγκριση είναι ένα από τα αντίμετρα. Αν μπει σε κάθε βήμα, η δουλειά σέρνεται και οι χρήστες συνηθίζουν να πατούν «Έγκριση» χωρίς να διαβάζουν. Αν δεν μπει πουθενά, μένουν ενέργειες που δεν τις αποφάσισε κανείς. Η ουσία βρίσκεται στο πού θα τοποθετηθεί.

02Πρώτα οι ενέργειες, μετά το μοντέλο

Καταγράψτε όλα τα εργαλεία στα οποία έχει πρόσβαση ο πράκτορας και θέστε για το καθένα τέσσερα ερωτήματα. Τα ερωτήματα αφορούν σκόπιμα την ενέργεια και τις συνέπειές της, όχι το μοντέλο.

1. 01Αναστρέφεται; Και με τι κόστος: ένα κλικ, μια διορθωτική επιστολή, επιστροφή χρημάτων, δικαστική διαφορά;
2. 02Ποιον επηρεάζει; Ένα εσωτερικό σχέδιο, έναν συνάδελφο, έναν αιτητή ή πελάτη, χρήματα, κάποιον τρίτο;
3. 03Δεσμεύει τον οργανισμό ή έχει έννομο αποτέλεσμα; Απόφαση για πρόσωπο, πληρωμή, σύμβαση, μήνυμα που φεύγει με το όνομα του οργανισμού σας.
4. 04Πόσο συχνά και με ποια ταχύτητα; Ό,τι συμβαίνει χιλιάδες φορές την ημέρα θέλει διαφορετικό έλεγχο από ό,τι συμβαίνει δύο φορές την εβδομάδα.

Με βάση τις απαντήσεις, κάθε ενέργεια μπαίνει σε μία βαθμίδα. Οι περισσότεροι οργανισμοί διαπιστώνουν ότι ο κίνδυνος συγκεντρώνεται σε λίγες ενέργειες, και αυτό είναι καλό νέο: εκεί πρέπει να πάει ο χρόνος των εγκρίσεων.

Οι τέσσερις βαθμίδες βοηθούν στον σχεδιασμό· δεν αποτελούν νομική κατάταξη, γι’ αυτό ελέγξτε τες απέναντι στο δίκαιο που σας αφορά. Ο Γενικός Κανονισμός για την Προστασία Δεδομένων (GDPR) δίνει στο πρόσωπο ειδικά δικαιώματα απέναντι σε αποφάσεις που στηρίζονται αποκλειστικά σε αυτοματοποιημένη επεξεργασία (ανοίγει εξωτερικό ιστότοπο) με έννομα ή ανάλογα σοβαρά αποτελέσματα (άρθρο 22)· στην Κυπριακή Δημοκρατία ο Ν. 125(Ι)/2018 εφαρμόζει πρόνοιές του. Από την πλευρά του, ο Κανονισμός για την τεχνητή νοημοσύνη (AI Act) ζητά να σχεδιάζονται τα συστήματα υψηλού κινδύνου ώστε άνθρωποι να μπορούν να τα εποπτεύουν ουσιαστικά (ανοίγει εξωτερικό ιστότοπο) (άρθρο 14). Συνήθως οι δύο αυτές απαιτήσεις πέφτουν στη βαθμίδα 4.

03Σήματα που στέλνουν την υπόθεση σε άνθρωπο

Ορισμένες καταστάσεις ανεβάζουν μια ενέργεια μία βαθμίδα, όπου κι αν ανήκει κανονικά. Χτίστε τες ως ρητούς ελέγχους μέσα στη ροή εργασιών, ώστε να μη στηρίζεστε στο αν θα τις αντιληφθεί ο πράκτορας.

• Τα δεδομένα εισόδου ξεφεύγουν από όσα δοκιμάστηκαν: νέος τύπος εγγράφου, ασυνήθιστη γλώσσα, πεδία κενά ή αντιφατικά. Σε μια ΚΕΠΕΥ, για παράδειγμα, έγγραφα ταυτοποίησης μορφής που δεν υπήρχε στο σύνολο δοκιμών.
• Οι πηγές που ανέκτησε ο πράκτορας διαφωνούν μεταξύ τους, ή η πρόταση βασίζεται σε κάτι για το οποίο δεν έχει παραπομπή.
• Το ποσό, η έκταση ή ο αριθμός των εγγραφών που αγγίζει η ενέργεια περνά ένα όριο που έχετε θέσει.
• Η υπόθεση αφορά ευαίσθητη κατηγορία: δεδομένα υγείας, ανήλικους, παράπονο, διαφορά ή ένσταση που εκκρεμεί.
• Προηγήθηκαν επαναλήψεις, ή ένα σύστημα παρακάτω στην αλυσίδα απάντησε με σφάλμα.

Από τη λίστα έχουμε αφήσει έξω, συνειδητά, το πόσο σίγουρο δηλώνει ότι είναι το μοντέλο. Ένα γλωσσικό μοντέλο μπορεί να πει κάτι λάθος με απόλυτη ευφράδεια· το αμερικανικό National Institute of Standards and Technology ονομάζει το φαινόμενο επινόηση (confabulation) (ανοίγει εξωτερικό ιστότοπο) στο προφίλ κινδύνων που έχει εκδώσει για την παραγωγική τεχνητή νοημοσύνη. Η αυτοαξιολόγηση του μοντέλου χωρά ως μία ένδειξη ανάμεσα σε άλλες. Δεν αντικαθιστά τους εξωτερικούς ελέγχους, όπως τους κανόνες επικύρωσης και τη διασταύρωση με το σύστημα αναφοράς.

04Έγκριση που μπορεί πράγματι να δοθεί

Όποιος δέχεται κάθε λίγα λεπτά την ερώτηση «Εγκρίνετε;» μαθαίνει να εγκρίνει. Ο Κανονισμός ονομάζει τον κίνδυνο: όσοι εποπτεύουν σύστημα υψηλού κινδύνου πρέπει να έχουν επίγνωση αυτού που το ελληνικό κείμενο λέει «μεροληψία αυτοματισμού». Το άρθρο 14 ζητά να μπορούν:

Στην πράξη, τέσσερις αποφάσεις σχεδιασμού κάνουν αυτή την επίγνωση εφικτή.

Τα τεκμήρια στην ίδια οθόνη με την πρόταση

Η οθόνη έγκρισης δείχνει τι θα γίνει, σε απλά λόγια· τις πηγές, με σύνδεσμο κατευθείαν στο σχετικό απόσπασμα· την εγκύκλιο ή τον κανόνα που εφαρμόστηκε· και ποιο πεδίο θα αλλάξει σε ποιο σύστημα. Αν ο λειτουργός χρειάζεται τρεις εφαρμογές για να επιβεβαιώσει μια πρόταση, την πρώτη μέρα με φόρτο θα σταματήσει να επιβεβαιώνει.

Το «όχι» να κοστίζει όσο το «ναι»

Το «όχι» και το «ναι, με αλλαγές» είναι κανονικές απαντήσεις. Τα κουμπιά τους μπαίνουν δίπλα στο κουμπί της έγκρισης, κάθε απόρριψη συνοδεύεται από σύντομη αιτιολογία, και οι αιτιολογίες τροφοδοτούν την αξιολόγηση. Όταν η διόρθωση μιας πρότασης θέλει περισσότερο κόπο από τη σύνταξη από το μηδέν, οι χρήστες καταλήγουν να εγκρίνουν μισοτελειωμένες προτάσεις.

Η έγκριση ανήκει σε ρόλο με εξουσία

Ποιος υπογράφει; Ένας συγκεκριμένος ρόλος, με τις γνώσεις, την εκπαίδευση και το δικαίωμα να αγνοήσει ή να ανατρέψει ό,τι προτείνει το σύστημα. Για τα συστήματα ΤΝ υψηλού κινδύνου ο Κανονισμός το ζητά ρητά από τους φορείς εφαρμογής (άρθρο 26 παράγραφος 2 (ανοίγει εξωτερικό ιστότοπο)). Σε ένα Τμήμα είναι συνήθως ο λειτουργός που χειρίζεται τον φάκελο, σε μια ΚΕΠΕΥ ο υπεύθυνος συμμόρφωσης, σε μια εταιρεία διανομής ο οικονομικός διευθυντής για τα μεγάλα ποσά. Χρειάζονται επίσης αναπληρωτής, σαφής διαδρομή κλιμάκωσης και μέτρηση του χρόνου αναμονής. Όταν μια ουρά δεν έχει ιδιοκτήτη, μετατρέπεται σε φράγμα, και οι ομάδες βρίσκουν τρόπους να το παρακάμψουν.

Ομαδικός έλεγχος μόνο ό,τι είναι πραγματικά ακίνδυνο

Σαράντα σχεδόν πανομοιότυπες εγγραφές, η μία μετά την άλλη, δεν κάνουν κανέναν πιο προσεκτικό. Στη βαθμίδα 2 επιτρέψτε έλεγχο σε δέσμες με τυχαίο δείγμα. Στις βαθμίδες 3 και 4 κάθε υπόθεση εξετάζεται χωριστά.

05Ο έλεγχος μένει στο σύστημα, όχι στις οδηγίες

Μια οδηγία μέσα στο prompt δεν είναι έλεγχος πρόσβασης. Ό,τι διαβάζει ο πράκτορας, ένα email, ένα συνημμένο αίτησης ή μια ιστοσελίδα, μπορεί να κρύβει δικές του εντολές, φαινόμενο που το OWASP περιγράφει ως έγχυση εντολών (prompt injection) (ανοίγει εξωτερικό ιστότοπο). Αν ανάμεσα στον πράκτορα και σε μια μη αναστρέψιμη ενέργεια στέκεται μόνο μια φράση των οδηγιών του, να υποθέτετε ότι κάποια στιγμή θα παρακαμφθεί.

• Ο πράκτορας συνδέεται με δικό του λογαριασμό, που έχει μόνο τα δικαιώματα που χρειάζεται κάθε εργαλείο, και, όπου η πλατφόρμα το επιτρέπει, κινείται μέσα στα δικαιώματα του χρήστη που υπέβαλε το αίτημα.
• Τον έλεγχο τον κάνει το επίπεδο διασύνδεσης: αν λείπει έγκυρη έγκριση για τη συγκεκριμένη ενέργεια, η υπηρεσία αποστολής δεν στέλνει την επιστολή στον αιτητή.
• Τα εργαλεία έχουν δικά τους όρια ποσού, όγκου και συχνότητας, ανεξάρτητα από τον πράκτορα.
• Ανάγνωση και εγγραφή γίνονται με διαφορετικά εργαλεία, ώστε η πρόσβαση του πράκτορα σε περισσότερες πηγές να μη συνεπάγεται και περισσότερες δυνατότητες αλλαγής.

06Κρατήστε ό,τι θα χρειαστεί να εξηγήσετε αργότερα

Από κάθε εκτέλεση κρατήστε: το αρχικό αίτημα, όσες πηγές βρήκε ο πράκτορας, τις κλήσεις εργαλείων με τις παραμέτρους τους, την πρόταση, ποιος την ενέκρινε και τι αποφάσισε, τυχόν αλλαγές, και πότε έγινε το καθετί. Για συστήματα ΤΝ υψηλού κινδύνου η υποχρέωση είναι ρητή: ο φορέας εφαρμογής φυλάει τα αυτόματα αρχεία καταγραφής τουλάχιστον έξι μήνες, εκτός αν άλλη ενωσιακή ή εθνική νομοθεσία ορίζει διαφορετικά (άρθρο 26 παράγραφος 6 (ανοίγει εξωτερικό ιστότοπο)). Ακόμη κι όπου δεν σας το επιβάλλει κανείς, κρατήστε τα: από αυτά μαθαίνετε.

Ορίστε τακτική ανασκόπηση του αρχείου. Όσες ενέργειες περνούν πάντα αυτούσιες μπορούν να εξεταστούν για μια βαθμίδα πιο κάτω. Όσες χρειάζονται συχνά αλλαγές φανερώνουν αδυναμία του πράκτορα, ή ανήκουν μια βαθμίδα πιο πάνω. Όταν οι απορρίψεις μαζεύονται γύρω από μία πηγή, ένα έντυπο αίτησης ή μία ομάδα, το πρόβλημα συνήθως βρίσκεται στη διαδικασία, και κανένα μοντέλο δεν θα το λύσει.

07Στενό ξεκίνημα, σταδιακή χαλάρωση

Κατά την πρώτη λειτουργία, ό,τι έχει βαριές συνέπειες ξεκινά από τη βαθμίδα 3 ή την 4. Πριν από την έναρξη συμφωνήστε τα κριτήρια επιτυχίας: ποιες εκβάσεις μετρούν ως σωστές, ποια σφάλματα γίνονται ανεκτά και ποια όχι. Έπειτα μετρήστε, χρησιμοποιώντας για παράδειγμα τις λειτουργίες μέτρησης του NIST AI Risk Management Framework (ανοίγει εξωτερικό ιστότοπο) ως λίστα ελέγχου.

Για να κατέβει μια ενέργεια βαθμίδα χρειάζονται αποδείξεις: ένα διάστημα χωρίς ουσιαστικές αλλαγές στις εγκεκριμένες προτάσεις, δοκιμές στις περιπτώσεις που στράβωσαν, και τη σύμφωνη γνώμη του ιδιοκτήτη της διαδικασίας. Η μετακίνηση καταγράφεται ως αλλαγή του συστήματος, με δυνατότητα επιστροφής.

Η τεχνητή νοημοσύνη κάνει λάθη. Αυτό δεν σημαίνει ότι οι πράκτορες πρέπει να μένουν έξω από την πραγματική δουλειά· σημαίνει ότι σχεδιάζουμε συνειδητά τα σημεία όπου ο άνθρωπος κρατά τον έλεγχο. Η αξία του πράκτορα είναι ότι ενεργεί, και τα σωστά τοποθετημένα σημεία έγκρισης είναι αυτά που σας επιτρέπουν να του εμπιστεύεστε σταδιακά περισσότερα.