Αξιόπιστη αναζήτηση γνώσης στον οργανισμό: πέντε ιδιότητες που κρίνουν την εμπιστοσύνη

01Το πρόβλημα της παρουσίασης

Οι περισσότεροι βοηθοί γνώσης βασίζονται στο ίδιο σχήμα, τη λεγόμενη παραγωγή επαυξημένη με ανάκτηση (RAG) (ανοίγει εξωτερικό ιστότοπο): το σύστημα βρίσκει τα αποσπάσματα που ταιριάζουν στην ερώτηση και ένα γλωσσικό μοντέλο γράφει απάντηση πάνω σε αυτά. Με πενήντα προσεκτικά επιλεγμένα έγγραφα, μια εβδομάδα αρκεί για ένα πειστικό αποτέλεσμα.

Στην παραγωγική λειτουργία τα πράγματα δυσκολεύουν. Εκεί υπάρχουν είκοσι χρόνια κοινόχρηστων φακέλων, εγκυκλίων, wikis, αιτημάτων, συμβάσεων και πολιτικών, πολλά διπλά, παλιά ή εμπιστευτικά, σε έναν οργανισμό στην Κύπρο συχνά και στα ελληνικά και στα αγγλικά. Ο βοηθός αποτυγχάνει τότε με δύο τρόπους. Δίνει λάθος απάντηση και οι χρήστες τον εγκαταλείπουν. Ή, χειρότερα, δίνει λάθος απάντηση με σιγουριά και κάποιος ενεργεί με βάση αυτήν.

Η αξιόπιστη αναζήτηση γνώσης κρίνεται επομένως λιγότερο από το μοντέλο και περισσότερο από πέντε ιδιότητες του συστήματος γύρω του. Η καθεμία σχεδιάζεται, και, κυρίως, ελέγχεται.

02Δικαιώματα: μόνο ό,τι επιτρέπεται να διαβάσει ο χρήστης

Ένας κανόνας, χωρίς εξαιρέσεις: ο χρήστης βλέπει μέσω του βοηθού μόνο ό,τι θα μπορούσε να ανοίξει και μόνος του στο σύστημα προέλευσης. Το ερώτημα είναι πού μπαίνει ο φραγμός. Αν ένα απόσπασμα έφτασε στο μοντέλο, υποθέστε ότι θα εμφανιστεί στην απάντηση. Ο έλεγχος γίνεται λοιπόν πριν από το μοντέλο, κατά την ανάκτηση, με την ταυτότητα του χρήστη που ρωτά.

Στον κατάλογο κινδύνων του OWASP για εφαρμογές LLM βρίσκονται δύο σχετικά θέματα: η αποκάλυψη ευαίσθητων πληροφοριών (ανοίγει εξωτερικό ιστότοπο) και οι αδυναμίες διανυσμάτων και ενσωματώσεων (ανοίγει εξωτερικό ιστότοπο), όπως η διαρροή από τη μια ομάδα δικαιωμάτων στην άλλη. Σε μια εταιρεία εταιρικών υπηρεσιών, όπου ο φάκελος κάθε πελάτη πρέπει να μένει στεγανός, αυτό έρχεται πρώτο. Οι απαιτήσεις που προκύπτουν:

• Κάθε τμήμα κειμένου στο ευρετήριο κουβαλά τα δικαιώματα πρόσβασης του εγγράφου από το οποίο προέρχεται, όπως ορίζονται στο σύστημα προέλευσης και όχι ξαναγραμμένα με το χέρι.
• Το φιλτράρισμα γίνεται με την ταυτότητα του συνδεδεμένου χρήστη, την ώρα του ερωτήματος, πριν από την κατάταξη και πριν από τη σύνταξη της απάντησης.
• Μια αλλαγή δικαιωμάτων συγχρονίζεται τουλάχιστον όσο γρήγορα μια αλλαγή περιεχομένου, και συμφωνείται εκ των προτέρων σε πόσο χρόνο ισχύει μια ανάκληση.
• Οι δοκιμές γίνονται με πραγματικούς ρόλους. Το «βρίσκει ένας ασκούμενος τις μισθολογικές κλίμακες;» ανήκει στο σύνολο δοκιμών, όχι στην ανάλυση μετά από ένα περιστατικό.

03Προέλευση: παραπομπές που ελέγχονται

Δίπλα σε κάθε πρόταση της απάντησης: ο τίτλος του εγγράφου, η έκδοση ή η ημερομηνία, ο υπεύθυνος και ένας σύνδεσμος στο ακριβές σημείο· για μια εγκύκλιο, ο αριθμός φακέλου και η ημερομηνία έκδοσης. Δείξτε το ίδιο το απόσπασμα, όχι μόνο το όνομα του αρχείου, για να κρίνει ο αναγνώστης με μια ματιά αν στηρίζει πράγματι ό,τι λέει η πρόταση.

Ό,τι δεν τεκμηριώνεται πρέπει να ξεχωρίζει. Πρόταση χωρίς πηγή είτε αφαιρείται είτε σημειώνεται. Ο έλεγχος αυτοματοποιείται: η παραπομπή αντιπαραβάλλεται με τον ισχυρισμό, και ένα δείγμα ελέγχεται από ανθρώπους. Η παραπομπή που υπάρχει αλλά δεν λέει αυτό που της αποδίδεται είναι από τα πιο συνηθισμένα και πιο ύπουλα σφάλματα.

04Επικαιρότητα και κύρος

Η γνώση ενός οργανισμού έχει εκδόσεις. Η παλιά και η νέα εγκύκλιος για τα οδοιπορικά απαντούν και οι δύο στην ερώτηση «πόσα δικαιούμαι για ένα ταξίδι στο εξωτερικό;», με διαφορετικά ποσά. Αυτό που τις ξεχωρίζει είναι μεταδεδομένα, και πρέπει να ευρετηριάζονται: ημερομηνία ισχύος, κατάσταση (σχέδιο, εγκεκριμένη, καταργημένη), υπεύθυνος. Τα τρέχοντα και εγκεκριμένα έγγραφα έρχονται πρώτα, τα καταργημένα μόνο όταν ο χρήστης ζητά ιστορικό, και κάθε παραπομπή δείχνει ημερομηνία.

Για κάθε θέμα, μία πηγή έχει τον τελευταίο λόγο: οι κανονισμοί προσωπικού έρχονται από την πύλη προσωπικού, όχι από ένα email που παραθέτει περσινή εκδοχή τους. Κάθε πηγή ξαναμπαίνει στο ευρετήριο με τον δικό της ρυθμό, σχεδόν σε πραγματικό χρόνο για τα δεδομένα υποθέσεων, μία φορά τη μέρα για ένα wiki, και ο ρυθμός αυτός παρακολουθείται. Ένα μπαγιάτικο ευρετήριο δίνει απαντήσεις που φαίνονται σωστές και δεν είναι.

05Ειλικρινή κενά: «Δεν βρήκα αξιόπιστη πηγή»

Το «δεν ξέρω» είναι συχνά η πιο πολύτιμη απάντηση. Ένα γλωσσικό μοντέλο γράφει με ευκολία προτάσεις χωρίς κανένα έρεισμα· το NIST, στο προφίλ του για την παραγωγική τεχνητή νοημοσύνη, ονομάζει το φαινόμενο επινόηση (confabulation) (ανοίγει εξωτερικό ιστότοπο). Η αγκύρωση στα αποσπάσματα το μειώνει χωρίς να το εξαλείφει. Και το OWASP καταγράφει τη συνέπεια, ανθρώπους που ενεργούν πάνω σε ψευδές αποτέλεσμα, ως χωριστό κίνδυνο: παραπληροφόρηση (ανοίγει εξωτερικό ιστότοπο).

Χρειάζεται ένα όριο: όταν η συνάφεια των αποσπασμάτων πέφτει κάτω από αυτό, ο βοηθός δηλώνει ότι δεν βρήκε αξιόπιστη πηγή και δείχνει σε ποιον να απευθυνθεί ο χρήστης, π.χ. στο αρμόδιο Τμήμα ή στον υπεύθυνο της πολιτικής. Για πολιτικές, δικαιώματα και υποχρεώσεις, η γενική γνώση του μοντέλου δεν γεμίζει τα κενά. Παρακολουθήστε μετά ανά θέμα πόσες ερωτήσεις μένουν αναπάντητες. Τους πρώτους μήνες η λίστα αυτή αποδεικνύεται συχνά το πολυτιμότερο αποτέλεσμα του έργου, γιατί δείχνει με ακρίβεια στους υπευθύνους περιεχομένου πού λείπουν κείμενα.

06Η αρχιτεκτονική πίσω από τις πέντε ιδιότητες

Τίποτα από αυτά δεν θέλει εξωτική τεχνολογία. Θέλει δικαιώματα, μεταδεδομένα και ελέγχους που είναι βασικά κομμάτια της ροής από την αρχή, όχι προσθήκες μετά την παρουσίαση.

Και τα προσωπικά δεδομένα; Το ευρετήριο επεξεργάζεται όσα περιέχουν τα έγγραφα, οπότε ισχύουν ο Ν. 125(Ι)/2018 και, από τον Γενικό Κανονισμό για την Προστασία Δεδομένων (GDPR), οι αρχές του άρθρου 5 για τον περιορισμό του σκοπού και την ελαχιστοποίηση (ανοίγει εξωτερικό ιστότοπο). Τρία πρακτικά συμπεράσματα: πηγές που η χρήση δεν χρειάζεται μένουν έξω· ό,τι διαγράφεται στο σύστημα προέλευσης διαγράφεται και από το ευρετήριο· και όταν ένα υποκείμενο ασκεί δικαίωμα πρόσβασης, η απάντηση καλύπτει και το ευρετήριο.

07Μετρημένη ποιότητα, πριν και μετά την έναρξη

Δύο τρεις ερωτήσεις σε μια σύσκεψη δεν αποδεικνύουν τίποτα. Τα κριτήρια ποιότητας συμφωνούνται με τους ιδιοκτήτες του περιεχομένου, και κάθε επίπεδο μετριέται χωριστά, ώστε να φαίνεται πού βρίσκεται το πρόβλημα.

Οι ερωτήσεις δοκιμής βγαίνουν από την πραγματικότητα: αρχεία αναζήτησης, αιτήματα στο helpdesk, απορίες των νέων συναδέλφων. Ένα καλό ξεκίνημα είναι μερικές εκατοντάδες ερωτήσεις, με απαντήσεις που ενέκριναν οι υπεύθυνοι περιεχομένου· σε έναν δίγλωσσο οργανισμό, ερωτήσεις και στα ελληνικά και στα αγγλικά. Κάθε αλλαγή, είτε νέο μοντέλο είτε άλλος τρόπος τεμαχισμού είτε νέα πηγή, ξανατρέχει όλο το σύνολο. Όταν αλλάζει το περιεχόμενο, η ποιότητα πέφτει χωρίς θόρυβο, και μόνο ένα σταθερό σύνολο δοκιμών το αποκαλύπτει.

08Τι βλέπει ο χρήστης όταν το σύστημα είναι αξιόπιστο

Από την πλευρά του χρήστη, η αξιοπιστία φαίνεται σε πέντε πράγματα. Οι απαντήσεις προέρχονται μόνο από έγγραφα που δικαιούται να δει. Κάθε ισχυρισμός συνοδεύεται από παραπομπή που ανοίγει. Η ημερομηνία κάθε πηγής είναι ορατή. Αν απάντηση δεν υπάρχει, ο βοηθός το λέει ευθέως. Και μια λάθος απάντηση αναφέρεται με ένα κλικ και διορθώνεται, άρα κάποιος παρακολουθεί την ποιότητα.

Η τεχνητή νοημοσύνη θα κάνει και λάθη, και κάποιες ερωτήσεις πρέπει να καταλήγουν σε έναν λειτουργό, όχι σε μια μηχανή αναζήτησης. Όταν το σύστημα σχεδιάζεται ανοιχτά γι’ αυτό, δεν δείχνει αδυναμία· κερδίζει την εμπιστοσύνη που χρειάζεται για όλα τα άλλα.