Carian pengetahuan organisasi yang boleh dipercayai: lima ciri yang menentukannya

01Masalah demonstrasi

Kebanyakan pembantu pengetahuan mengikut corak yang sama, yang dikenali sebagai penjanaan berasaskan carian (retrieval-augmented generation, RAG) (membuka laman web luar): cari petikan yang sepadan dengan soalan, kemudian minta model bahasa menulis jawapan berasaskan petikan itu. Pada folder lima puluh dokumen yang dipilih dengan teliti, kaedah ini berfungsi dengan meyakinkan dalam masa seminggu.

Keadaan sebenar berbeza. Dua puluh tahun pemacu kongsi, wiki, tiket, kontrak dan dasar, kebanyakannya berulang, lapuk atau sulit. Dalam keadaan itu, pembantu gagal dalam dua cara. Ia memberikan jawapan yang salah dan orang berhenti menggunakannya. Atau, lebih buruk, ia memberikan jawapan yang salah dengan yakin dan orang bertindak berdasarkannya.

Oleh itu, carian pengetahuan yang boleh dipercayai kurang bergantung pada model dan lebih bergantung pada lima ciri sistem di sekelilingnya. Setiap ciri boleh direka bentuk dan, yang penting, diuji.

02Kebenaran akses: hanya dapatkan apa yang boleh dibaca oleh pengguna

Peraturannya mudah: pembantu tidak boleh menunjukkan kepada seseorang petikan yang tidak dapat dibukanya dalam sistem sumber. Yang penting ialah titik penguatkuasaannya. Jika petikan sampai kepada model, anggaplah ia boleh muncul dalam jawapan. Oleh itu, kebenaran akses mesti dikenakan sebelum penjanaan, semasa carian, bagi pengguna yang bertanya.

OWASP menyenaraikan pendedahan maklumat sensitif (membuka laman web luar) dan kelemahan vektor dan embedding (membuka laman web luar), termasuk kebocoran merentasi sempadan kebenaran akses, antara risiko utama aplikasi model bahasa. Dalam amalan, ini membawa kepada empat keperluan.

• Simpan hak akses setiap dokumen sumber bersama setiap cebisan dalam indeks, diambil daripada sistem sumber dan bukan ditakrifkan semula secara manual.
• Tapis berdasarkan hak itu semasa pertanyaan, menggunakan identiti pengguna yang log masuk, sebelum penarafan dan penjanaan.
• Segerakkan perubahan kebenaran akses sekurang-kurangnya sepantas perubahan kandungan, dan persetujui berapa cepat hak yang ditarik balik mesti berkuat kuasa.
• Uji dengan peranan sebenar. “Bolehkah pelatih menemui skala gaji?” patut berada dalam set ujian, bukan dalam semakan selepas insiden.

03Asal usul: rujukan yang boleh disemak oleh seseorang

Setiap kenyataan dalam jawapan perlu merujuk kepada petikan asalnya: tajuk dokumen, versi atau tarikh, pemilik, dan pautan yang terbuka pada tempat yang betul. Tunjukkan petikan itu sendiri, bukan nama dokumen sahaja, supaya pembaca dapat melihat dalam beberapa saat sama ada rujukan itu menyokong ayat tersebut.

Reka bentuk format jawapan supaya teks yang tidak disokong mudah dikesan. Jika tiada petikan yang menyokong sesuatu ayat, sistem patut meninggalkannya atau menandakannya. Kemudian semak perkara ini secara automatik: bandingkan setiap petikan yang dirujuk dengan dakwaan yang sepatutnya disokong, dan ambil sampel hasilnya untuk semakan manusia. Rujukan yang wujud tetapi tidak menyokong dakwaan ialah kegagalan yang biasa dan senyap.

04Kesemasaan dan autoriti

Pengetahuan organisasi mempunyai versi. Dasar perjalanan lama dan dasar yang baharu sama-sama sepadan dengan soalan “bolehkah saya menempah kelas perniagaan?”, dan kedua-duanya memberikan jawapan yang berbeza. Indekskan metadata yang membezakannya: tarikh berkuat kuasa, status (draf, diluluskan, digantikan) dan pemilik. Utamakan dokumen semasa yang telah diluluskan, keluarkan dokumen yang telah digantikan melainkan pengguna meminta sejarahnya, dan tunjukkan tarikh dalam setiap rujukan.

Tentukan bagi setiap topik sumber yang berautoriti. Dasar sumber manusia datang daripada portal sumber manusia, bukan daripada e-mel yang memetik versi tahun lalu. Jika dasar dan pekeliling anda wujud dalam bahasa Melayu dan bahasa Inggeris, tentukan versi yang berautoriti dan pautkan kedua-duanya dalam indeks. Tetapkan kekerapan pengindeksan semula bagi setiap sumber, daripada hampir masa nyata untuk data kes hingga harian untuk wiki, dan pantau kekerapan itu: indeks yang lapuk menghasilkan jawapan yang kelihatan betul tetapi tidak betul.

05Jurang yang diakui: “Saya tidak menemui maklumat ini”

Selalunya jawapan yang paling bernilai ialah pengakuan bahawa maklumat itu tiada. Model bahasa boleh menghasilkan kenyataan yang lancar tetapi tidak disokong oleh apa-apa, yang digelar konfabulasi (membuka laman web luar) oleh NIST dalam profil AI generatifnya. Jawapan yang berasaskan petikan carian mengurangkan masalah ini tetapi tidak menghapuskannya. OWASP menganggap kesan seterusnya, iaitu orang bertindak berdasarkan output yang salah, sebagai risiko tersendiri di bawah maklumat salah (misinformation) (membuka laman web luar).

Tetapkan ambang kerelevanan; di bawah ambang itu, sistem menyatakan bahawa ia tidak menemui sumber yang boleh dipercayai dan mencadangkan tempat lain untuk bertanya. Bagi soalan tentang dasar, hak atau kewajipan, jangan biarkan model mengisi jurang dengan pengetahuan umum. Kemudian jejaki kadar tiada jawapan mengikut topik. Dalam beberapa bulan pertama, senarai itu sering menjadi output paling berguna bagi keseluruhan projek: ia menunjukkan kepada pemilik kandungan tempat dokumentasi sebenarnya tiada.

06Seni bina di sebalik lima ciri ini

Semua ini tidak memerlukan teknologi yang luar biasa. Yang diperlukan ialah kebenaran akses, metadata dan semakan menjadi bahagian utama aliran pemprosesan, bukan ciri yang ditambah selepas demonstrasi.

Data peribadi memerlukan perhatian yang jelas. Indeks dokumen tetap merupakan pemprosesan data peribadi yang terkandung di dalamnya. Bagi organisasi yang tertakluk kepada GDPR, prinsip had tujuan dan pengurangan data (membuka laman web luar) (Perkara 5) terpakai. Bagi organisasi di Malaysia yang memproses data peribadi berkaitan transaksi komersial, Akta Perlindungan Data Peribadi 2010 (Akta 709) terpakai, termasuk prinsip keselamatan, yang sejak 1 April 2025 turut mengikat pemproses data. Tinggalkan sumber yang tidak diperlukan oleh kes penggunaan, pastikan pemadaman dalam sistem sumber sampai ke indeks, dan sertakan indeks itu apabila anda menjawab permintaan akses data.

07Kualiti yang diukur, sebelum dan selepas pelancaran

Sama ada sistem boleh dipercayai tidak dapat dinilai dengan mencuba beberapa soalan dalam mesyuarat. Persetujui kriteria kualiti dengan pemilik kandungan dan ukur setiap lapisan secara berasingan, supaya anda tahu lapisan mana yang perlu dibaiki.

Bina set ujian daripada soalan sebenar: log carian, tiket meja bantuan, soalan yang ditanya oleh pekerja baharu. Beberapa ratus soalan dengan jawapan yang dipersetujui oleh pemilik kandungan ialah permulaan yang praktikal. Sebagai contoh ilustrasi, bagi bank atau syarikat insurans, set itu boleh merangkumi soalan tentang prosedur operasi standard (SOP) dan pekeliling dalaman. Jalankan set penuh pada setiap perubahan, sama ada model baharu, strategi pemecahan dokumen yang baharu atau sumber baharu. Kualiti berubah secara senyap apabila kandungan berubah, dan hanya set ujian yang tetap menjadikan perubahan itu kelihatan.

08Rupa sistem yang boleh dipercayai bagi pengguna

Bagi pengguna, semua ini akhirnya menjadi beberapa tingkah laku yang dapat dilihat. Pembantu hanya menjawab daripada dokumen yang boleh mereka baca. Setiap dakwaan mempunyai rujukan yang boleh mereka buka. Mereka dapat melihat sejauh mana sesuatu sumber itu terkini. Mereka diberitahu dengan jelas apabila tiada jawapan yang boleh dipercayai. Dan mereka tahu ada pihak yang mengukur kualiti, kerana mereka boleh melaporkan jawapan yang salah dan melihatnya dibaiki.

Output AI masih boleh salah, dan sesetengah soalan wajar dijawab oleh manusia, bukan oleh carian. Mereka bentuk sistem yang mengakui perkara ini secara terbuka bukanlah kelemahan. Itulah yang membuatkan orang bersedia bergantung pada sistem itu untuk perkara selebihnya.