Langkau ke kandungan utama
FromNine
Menu

AI dan data

AI generatif yang kukuh dalam operasi.

Kami membina aplikasi AI generatif di atas pengetahuan dan data anda sendiri, dengan carian yang menghormati hak akses, penilaian yang menjadi syarat bagi setiap keluaran, serta kos, kualiti dan kependaman yang boleh anda lihat.

Untuk organisasi di Malaysia yang menjalankan satu platform AI merentas bahasa Melayu, bahasa Inggeris dan bahasa lain, serta merentas entiti di beberapa negara.

Bincangkan projek andaPengetahuan organisasi
Kejuruteraan AI dan AI generatif: susunan keupayaanEmpat lapisan bertindan mengikut kedalaman. Dari atas ke bawah: dapatan semula merentas sumber anda, gateway model, penilaian dan kawalan (guardrails), serta aplikasi yang digunakan oleh pengguna anda. Satu laluan bermula daripada sumber hingga ke aplikasi.01Carian merentas sumber anda02Gateway dan penghalaan model03Penilaian dan kawalan04Aplikasi dalam operasi
  1. 01Jawapan yang menyebut sumbernya dan menolak menjawab apabila bukti tiada
  2. 02Set data rujukan (golden set) dan syarat regresi yang dipersetujui dengan pasukan anda sebelum mula beroperasi
  3. 03Penghalaan model dan belanjawan yang memastikan kos dan kependaman setiap permintaan kelihatan

01 Masalah

Di mana AI generatif tersekat

Model jarang menjadi bahagian yang sukar. Yang menyekat kebanyakan program ialah semua perkara di sekelilingnya.

  1. 01

    Projek rintis mengagumkan, kemudian tiada siapa dapat menilai kualitinya

    Kualiti dinilai oleh beberapa orang yang mencuba beberapa soalan. Tiada set ujian, jadi setiap perubahan gesaan (prompt) atau naik taraf model ialah pertaruhan.

  2. 02

    Pembantu AI menunjukkan dokumen yang tidak sepatutnya dilihat

    Kandungan diindeks tanpa hak aksesnya. Pasukan keselamatan dan pegawai perlindungan data (DPO) menghentikan pelancaran, dan tindakan mereka itu wajar.

  3. 03

    Kos meningkat lebih cepat daripada penggunaan

    Setiap permintaan dihantar kepada model terbesar dengan konteks terpanjang. Tiada siapa tahu kos satu jawapan, jadi tiada siapa dapat mengurusnya.

  4. 04

    Jawapan kedengaran betul tetapi sebenarnya salah

    Carian memulangkan petikan yang hampir tepat, model mengisi jurangnya dengan lancar, dan pengguna hilang kepercayaan selepas kesilapan ketiga yang disampaikan dengan yakin.

02 Skop penyampaian

Apa yang kami sampaikan

  1. 01 Sistem dapatan semula dan pengetahuan organisasi

    Dapatan semula yang direka bagi setiap sumber: cara kandungan dihurai dan dipecahkan, cara carian leksikal dan vektor digabungkan, dan cara hak akses dibawa bersama setiap petikan. Asas bagi pembantu pengetahuan organisasi.

    Apa yang kami lakukan

    • Inventori sumber dengan pemilik, format dan model akses
    • Strategi pemecahan kandungan dan metadata bagi setiap jenis dokumen
    • Carian hibrid leksikal dan vektor dengan penyusunan semula kedudukan
    • Carian yang mematuhi kebenaran dan mewarisi hak akses sumber

    Apa yang anda terima

    • Saluran pengambilan data dengan pengesanan perubahan
    • Perkhidmatan carian dengan petikan sumber dan peraturan menolak menjawab
    • Laporan kualiti carian bagi setiap sumber

  2. 02 Strategi model tanpa terikat kepada pembekal

    Gateway model di antara aplikasi anda dan model, supaya anda boleh menghalakan permintaan mengikut tugas, beralih kepada alternatif apabila penyedia gagal dan menukar model apabila harga dan keupayaan berubah.

    Apa yang kami lakukan

    • Pilihan merentas model termaju yang dihoskan, pelaksanaan di rantau yang dipilih dan model berpemberat terbuka yang dihoskan sendiri
    • Penghalaan mengikut tugas, sensitiviti dan kos
    • Alternatif sandaran, had masa, cache dan had kadar
    • Terma pemprosesan data disemak bersama pasukan undang-undang dan keselamatan anda

    Apa yang anda terima

    • Gateway model dengan dasar penghalaan sebagai konfigurasi
    • Rekod keputusan model bagi setiap kes penggunaan
    • Belanjawan kos dan kependaman bagi setiap jenis permintaan

  3. 03 Penilaian sebagai disiplin kejuruteraan

    Kriteria kualiti dipersetujui dengan pemilik proses, kemudian dijadikan set ujian yang dijalankan pada setiap perubahan. Semakan yang dinilai oleh model ditentukur berbanding semakan manusia sebelum kami bergantung kepadanya.

    Apa yang kami lakukan

    • Set data rujukan bagi setiap kes penggunaan, dibina bersama pakar domain
    • Penilaian luar talian bagi carian dan penjanaan secara berasingan
    • Ujian pasukan merah bagi suntikan gesaan dan kebocoran data
    • Penilaian dalam talian daripada maklum balas pengeluaran dan semakan sampel

    Apa yang anda terima

    • Set penilaian dalam CI sebagai syarat keluaran
    • Kriteria kualiti yang diluluskan oleh pemilik perniagaan
    • Dapatan ujian pasukan merah dan langkah mitigasi

  4. 04 LLMOps dan kebolehcerapan

    Penjejakan daripada soalan kepada petikan yang diambil, panggilan model dan jawapan, dengan gesaan dan model diversikan seperti kod dan belanjawan dikuatkuasakan dalam operasi.

    Apa yang kami lakukan

    • Penjejakan dan pengelogan berstruktur bagi setiap permintaan
    • Pemversian gesaan, model dan indeks
    • Cache semantik dan tepat apabila selamat
    • Pemantauan hanyutan dan kualiti dengan amaran

    Apa yang anda terima

    • Papan pemuka bagi kualiti, kos dan kependaman
    • Panduan insiden bagi kegagalan khusus AI
    • Buku panduan bagi kemas kini model dan indeks

  5. 05 Tadbir urus melalui reka bentuk

    Apabila sistem anda digunakan di Kesatuan Eropah, kami mereka bentuk dengan mengambil kira Akta AI Kesatuan Eropah, daripada pengelasan risiko dan peranan anda sebagai penyedia (provider) atau pengguna sistem (deployer) hingga pengelogan, pengawasan manusia dan dokumentasi. Di Malaysia, Garis Panduan AIGE bersifat sukarela. Penilaian undang-undang kekal dengan penasihat undang-undang anda sendiri.

    Apa yang kami lakukan

    • Pengelasan kes penggunaan dan kewajipan mengikut peranan
    • Input kepada penilaian impak perlindungan data di bawah GDPR dan semakan prinsip PDPA
    • Reka bentuk pengelogan dan pengawasan manusia
    • Dokumentasi model dan sistem disimpan bersama kod

    Apa yang anda terima

    • Pakej dokumentasi sistem
    • Reka bentuk pengelogan dan penyimpanan
    • Prosedur pengawasan bagi setiap kes penggunaan

  6. 06 Penalaan halus dan pemahaman dokumen, apabila penilaian menunjukkan keperluannya

    Penalaan halus, penyulingan model dan pemahaman dokumen multimodal ialah alat bagi jurang tertentu. Kami menggunakannya apabila set penilaian menunjukkan bahawa dapatan semula dan gesaan tidak mencukupi, dan bukan sebelum itu.

    Apa yang kami lakukan

    • Analisis jurang daripada keputusan penilaian
    • Pelan penyediaan dan pelabelan data
    • Penyulingan kepada model yang lebih kecil bagi kos atau kependaman
    • Pengekstrakan yang memahami susun atur bagi dokumen imbasan dan kompleks

    Apa yang anda terima

    • Penilaian perbandingan sebelum dan selepas
    • Asal usul data latihan
    • Keputusan untuk mengekalkan, mengundurkan atau menamatkan

03 Seni bina

Seni bina rujukan ilustrasi

Kebanyakan sistem AI generatif perusahaan yang kami bina berkongsi satu bentuk: dapatan semula merentas sumber anda, gateway model, kawalan di kedua-dua belah model, dan gelung penilaian dan kebolehcerapan di bawahnya yang menentukan apa yang boleh mula beroperasi.

Penapis kebenaran berada di dalam lapisan carian, bukan di antara muka pengguna. Jika seseorang tidak boleh membuka dokumen dalam sistem sumber, petikannya tidak akan sampai kepada model bagi pihaknya.

Lapisan dalam lukisan

Sumber
Storan dokumen, wiki dan sistem perniagaan, serta penyedia identiti yang mengetahui siapa boleh melihat apa.
Carian
Pengambilan data, indeks hibrid, penyusunan semula kedudukan dan penapis kebenaran.
Model
Gateway yang menghala antara model dihoskan, model di rantau yang dipilih dan model yang dihoskan sendiri, dengan alternatif sandaran dan cache.
Aplikasi
Jawapan yang menyebut sumber, penolakan apabila bukti tiada, dan kawalan pada input dan output.
Kendalikan dan tambah baik
Set data rujukan, syarat regresi, jejak dan belanjawan. Jejak pengeluaran menjadi bahan bagi set ujian seterusnya.
Contoh ilustrasi

  1. Sumber

    • Storan dokumen dan wiki
    • Sistem perniagaan
    • Penyedia identiti

  2. Carian

    • Pengambilan dan pemecahan
    • Indeks hibrid
    • Penapis kebenaran
    • Carian dan penyusunan semula

  3. Model

    • Gateway model
    • Model dihoskan, serantau dan hos sendiri
    • Kawalan input dan output

  4. Aplikasi

    • Aplikasi dengan petikan sumber

  5. Kendalikan dan tambah baik

    • Set rujukan dan syarat regresi
    • Jejak, belanjawan kos dan kependaman
Dapatan semula, gateway model dan gelung penilaian

Seni bina ilustrasi, bukan sistem pelanggan.

Baca rajah dalam bentuk teks

Laluan utama bermula daripada storan dokumen, melalui pengambilan data, indeks hibrid, carian dengan penyusunan semula kedudukan dan gateway model, hingga ke aplikasi.

Sistem perniagaan juga menyalurkan data kepada pengambilan. Penyedia identiti menyalurkan maklumat kepada penapis kebenaran yang mengehadkan carian. Kawalan menyemak input dan output aplikasi. Gateway menghala kepada model termaju yang dihoskan, pelaksanaan di rantau yang dipilih dan model berpemberat terbuka yang dihoskan sendiri.

Di bawahnya terdapat set penilaian dengan set data rujukan dan syarat regresi, serta kebolehcerapan dengan jejak, belanjawan kos dan kependaman. Jejak pengeluaran disalurkan kepada set penilaian.

04 Pertimbangan dan had

Pertimbangan kejuruteraan dan had

  • Kualiti diukur, bukan dijanjikan

    Cara kami mengendalikannya

    Kami bersetuju tentang kriteria kualiti dengan pemilik proses anda dan menguji output AI berdasarkan kriteria itu sebelum dan selepas setiap keluaran.

    Carian dan penjanaan dinilai secara berasingan, supaya setiap kegagalan menunjukkan puncanya.

    Had dan kebergantungan

    Output AI boleh salah. Itulah sebabnya kami mereka bentuk langkah semakan bagi kes yang tidak pasti dan penolakan apabila bukti tiada.

    Set ujian hanya sebaik pakar yang membantu membinanya. Kami memerlukan masa mereka pada peringkat awal.

  • Kebenaran dibawa bersama kandungan

    Cara kami mengendalikannya

    Hak akses dirakam semasa pengambilan data dan dikuatkuasakan semasa pertanyaan berdasarkan penyedia identiti anda.

    Had dan kebergantungan

    Apabila sistem sumber menyimpan hak akses dengan cara yang tidak dapat dibaca dengan andal, kami meletakkan kandungan itu di luar skop sehingga ia boleh dibaca.

    Kandungan yang dikongsi terlalu luas dalam sumber kekal begitu. Carian menjadikannya lebih mudah ditemui, jadi pembersihan kadangkala menjadi langkah pertama.

  • Kos dan kependaman ialah input reka bentuk

    Cara kami mengendalikannya

    Setiap jenis permintaan diberi belanjawan. Penghalaan, cache dan saiz konteks dilaraskan mengikutnya, dan papan pemuka menunjukkan ke mana wang pergi.

    Had dan kebergantungan

    Harga dan had kadar penyedia berubah di luar kawalan anda. Gateway membolehkan anda bertindak balas, tetapi tidak dapat menghapuskan perubahan harga.

  • Model berubah tanpa anda sedari

    Cara kami mengendalikannya

    Model ditetapkan mengikut versi, dan setiap naik taraf menjalani set penilaian penuh sebelum sampai kepada pengguna.

    Had dan kebergantungan

    Model yang dihoskan kadangkala ditamatkan dengan notis singkat. Kami merancang alternatif bagi setiap kes penggunaan, dan pelan itu memerlukan kelulusan pemilik.

05 Cara kami bekerja

Cara kami bekerja

Urutan itu penting: kami memutuskan cara mengukur sebelum memutuskan apa yang hendak dibina.

  1. 01

    Rangka kes penggunaan

    Siapa yang menggunakannya, keputusan yang disokongnya, sumber yang boleh disentuhnya dan kos sesuatu jawapan yang salah.

    HasilRingkasan kes penggunaan dan pengelasan risiko

  2. 02

    Bina set data rujukan

    Soalan sebenar dan jawapan yang dijangka, dikumpul bersama pakar domain anda, termasuk soalan yang patut ditolak oleh sistem.

    HasilSet ujian berversi

  3. 03

    Utamakan kejuruteraan carian

    Pengambilan data, indeks dan penapis kebenaran, dilaraskan sehingga kualiti carian mencapai tahap yang dipersetujui.

    HasilLaporan kualiti carian

  4. 04

    Keluarkan melalui syarat penilaian

    Penjanaan, kawalan dan gateway hanya mula beroperasi apabila set penilaian lulus dalam CI.

    HasilKeluaran dengan bukti penilaian

  5. 05

    Kendalikan dan tambah baik

    Jejak, semakan sampel dan maklum balas pengguna menjadi bahan bagi set ujian dan keluaran seterusnya.

    HasilSemakan bulanan kualiti, kos dan kependaman

06 Kawalan manusia

Di mana manusia kekal memegang kawalan

AI generatif mendraf, mencari dan mencadangkan. Manusia memutuskan apa yang boleh dilihatnya, apa yang dikira baik dan apa yang berlaku apabila ia tidak pasti.

  • Pemilik meluluskan kualiti

    Pemilik perniagaan bagi setiap kes penggunaan meluluskan kriteria kualiti dan bukti keluaran, bukan pasukan penyampaian sahaja.

  • Jawapan yang tidak pasti dihantar kepada manusia

    Di bawah ambang keyakinan yang dipersetujui, sistem menolak menjawab atau menghantar soalan itu kepada pasukan yang dinamakan.

  • Akses kekal pada sumber

    Siapa yang boleh melihat sesuatu dokumen diputuskan dalam sistem sumber dan penyedia identiti anda, tidak sekali-kali di dalam lapisan AI.

  • Maklum balas mengubah sistem

    Pengguna boleh menanda jawapan. Tanda itu disemak oleh manusia, dan kegagalan yang disahkan menjadi kes ujian.

07 Teknologi

Teknologi yang kami gunakan

Dapatan semula
  • OpenSearch dan Elasticsearch
  • PostgreSQL dengan pgvector
  • Azure AI Search
  • Penyusun semula kedudukan cross-encoder
Model
  • Model termaju yang dihoskan
  • Perkhidmatan model terurus di rantau pilihan
  • Model berpemberat terbuka pada vLLM
  • Model embedding bagi setiap bahasa
Penilaian dan operasi
  • Penjejakan OpenTelemetry
  • Set penilaian berasaskan CI
  • Daftar gesaan dan model
  • Langfuse atau yang setara
Aplikasi
  • Perkhidmatan TypeScript dan Python
  • API penstriman
  • Portal sedia ada, antara muka Salesforce, SAP dan Odoo

Penyenaraian sesuatu teknologi menggambarkan pengalaman kejuruteraan kami. Ia tidak membayangkan perkongsian dengan, atau sokongan daripada, pembekalnya.

08 Contoh

Contoh ilustrasi

Contoh ilustrasi

Pembantu dasar dan peraturan bagi sebuah bank

01Situasi
Dasar dalaman sebuah bank ditulis dalam bahasa Inggeris, manakala prosedur cawangan dan pekeliling dalaman ditulis dalam bahasa Melayu atau Inggeris. Kakitangan bertanya soalan yang sama dalam dua bahasa dan mendapat jawapan yang berbeza.
02Apa yang akan kami bina
Carian dwibahasa merentas dasar dalaman, prosedur dan dokumen polisi Bank Negara Malaysia yang berkaitan, dengan hak akses diwarisi daripada setiap repositori dan jawapan yang menyebut teks yang menjadi rujukan.
03Di mana manusia memutuskan
Pemilik dasar di bahagian pematuhan meluluskan set ujian bagi setiap bahasa dan meluluskan keluaran yang mengubah jawapan.
04Apa yang akan kami ukur
Bahagian jawapan yang menyebut dokumen rujukan yang betul, kadar penolakan bagi soalan di luar skop, dan kos setiap jawapan mengikut bahasa.

09 Sektor

Dalam sektor anda

  • Sektor awam

    Pembantu bagi pegawai dan orang awam yang menyebut sumber undang-undang atau pekeliling, berfungsi dalam bahasa Melayu dan bahasa Inggeris, dan merekodkan apa yang diambil untuk siapa.

  • Perkhidmatan kewangan

    Pembantu dasar dan prosedur dengan hak akses yang ketat, kebolehkesanan penuh dan dokumentasi risiko model yang boleh disemak oleh barisan pertahanan kedua anda.

  • Penjagaan kesihatan dan sains hayat

    Carian merentas protokol dan dokumentasi produk dengan had yang jelas: tiada keputusan klinikal, dan data peribadi sensitif seperti data kesihatan disimpan dalam persekitaran yang diluluskan.

Malaysia

Beberapa bahasa, satu piawaian penilaian

Di banyak organisasi di Malaysia, dasar ditulis dalam bahasa Inggeris manakala pekeliling, borang dan soalan pelanggan datang dalam bahasa Melayu, dan kadangkala dalam bahasa lain. Data peribadi dalam dokumen dan soalan yang diproses berkaitan transaksi komersial tertakluk kepada Akta Perlindungan Data Peribadi 2010 (PDPA). Garis Panduan Tadbir Urus dan Etika Kecerdasan Buatan (AIGE) daripada MOSTI bersifat sukarela, manakala Akta AI Kesatuan Eropah boleh terpakai apabila output sistem AI anda digunakan di Kesatuan Eropah.

Kami mereka bentuk untuk keadaan ini sejak peringkat penemuan: carian dan penilaian bagi setiap bahasa, lokasi data yang ditetapkan bagi setiap kes penggunaan, serta pengelogan dan dokumentasi yang menjawab soalan setiap pihak tanpa sistem berasingan bagi setiap negara.

Soalan tentang kejuruteraan AI

Model manakah yang anda syorkan?

Bergantung pada tugas, data yang terlibat dan keperluan pengehosan anda. Kami biasanya menggabungkan model: model berkeupayaan tinggi bagi langkah yang memerlukan penaakulan, model yang lebih kecil atau dihoskan sendiri bagi pengelasan dan pengekstrakan, dan pelaksanaan di rantau tertentu apabila data mesti kekal di lokasi yang dipersetujui.

Gateway memastikan pilihan itu boleh diubah, jadi jawapannya boleh berubah apabila model dan harga berubah.

Setepat manakah sistem ini?

Kami tidak menyatakan ketepatan sebelum mengukurnya pada data anda. Kami bersetuju tentang kriteria kualiti dengan anda, membina set ujian, dan melaporkan keputusan berdasarkannya sebelum mula beroperasi dan selepas setiap perubahan.

Model membuat kesilapan, jadi reka bentuk sentiasa merangkumi apa yang berlaku apabila kesilapan berlaku: penolakan, langkah semakan dan laluan kepada manusia.

Adakah data kami akan digunakan untuk melatih model pihak lain?

Tidak dalam seni bina yang kami reka bentuk. Kami memilih perkhidmatan model yang termanya mengecualikan latihan menggunakan input anda, atau mengehoskan model sendiri dalam persekitaran anda, dan kami mendokumenkan pilihan itu bagi setiap kes penggunaan bersama pasukan keselamatan anda.

Adakah Akta AI Kesatuan Eropah terpakai kepada kes penggunaan kami?

Bagi organisasi di Malaysia, akta itu boleh terpakai apabila anda meletakkan sistem AI di pasaran EU, atau apabila output sistem AI digunakan di EU. Kami membantu anda memahami kewajipan yang mungkin terpakai, berdasarkan kes penggunaan dan peranan anda sebagai penyedia (provider) atau pengguna sistem (deployer), dan kami mereka bentuk pengelogan, pengawasan dan dokumentasi yang sepadan, supaya penasihat undang-undang anda mempunyai fakta untuk membuat kesimpulan.

Bagaimanakah anda mengendalikan keselamatan dan data sensitif?

FromNine diperakui ISO/IEC 27001. Sempadan akses, lokasi data dan tempoh penyimpanan dipersetujui sebelum kami membina, dan ujian pasukan merah bagi suntikan gesaan dan kebocoran data ialah sebahagian daripada proses keluaran yang kami sediakan.

Apakah langkah pertama yang munasabah?

Satu kes penggunaan dengan pemilik yang jelas, set sumber yang terhad dan set ujian yang dibina bersama pakar anda. Ini memberi anda sistem yang berfungsi dan bukti tentang kualiti, kos dan kependaman, iaitu apa yang diperlukan bagi keputusan pelaburan seterusnya.

Bawa satu kes penggunaan dan soalan yang paling sukar

Kami akan menunjukkan cara kami akan mengukurnya sebelum kita berbincang tentang membinanya.

Bincangkan projek andaPengetahuan organisasi