Mur għall-kontenut ewlieni
FromNine
Menu

AI u data

Data li l-AI u d-deċiżjonijiet jistgħu jistrieħu fuqha.

Nibnu pjattaformi tad-data fejn kull sett ta’ data għandu sid, kuntratt u kwalità magħrufa, biex l-analitika, l-operazzjonijiet u l-AI kollha jużaw l-istess numri fdati.

Għal organizzazzjonijiet f’Malta li jeħtieġu stampa waħda u fdata ta’ data mifruxa fuq entitajiet, pajjiżi u sistemi qodma.

Kellimna dwar il-proġettAra Aċċess għall-għarfien
Data u analitika: is-saffi tal-kapaċitàErba’ saffi wieħed fuq l-ieħor. Minn fuq għal isfel: l-analitika u l-AI li jużaw id-data, il-prodotti tad-data b’sidien u kuntratti, is-saffi tal-lakehouse li jnaddfu u jarmonizzaw id-data, u l-governanza fuq kollox.01Użu fl-analitika u fl-AI02Prodotti tad-data u kuntratti03Saffi tal-lakehouse04Governanza u oriġini tad-data
  1. 01Prodotti tad-data b’sidien maħtura, kuntratti u kontrolli tal-kwalità
  2. 02Governanza li tapplika l-limitazzjoni tal-għan u ż-żamma tad-data, mhux katalgu biss
  3. 03Sett wieħed ta’ definizzjonijiet tal-KPIs li jiffirmaw kemm in-negozju kif ukoll l-IT

01 Problemi

Problemi tad-data li tagħrafhom

Il-biċċa l-kbira tal-proġetti tal-AI li jiddiżappuntaw jirriżultaw li huma proġetti tad-data moħbija.

  1. 01

    Tliet rapporti, tliet numri differenti

    Il-finanzi, l-operazzjonijiet u l-bord jikkalkulaw id-dħul jew l-għadd ta’ każijiet kull wieħed b’mod differenti. Il-laqgħat jibdew billi jqabblu n-numri minflok ma jiddeċiedu.

  2. 02

    Ħadd mhu sid tad-data, u għalhekk ħadd ma jirranġaha

    L-iżbalji jinstabu aktar ’il quddiem, jiġu kkoreġuti fi spreadsheet u jerġgħu jitfaċċaw ix-xahar ta’ wara.

  3. 03

    It-tim tal-AI jqatta’ ħafna mill-ħin ifittex id-data

    Kull użu jibda b’ġimgħat ta’ talbiet għall-aċċess, estrazzjonijiet u tindif li t-tim li jmiss se jerġa’ jagħmel.

  4. 04

    L-arkivji ma jservux għall-AI

    Dokumenti skenjati b’OCR fqir, duplikati u l-ebda metadata. It-tfittxija fihom iġġib biss storbju.

02 X’nagħtu

X’nagħtu

  1. 01 Pedamenti tad-data għall-AI u għall-analitika

    Arkitetturi lakehouse b’mudellar f’saffi, mid-data kif tasal għal data armonizzata u lesta għall-użu, u prodotti tad-data li jippubblikaw x’fihom, kemm hi aġġornata d-data u min hu responsabbli għaliha.

    X’nagħmlu

    • Arkitettura tal-pjattaforma u għażla tal-formati tal-ħażna
    • Konvenzjonijiet tal-mudellar f’saffi
    • Disinn tal-prodotti tad-data b’kuntratti
    • Dħul tad-data f’lottijiet u b’change data capture

    X’tirċievi

    • Pjattaforma lakehouse definita fil-kodiċi
    • L-ewwel prodotti tad-data fil-produzzjoni
    • Mudell ta’ kuntratt tad-data u proċess ta’ rieżami

  2. 02 Kwalità, oriġini tad-data u data ewlenija

    Kontrolli awtomatiċi tal-kwalità f’kull saff, l-oriġini tad-data mis-sors sar-rapport, u data ewlenija u ta’ referenza għall-entitajiet li jgħoddu: ċittadini, klijenti, prodotti u assi.

    X’nagħmlu

    • Regoli tal-kwalità b’limiti u allerti
    • Qbid tal-oriġini tad-data sal-livell tal-kolonna
    • Regoli għat-tqabbil u l-għażla tad-data ewlenija
    • Ġestjoni tad-data ta’ referenza

    X’tirċievi

    • Dashboard tal-kwalità għal kull prodott tad-data
    • Oriġini tad-data li tista’ tfittex fiha
    • Rekords ewlenin għall-entitajiet prijoritarji

  3. 03 Governanza li tiġi applikata

    Katalgu, klassifikazzjoni u politiki tal-aċċess li l-pjattaforma tapplika waħedha. Il-limitazzjoni tal-għan u ż-żamma tad-data taħt il-GDPR huma mibnija fis-sistema, u l-qsim tad-data jsegwi r-regoli tal-Att dwar il-Governanza tad-Data fejn japplika.

    X’nagħmlu

    • Skema ta’ klassifikazzjoni u tikkettar
    • Politiki tal-aċċess ibbażati fuq l-attributi
    • Awtomazzjoni taż-żamma u tat-tħassir
    • Ftehimiet għall-qsim tad-data u kontrolli tekniċi

    X’tirċievi

    • Katalgu mimli mill-pjattaforma
    • Politiki tal-aċċess bħala kodiċi
    • Skeda taż-żamma tad-data fit-tħaddim

  4. 04 Kontenut mhux strutturat lest għall-AI

    Titjib fil-kwalità tal-OCR, arrikkiment tal-metadata, tneħħija tad-duplikati u tindif tal-arkivji, biex is-soluzzjoni Ipproċessar tad-dokumenti u s-sistemi tat-tfittxija jibdew minn kontenut li jiswa jinstab.

    X’nagħmlu

    • Inventarju tal-kontenut u kampjuni tal-kwalità
    • Titjib fl-OCR u fl-estrazzjoni tat-tqassim
    • Sejba ta’ dokumenti kważi duplikati
    • Arrikkiment tal-metadata u klassifikazzjoni

    X’tirċievi

    • Ħażna tal-kontenut imnaddfa u arrikkita
    • Rapport tal-kwalità tal-kontenut
    • Regoli għall-kontenut li jiżdied minn issa ’l quddiem

  5. 05 Analitika u BI li n-nies jużaw

    Saff semantiku b’definizzjonijiet tal-KPIs miftiehma bejn in-negozju u l-IT, self-service b’regoli ċari u analitika integrata fi prodotti SaaS u portali.

    X’nagħmlu

    • Workshops għad-definizzjoni tal-KPIs
    • Mudell semantiku u saff tal-metriċi
    • Regoli għas-self-service u settijiet ta’ data ċċertifikati
    • Analitika integrata għal prodotti li jużaw il-klijenti

    X’tirċievi

    • Glossarju tal-KPIs bis-sidien
    • Mudell semantiku ċċertifikat
    • Dashboards li jieħdu post l-ispreadsheets

  6. 06 Streaming għall-użu operattiv

    Change data capture u flussi ta’ avvenimenti fejn id-deċiżjonijiet ma jistgħux jistennew it-tagħbija ta’ matul il-lejl: livelli tal-istokk, status tal-każijiet, sinjali ta’ frodi.

    X’nagħmlu

    • Rekwiżiti tal-latenza għal kull użu
    • CDC mid-databases operattivi
    • Ipproċessar tal-flussi u views materjalizzati
    • Disinn għar-riproduzzjoni u għall-mili mill-ġdid tad-data

    X’tirċievi

    • Pipelines tal-istreaming fil-produzzjoni
    • Views operattivi b’miri ta’ aġġornament
    • Proċedura għar-riproduzzjoni

03 Arkitettura

Arkitettura ta’ referenza illustrattiva

Id-data tgħaddi mis-sistemi operattivi u mid-dokumenti, permezz tad-dħul, għal lakehouse f’saffi: id-data kif waslet, imbagħad data armonizzata u ċċekkjata għall-kwalità, imbagħad prodotti tad-data b’sid u kuntratt. Min juża d-data qatt ma jaqra d-data mhux ipproċessata.

Mill-prodotti tad-data, rotta waħda titma’ s-saff semantiku u l-BI; oħrajn jitimgħu t-tfittxija u l-features tal-AI, u l-API tad-data għal sistemi oħra. Il-governanza tinsab taħt kollox u tapplikaha l-pjattaforma, mhux dokument tal-politika.

Eżempju illustrattiv

  1. Sorsi u dħul

    • Sistemi operattivi
    • Dokumenti wara l-OCR u l-arrikkiment
    • Dħul f’lottijiet u CDC

  2. Lakehouse

    • Saff tad-data kif waslet
    • Saff armonizzat
    • Kontrolli tal-kwalità u oriġini tad-data
    • Data ewlenija u ta’ referenza
    • Prodotti tad-data b’kuntratti

  3. Użu

    • Saff semantiku u BI
    • Tfittxija u features tal-AI
    • API tad-data u qsim

  4. Governanza

    • Governanza: katalgu, klassifikazzjoni, politiki tal-aċċess, żamma
Saffi tal-lakehouse sa prodotti tad-data b’sid

Arkitettura illustrattiva, mhux sistema ta’ klijent.

Aqra d-dijagramma bħala test

Ir-rotta ewlenija tgħaddi mis-sistemi operattivi, permezz tad-dħul f’lottijiet u b’change data capture, saff tad-data kif waslet, saff armonizzat u l-prodotti tad-data, sa saff semantiku b’BI rregolat.

Id-dokumenti mhux strutturati wkoll jidħlu permezz tad-dħul, wara l-OCR u l-arrikkiment. Il-kontrolli tal-kwalità u l-oriġini tad-data jkopru s-saff tad-data kif waslet u s-saff armonizzat. Id-data ewlenija u ta’ referenza titma’ l-prodotti tad-data. Il-prodotti tad-data jservu wkoll it-tfittxija u l-features tal-AI, u l-API tad-data għall-qsim.

Faxxa tal-governanza b’katalgu, klassifikazzjoni, politiki tal-aċċess u żamma tad-data tkopri l-pjattaforma kollha.

04 Kunsideraz­zjonijiet u limiti

Kunsiderazzjonijiet tal-inġinerija u limiti

  • Is-sjieda qabel l-għodod

    Kif nittrattawha

    Kull prodott tad-data jkollu sid min-naħa tan-negozju li jiddeċiedi xi tfisser id-data, u sid tekniku li jżommu għaddej. Ngħinu niddefinixxu ż-żewġ rwoli u l-kuntratt bejn min jipproduċi d-data u min jużaha.

    Limiti u dipendenzi

    Pjattaforma ma toħloqx is-sjieda. Jekk l-organizzazzjoni ma taħtarx sidien, il-problemi tal-kwalità jerġgħu lura, ikunu x’ikunu l-għodod.

  • Il-limitazzjoni tal-għan fil-prattika

    Kif nittrattawha

    Id-data personali tiġi ttikkettata bl-għanijiet li tista’ sservi, u l-politiki tal-aċċess u ż-żamma jsegwu dawk it-tikketti awtomatikament.

    Limiti u dipendenzi

    Liema għanijiet huma legali hija deċiżjoni tal-uffiċjal tal-protezzjoni tad-data u tal-konsulent legali tiegħek. Aħna nimplimentawha; ma niddeċiduhiex.

  • Id-data għall-AI għandha l-livell tal-kwalità tagħha

    Kif nittrattawha

    Għall-użi tal-AI inkejlu dak li jeħtieġu t-tfittxija u l-mudelli: kopertura, kemm hi aġġornata d-data, duplikati u l-kwalità tal-estrazzjoni tat-test.

    Limiti u dipendenzi

    Xi arkivji ma jiswewx it-tiswija. Valutazzjoni bbażata fuq kampjuni tgħidlek, u xi drabi t-tweġiba t-tajba hija li jitħallew barra.

05 Kif naħdmu

Kif naħdmu

Nibnu l-pjattaforma madwar l-ewwel prodotti tad-data li jgħoddu, mhux bil-maqlub.

  1. 01

    Deċiżjonijiet, mhux settijiet ta’ data

    Nibdew minn żewġ jew tliet deċiżjonijiet jew użi tal-AI u d-data li jeħtieġu, bis-sidien maħtura.

    RiżultatLista ta’ prodotti tad-data bis-sidien

  2. 02

    Pedamenti madwarhom

    Pjattaforma, dħul tad-data, kontrolli tal-kwalità u governanza, biżżejjed biex dawk il-prodotti jaħdmu sew.

    RiżultatL-ewwel prodotti tad-data fil-produzzjoni

  3. 03

    Tkabbir prodott b’prodott

    Kull prodott ġdid jerġa’ juża l-pedament; il-katalgu u l-glossarju tal-KPIs jikbru miegħu.

    RiżultatPjan tal-prodotti u miżuri tal-adozzjoni

06 Kontroll mill-bniedem

Fejn in-nies iżommu l-kontroll

Il-pjattaformi tad-data jawtomatizzaw il-moviment u l-kontrolli. In-nies jiddeċiedu t-tifsira, l-aċċess u l-għan.

  • Is-sidien japprovaw id-definizzjonijiet

    KPI jew prodott tad-data jibdel it-tifsira tiegħu biss meta japprova s-sid tan-negozju, u l-bidla tiġi verżjonata.

  • L-aċċess jagħtuh is-sidien tal-politika

    Is-sidien tad-data jiddeċiedu min jista’ juża liema data u għal liema għan; il-pjattaforma tapplika d-deċiżjoni u tirreġistra kull permess mogħti.

  • Ksur tal-kwalità jwaqqaf il-linja

    Meta kontroll tal-kuntratt ifalli, min juża d-data jiġi infurmat u s-sid jiddeċiedi jekk jippubblikax, iżommx lura jew jikkoreġix.

07 Teknoloġiji

Teknoloġiji li naħdmu bihom

Pjattaformi
  • Databricks
  • Microsoft Fabric
  • Snowflake
  • Lakehouse miftuħ fuq Apache Iceberg jew Delta Lake
Pipelines
  • dbt
  • Apache Spark
  • Kafka u Debezium
  • Orkestrazzjoni nattiva tal-cloud
Governanza
  • Unity Catalog u Purview
  • Katalgi open source
  • Oqfsa għall-kwalità tad-data
  • Kontroll tal-aċċess ibbażat fuq politiki
Analitika
  • Power BI
  • Saffi semantiċi u tal-metriċi
  • Analitika integrata
  • Analitika ta’ SAP (ambjenti eżistenti)

Meta nsemmu teknoloġija, qed niddeskrivu l-esperjenza tagħna fl-inġinerija. Dan ma jfissirx sħubija mal-fornitur tagħha jew approvazzjoni minnu.

08 Eżempju

Eżempju illustrattiv

Eżempju illustrattiv

KPIs komuni għall-proprjetajiet ta’ grupp ta’ lukandi

01Sitwazzjoni
Grupp ta’ lukandi għandu diversi proprjetajiet, kull waħda b’sistema tar-riservazzjonijiet u b’rapporti tagħha. L-okkupazzjoni u d-dħul għal kull kamra jiġu kkalkulati b’modi differenti, u l-maniġment iqabbel numri li ma jfissrux l-istess ħaġa.
02X’nibnu
Prodotti tad-data armonizzati għal kull proprjetà li jitimgħu saff semantiku wieħed, b’definizzjonijiet tal-KPIs miftiehma fil-livell tal-grupp u bid-dettall lokali ppreservat.
03Fejn jiddeċiedi l-bniedem
Il-kontrolluri ta’ kull proprjetà japprovaw il-mapping tad-data tagħhom; is-sid tal-KPIs tal-grupp japprova d-definizzjonijiet u l-bidliet.
04X’inkejlu
Ħin biex jinħareġ ir-rapport ta’ kull xahar, numru ta’ korrezzjonijiet fit-tqabbil tan-numri, u użu tad-dashboards iċċertifikati.

09 Is-settur tiegħek

Fis-settur tiegħek

  • Saħħa u xjenzi tal-ħajja

    Data tal-produzzjoni, tal-lottijiet u tal-kwalità għal manifatturi farmaċewtiċi, u data operattiva għal kliniki privati, b’limitazzjoni stretta tal-għan, psewdonimizzazzjoni u reġistrazzjoni tal-aċċess.

  • Manifattura

    Data ewlenija tal-prodotti u tal-assi, flimkien ma’ data tal-kwalità u tal-produzzjoni, magħquda għall-ippjanar, għat-traċċabbiltà u għall-AI.

  • Settur pubbliku

    Sorsi awtentiċi, użu tad-data skont il-prinċipju ta’ darba biss, u rapporti li dawk li jfasslu l-politika u l-awdituri jistgħu jsegwu lura sar-rekord.

Malta

Data li taqsam il-fruntieri

Gruppi b’kumpaniji f’Malta u f’pajjiżi oħra tal-UE jaqsmu d-data taħt regoli li jixbhu lil xulxin iżda mhumiex l-istess. Il-GDPR jistabbilixxi qafas wieħed għad-data personali, u f’Malta l-awtorità superviżorja hija l-IDPC, il-Kummissarju għall-Informazzjoni u l-Protezzjoni tad-Data. L-Att dwar id-Data jagħti lill-utenti drittijiet fuq id-data minn prodotti konnessi u minn servizzi relatati.

Niddisinjaw prodotti tad-data li l-kuntratti tagħhom jgħidu fejn tista’ tiġi pproċessata d-data, għal liema għanijiet u għal kemm żmien, biex il-pjattaforma tkun tista’ tapplika r-regola t-tajba għal kull pajjiż u entità mingħajr kopji separati tad-data.

Mistoqsijiet dwar id-data u l-analitika

Għandna bżonn data mesh?

Għandek bżonn il-partijiet utli tiegħu: prodotti tad-data b’sidien u kuntratti. Id-deċentralizzazzjoni sħiħa tħallas f’organizzazzjonijiet kbar b’timijiet tad-dominju maturi. Ħafna organizzazzjonijiet jaħdmu aħjar b’tim ċentrali tal-pjattaforma u bis-sjieda tal-prodotti fid-dipartimenti.

Id-data tagħna lesta għall-AI?

Valutazzjoni qasira, ibbażata fuq kampjuni tas-sorsi li jeħtieġ użu partikolari, tgħidlek: kopertura, kwalità, drittijiet tal-aċċess u bażi legali. Normalment it-tweġiba hija “parzjalment”, b’lista ċara ta’ x’għandu jissewwa l-ewwel. It-timijiet tagħna ta’ Inġinerija tal-AI u GenAI jużaw l-istess valutazzjoni.

Diġà għandna data warehouse. Irridu nibdew mill-ġdid?

Rarament. Data warehouse li jagħti rapporti fdati huwa assi. Normalment inżidulu kapaċitajiet lakehouse għal data mhux strutturata u ta’ volum għoli, u nimigraw biss fejn l-ispiża jew il-limiti jiġġustifikaw dan.

Kif taqsam data ma’ sħab jew ma’ awtoritajiet oħra?

Permezz ta’ prodotti tad-data esposti b’API rregolati, bi ftehimiet, limitazzjoni tal-għan u reġistrazzjoni fis-seħħ. Fejn japplikaw l-Att dwar il-Governanza tad-Data jew l-Att dwar id-Data, niddisinjaw il-kontrolli tekniċi skonthom.

Semmi d-deċiżjoni li ma tistax tieħu bid-data tal-lum

Insegwu dak li teħtieġ lura sas-sorsi u nuruk x’jeħtieġ l-ewwel prodott tad-data.

Kellimna dwar il-proġettIpproċessar tad-dokumenti