Siirry pääsisältöön
FromNine
Valikko

Tekoäly & data

Dataa, johon tekoäly ja päätöksenteko voivat luottaa.

Rakennamme data-alustoja, joissa jokaisella tietoaineistolla on omistaja, sopimus ja tunnettu laatu. Näin analytiikka, operatiivinen toiminta ja tekoäly käyttävät samoja luotettavia lukuja.

Organisaatioille, jotka tarvitsevat yhden luotettavan näkymän dataan, joka on hajallaan yhtiöissä, maissa ja vanhoissa järjestelmissä.

Keskustellaan projektistasiOrganisaation tietämys
Data & analytiikka: osaamisen kerroksetNeljä kerrosta päällekkäin syvyyssuunnassa. Ylhäältä alas: dataa käyttävä analytiikka ja tekoäly, datatuotteet omistajineen ja sopimuksineen, lakehouse-kerrokset, jotka puhdistavat ja yhdenmukaistavat datan, sekä kaiken kattava tiedonhallinta.01Analytiikka ja tekoäly02Datatuotteet ja sopimukset03Lakehouse-kerrokset04Tiedonhallinta ja alkuperä
  1. 01Datatuotteet, joilla on nimetyt omistajat, sopimukset ja laatutarkistukset
  2. 02Tiedonhallinta, joka toteuttaa käyttötarkoitussidonnaisuuden ja säilytysajat eikä jää pelkäksi luetteloksi
  3. 03Yhdet tunnuslukujen määritelmät, jotka sekä liiketoiminta että IT hyväksyvät

01 Ongelmat

Tutut dataongelmat

Useimmat pettymyksen tuottaneet tekoälyhankkeet osoittautuvat valepukuisiksi datahankkeiksi.

  1. 01

    Kolme raporttia, kolme eri lukua

    Talous, operatiivinen toiminta ja johto laskevat liikevaihdon tai käsittelymäärät kukin omalla tavallaan. Kokoukset alkavat lukujen täsmäyttämisellä eivätkä päätöksillä.

  2. 02

    Kukaan ei omista dataa, joten kukaan ei korjaa sitä

    Virheet löytyvät vasta myöhemmistä vaiheista, ne korjataan taulukkoon, ja ne palaavat seuraavassa kuussa.

  3. 03

    Tekoälytiimi käyttää suurimman osan ajastaan datan etsimiseen

    Jokainen käyttötapaus alkaa viikkojen käyttöoikeuspyynnöillä, poiminnoilla ja puhdistuksella, jotka seuraava tiimi toistaa.

  4. 04

    Arkistot ovat tekoälylle käyttökelvottomia

    Skannattuja asiakirjoja huonolla tekstintunnistuksella, kaksoiskappaleita, ei metatietoja. Niistä haettaessa tulos on kohinaa.

02 Toimitukset

Mitä toimitamme

  1. 01 Dataperusta tekoälylle ja analytiikalle

    Lakehouse-arkkitehtuurit kerroksittaisella mallinnuksella raakadatasta yhdenmukaistettuun ja käyttövalmiiseen sekä datatuotteet, jotka kertovat, mitä ne sisältävät, kuinka tuoreita ne ovat ja kuka niistä vastaa.

    Mitä teemme

    • Alustan arkkitehtuuri ja tallennusmuotojen valinta
    • Kerroksittaisen mallinnuksen käytännöt
    • Datatuotteiden suunnittelu sopimuksineen
    • Eräsiirrot ja muutostiedon kaappaus

    Mitä saat

    • Koodina määritelty lakehouse-alusta
    • Ensimmäiset datatuotteet tuotannossa
    • Datasopimuksen pohja ja tarkistusprosessi

  2. 02 Laatu, alkuperä ja perustiedot

    Automaattiset laatutarkistukset jokaisessa kerroksessa, alkuperätiedot lähteestä raporttiin sekä perus- ja viitetiedot tärkeimmille kohteille: kansalaisille, asiakkaille, tuotteille ja omaisuuserille.

    Mitä teemme

    • Laatusäännöt raja-arvoineen ja hälytyksineen
    • Sarakekohtaisten alkuperätietojen keruu
    • Perustietojen yhdistämis- ja säilymissäännöt
    • Viitetietojen hallinta

    Mitä saat

    • Laatunäkymä datatuotteittain
    • Alkuperätiedot, joita voi kysellä
    • Kultaiset tietueet tärkeimmille kohteille

  3. 03 Tiedonhallinta, joka toteutuu

    Tietoluettelo, luokittelu ja käyttöoikeussäännöt, joita alusta soveltaa automaattisesti. Tietosuoja-asetuksen käyttötarkoitussidonnaisuus ja säilytysajat on koodattu, ja datan jakaminen noudattaa datanhallinta-asetuksen sääntöjä siellä, missä sitä sovelletaan.

    Mitä teemme

    • Luokittelumalli ja tunnisteet
    • Ominaisuuksiin perustuvat käyttöoikeussäännöt
    • Säilytyksen ja poiston automatisointi
    • Datan jakamisen sopimukset ja tekniset hallintakeinot

    Mitä saat

    • Alustasta täytetty tietoluettelo
    • Käyttöoikeussäännöt koodina
    • Käytössä oleva säilytysaikataulu

  4. 04 Rakenteeton sisältö valmiiksi tekoälylle

    Tekstintunnistuksen laadun parantaminen, metatietojen rikastaminen, kaksoiskappaleiden poisto ja arkistojen siivous, jotta asiakirjojen käsittely ja tiedonhakujärjestelmät lähtevät liikkeelle sisällöstä, jota kannattaa hakea.

    Mitä teemme

    • Sisältöinventaario ja laadun otantatarkastus
    • Tekstintunnistuksen ja asettelun poiminnan parannukset
    • Lähes identtisten kaksoiskappaleiden tunnistus
    • Metatietojen rikastaminen ja luokittelu

    Mitä saat

    • Puhdistettu ja rikastettu sisältövarasto
    • Sisällön laaturaportti
    • Säännöt tästä eteenpäin lisättävälle sisällölle

  5. 05 Analytiikka ja raportointi, jota käytetään

    Semanttinen kerros, jonka tunnuslukujen määritelmistä liiketoiminta ja IT ovat sopineet, hallittu itsepalvelu ja SaaS-tuotteisiin ja portaaleihin upotettu analytiikka.

    Mitä teemme

    • Tunnuslukujen määrittelytyöpajat
    • Semanttinen malli ja mittarikerros
    • Itsepalvelun reunaehdot ja sertifioidut tietoaineistot
    • Upotettu analytiikka asiakkaille näkyviin tuotteisiin

    Mitä saat

    • Tunnuslukusanasto omistajineen
    • Sertifioitu semanttinen malli
    • Näkymät, jotka korvaavat taulukot

  6. 06 Tietovirrat operatiiviseen käyttöön

    Muutostiedon kaappaus ja tapahtumavirrat siellä, missä päätökset eivät voi odottaa yöllistä latausta: varastosaldot, asioiden tila, petossignaalit.

    Mitä teemme

    • Viivevaatimukset käyttötapauksittain
    • Muutostiedon kaappaus operatiivisista tietokannoista
    • Virtakäsittely ja materialisoidut näkymät
    • Uudelleentoiston ja jälkikäteisen täytön suunnittelu

    Mitä saat

    • Tietovirtaputket tuotannossa
    • Operatiiviset näkymät tuoreustavoitteineen
    • Uudelleentoiston menettely

03 Arkkitehtuuri

Havainnollistava viitearkkitehtuuri

Data kulkee operatiivisista järjestelmistä ja asiakirjoista tiedonsiirron kautta kerroksittaiseen lakehouseen: ensin raakadatana sellaisenaan, sitten yhdenmukaistettuna ja laatutarkistettuna ja lopuksi datatuotteina, joilla on omistaja ja sopimus. Käyttäjät eivät koskaan lue raakadataa.

Datatuotteista yksi reitti syöttää semanttista kerrosta ja raportointia, muut syöttävät tekoälyn tiedonhakua ja piirteitä sekä datarajapintoja muille järjestelmille. Tiedonhallinta on kaiken pohjalla, ja sitä soveltaa alusta, ei toimintaohjeasiakirja.

Havainnollistava esimerkki

  1. Lähteet ja tiedonsiirto

    • Operatiiviset järjestelmät
    • Asiakirjat tekstintunnistuksen ja rikastamisen jälkeen
    • Eräsiirto ja muutostiedon kaappaus

  2. Lakehouse

    • Raakakerros
    • Yhdenmukaistettu kerros
    • Laatutarkistukset ja alkuperä
    • Perus- ja viitetiedot
    • Datatuotteet sopimuksineen

  3. Käyttö

    • Semanttinen kerros ja raportointi
    • Tekoälyn tiedonhaku ja piirteet
    • Datarajapinnat ja jakaminen

  4. Tiedonhallinta

    • Tiedonhallinta: tietoluettelo, luokittelu, käyttöoikeussäännöt, säilytys
Lakehouse-kerroksista omistettuihin datatuotteisiin

Havainnollistava arkkitehtuuri, ei asiakkaan järjestelmä.

Lue kaavio tekstinä

Pääreitti kulkee operatiivisista järjestelmistä erä- ja muutostiedon siirron, raakakerroksen, yhdenmukaistetun kerroksen ja datatuotteiden kautta semanttiseen kerrokseen ja hallittuun raportointiin.

Rakenteettomat asiakirjat tulevat myös tiedonsiirtoon tekstintunnistuksen ja rikastamisen jälkeen. Laatutarkistukset ja alkuperätiedot kattavat raaka- ja yhdenmukaistetun kerroksen. Perus- ja viitetiedot syöttävät datatuotteita. Datatuotteet palvelevat myös tekoälyn tiedonhakua ja piirteitä sekä jakamiseen tarkoitettuja datarajapintoja.

Tiedonhallinnan kaista, jossa ovat tietoluettelo, luokittelu, käyttöoikeussäännöt ja säilytys, kattaa koko alustan.

04 Näkökohdat ja rajat

Tekniset näkökohdat ja rajat

  • Omistajuus ennen työkaluja

    Miten hoidamme sen

    Jokaisella datatuotteella on liiketoimintaomistaja, joka päättää sen merkityksestä, ja tekninen omistaja, joka pitää sen toiminnassa. Autamme määrittelemään molemmat roolit ja tuottajien ja käyttäjien välisen sopimuksen.

    Rajat ja riippuvuudet

    Alusta ei voi luoda omistajuutta. Jos organisaatio ei nimeä omistajia, laatuongelmat palaavat työkaluista riippumatta.

  • Käyttötarkoitussidonnaisuus käytännössä

    Miten hoidamme sen

    Henkilötietoihin merkitään käyttötarkoitukset, joihin niitä saa käyttää, ja käyttöoikeussäännöt ja säilytys seuraavat merkintöjä automaattisesti.

    Rajat ja riippuvuudet

    Se, mitkä käyttötarkoitukset ovat lainmukaisia, on tietosuojavastaavasi ja juristiesi päätös. Me toteutamme sen, emme päätä sitä.

  • Tekoälyn datalla on oma laatuvaatimuksensa

    Miten hoidamme sen

    Tekoälyn käyttötapauksissa mittaamme sitä, mitä tiedonhaku ja mallit tarvitsevat: kattavuutta, tuoreutta, kaksoiskappaleita ja tekstin poiminnan laatua.

    Rajat ja riippuvuudet

    Kaikkia arkistoja ei kannata korjata. Otantaan perustuva arvio kertoo sen, ja joskus oikea vastaus on jättää ne pois.

05 Työtapa

Miten työskentelemme

Rakennamme alustan ensimmäisten tärkeiden datatuotteiden ympärille, emme päinvastoin.

  1. 01

    Valitaan päätökset, ei tietoaineistoja

    Lähdetään kahdesta tai kolmesta päätöksestä tai tekoälyn käyttötapauksesta ja niiden tarvitsemasta datasta, omistajat nimettyinä.

    TuotosDatatuotteiden työjono omistajineen

  2. 02

    Rakennetaan perusta niiden ympärille

    Alusta, tiedonsiirto, laatutarkistukset ja tiedonhallinta juuri sen verran, että nämä tuotteet toimivat kunnolla.

    TuotosEnsimmäiset datatuotteet tuotannossa

  3. 03

    Kasvetaan tuote kerrallaan

    Jokainen uusi tuote käyttää samaa perustaa. Tietoluettelo ja tunnuslukusanasto kasvavat sen mukana.

    TuotosTuotetiekartta ja käyttöönoton mittarit

06 Ihmisen ohjaus

Missä ihmiset pitävät ohjat

Data-alustat automatisoivat siirrot ja tarkistukset. Ihmiset päättävät merkityksestä, käyttöoikeuksista ja käyttötarkoituksesta.

  • Omistajat hyväksyvät määritelmät

    Tunnusluvun tai datatuotteen merkitys muuttuu vain liiketoimintaomistajan hyväksynnällä, ja muutos versioidaan.

  • Käyttöoikeudet myöntää sääntöjen omistaja

    Datan omistajat päättävät, kuka saa käyttää mitä dataa ja mihin tarkoitukseen. Alusta valvoo päätöstä ja kirjaa jokaisen myönnetyn oikeuden.

  • Laatupoikkeama pysäyttää linjan

    Kun sopimuksen tarkistus epäonnistuu, käyttäjille ilmoitetaan, ja omistaja päättää, julkaistaanko, pidätetäänkö vai korjataanko data.

07 Teknologiat

Teknologiat, joita käytämme

Alustat
  • Databricks
  • Microsoft Fabric
  • Snowflake
  • Avoin lakehouse Apache Icebergillä tai Delta Lakella
Tietoputket
  • dbt
  • Apache Spark
  • Kafka ja Debezium
  • Pilvinatiivi orkestrointi
Tiedonhallinta
  • Unity Catalog ja Purview
  • Avoimen lähdekoodin tietoluettelot
  • Datan laadun kehykset
  • Sääntöihin perustuva käyttöoikeuksien hallinta
Analytiikka
  • Power BI
  • Semanttiset ja mittarikerrokset
  • Upotettu analytiikka
  • SAP-analytiikka (olemassa olevat ympäristöt)

Teknologian mainitseminen kuvaa kokemustamme. Se ei tarkoita kumppanuutta toimittajan kanssa eikä toimittajan suositusta.

08 Esimerkki

Havainnollistava esimerkki

Havainnollistava esimerkki

Yhteiset tunnusluvut elintarvikekonsernille, jolla on yhtiöitä Suomessa, Ruotsissa ja Baltiassa

01Tilanne
Jokainen tytäryhtiö raportoi myynnin, hävikin ja toimitusvarmuuden omasta järjestelmästään omilla määritelmillään. Konsernin johto vertaa lukuja, jotka eivät tarkoita samaa.
02Mitä rakentaisimme
Yhtiökohtaiset, yhdenmukaistetut datatuotteet syöttävät yhtä semanttista kerrosta. Tunnuslukujen määritelmät sovitaan konsernitasolla, ja paikalliset yksityiskohdat säilyvät.
03Missä ihmiset päättävät
Yhtiöiden controllerit hyväksyvät oman datansa vastaavuudet. Konsernin tunnuslukujen omistaja hyväksyy määritelmät ja niiden muutokset.
04Mitä mittaisimme
Kuukausiraportin tuottamiseen kuluva aika, täsmäytyskorjausten määrä ja sertifioitujen näkymien käyttö.

09 Toimialat

Toimialallasi

  • Terveydenhuolto & life science

    Hallittu tutkimus- ja toimintadata tiukalla käyttötarkoitussidonnaisuudella, pseudonymisoinnilla ja käyttölokeilla.

  • Valmistava teollisuus

    Tuote- ja laiteperustiedot sekä laatu- ja tuotantodata yhdistettyinä suunnittelua, jäljitettävyyttä ja tekoälyä varten.

  • Julkinen sektori

    Luotettavat perustietolähteet, yhden kerran periaate ja raportointi, jonka päättäjät ja tarkastajat voivat jäljittää lähdetietoon asti.

Suomi

Data Suomessa ja yli rajojen

Tietosuoja-asetus on henkilötietojen yhteinen kehys, ja Suomessa sitä täydentää tietosuojalaki. Datasäädös antaa käyttäjille oikeuksia liitettyjen tuotteiden ja palvelujen tuottamaan dataan. Julkinen avoin data julkaistaan Suomi.fi-avoindatassa, joka on DVV:n ylläpitämä kansallinen avoimen datan palvelu.

Kun konserni toimii Suomessa, muissa Pohjoismaissa ja Baltiassa, säilytystä ja käyttötarkoitusta koskevat tulkinnat vaihtelevat edelleen. Suunnittelemme datatuotteet, joiden sopimuksiin kirjataan, missä dataa saa käsitellä, mihin tarkoituksiin ja kuinka kauan. Näin alusta soveltaa oikeaa sääntöä maittain ilman erillisiä datakopioita.

Kysymyksiä datasta ja analytiikasta

Tarvitsemmeko data meshin?

Tarvitset sen hyödylliset osat: datatuotteet omistajineen ja sopimuksineen. Täysi hajauttaminen kannattaa suurissa organisaatioissa, joissa on kypsät toimialatiimit. Moni organisaatio pärjää paremmin keskitetyllä alustatiimillä ja sillä, että toimialat omistavat datatuotteensa.

Onko datamme valmis tekoälylle?

Lyhyt, otantaan perustuva arvio käyttötapauksen tarvitsemista lähteistä kertoo sen: kattavuus, laatu, käyttöoikeudet ja oikeusperuste. Vastaus on yleensä ”osittain”, ja mukana on selkeä luettelo siitä, mitä korjataan ensin. Tekoälykehityksen tiimimme käyttävät samaa arviota.

Meillä on jo tietovarasto. Aloitammeko alusta?

Harvoin. Tietovarasto, joka tuottaa luotettavia raportteja, on arvokas. Yleensä laajennamme sitä lakehouse-ominaisuuksilla rakenteettomalle ja suurivolyymiselle datalle ja siirrämme vain, kun kustannukset tai rajoitukset sen perustelevat.

Miten datan jakaminen kumppanien tai muiden viranomaisten kanssa hoidetaan?

Datatuotteilla, jotka julkaistaan hallittujen rajapintojen kautta ja joiden sopimukset, käyttötarkoitussidonnaisuus ja lokitus ovat kunnossa. Kun datanhallinta-asetus tai datasäädös soveltuu, suunnittelemme tekniset hallintakeinot niiden mukaisiksi. Avointa dataa julkaiseva organisaatio voi käyttää Suomi.fi-avoindataa, joka on DVV:n ylläpitämä kansallinen avoimen datan palvelu.

Nimeä päätös, jota et voi tehdä nykyisellä datalla

Jäljitämme sen tarpeet lähteisiin asti ja näytämme, mitä ensimmäinen datatuote vaatisi.

Keskustellaan projektistasiAsiakirjojen käsittely