Zum Hauptinhalt springen
FromNine
Menü

KI & Daten

Generative KI, die im laufenden Betrieb besteht.

Unsere Anwendungen mit generativer KI arbeiten mit Ihrem eigenen Wissen und Ihren Daten. Die Suche hält sich an Berechtigungen, kein Release geht ohne bestandene Evaluierung hinaus, und Kosten, Qualität und Antwortzeiten liegen für Sie offen.

Für Organisationen in Österreich, die eine KI-Plattform über mehrere Länder, Sprachen und nationale Regelwerke hinweg betreiben.

Erstgespräch anfragenWissenszugang ansehen
KI-Engineering & GenAI: die BausteineEin Stapel aus vier Schichten. Ganz oben das Retrieval über Ihre Quellen, darunter das Modell-Gateway, dann Evaluierung und Leitplanken, zuunterst die Anwendung für Ihre Mitarbeitenden. Ein durchgehender Weg verbindet die Quellen mit der Anwendung.01Retrieval über Ihre Quellen02Modell-Gateway und Routing03Evaluierung und Leitplanken04Anwendung im Produktivbetrieb
  1. 01Jede Antwort nennt ihre Quelle; fehlen die Belege, gibt das System keine Antwort
  2. 02Ein Golden Dataset und Regressionsprüfungen, vor dem Go-live mit Ihren Fachabteilungen abgestimmt
  3. 03Modell-Routing und Budgets, damit Kosten und Antwortzeit jeder Anfrage sichtbar bleiben

01 Probleme

Woran generative KI hängen bleibt

Selten ist das Modell das eigentliche Problem. Die meisten Vorhaben geraten wegen all dessen ins Stocken, was rundherum gebaut werden muss.

  1. 01

    Der Pilot hat beeindruckt, aber ob er gut ist, weiß niemand

    Geprüft wurde die Qualität, indem ein paar Leute ein paar Fragen stellten. Einen Testdatensatz gibt es nicht, und so ist jede Änderung am Prompt und jedes neue Modell ein Risiko mit unbekanntem Ausgang.

  2. 02

    Der Assistent zeigt Unterlagen, die nicht für alle bestimmt sind

    Beim Indexieren gingen die Zugriffsrechte verloren. IT-Sicherheit und Betriebsrat halten den Rollout an, und sie haben recht damit.

  3. 03

    Die Kosten steigen schneller als die Nutzung

    Ob einfache oder schwierige Frage: Alles geht an das größte Modell, immer mit maximalem Kontext. Die Kosten einer einzelnen Antwort kennt niemand, und was niemand kennt, steuert auch niemand.

  4. 04

    Die Antworten klingen richtig, sind es aber nicht

    Das Retrieval findet fast die richtige Stelle, das Modell überbrückt die Lücke mit glatter Sprache, und spätestens nach dem dritten überzeugt vorgetragenen Fehler vertraut niemand mehr dem System.

02 Leistungs­umfang

Was wir liefern

  1. 01 Retrieval und Wissens­systeme für das Unternehmen

    Für jede Quelle legen wir eigens fest, wie Inhalte zerlegt und in Abschnitte gegliedert werden, wie Volltext- und Vektorsuche einander ergänzen und wie jeder Textabschnitt seine Zugriffsrechte mitnimmt. Das ist die Grundlage für Wissensassistenten im Unternehmen.

    Was wir tun

    • Quelleninventar: Verantwortliche, Formate und Berechtigungsmodelle
    • Chunking- und Metadatenstrategie je Dokumenttyp
    • Hybride Suche aus lexikalischer und Vektorsuche mit Re-Ranking
    • Retrieval, das die Zugriffsrechte der jeweiligen Quelle übernimmt

    Was Sie erhalten

    • Ingestion-Pipelines, die Änderungen erkennen
    • Retrieval-Service mit Quellenangaben und Regeln, wann nicht geantwortet wird
    • Bericht zur Retrieval-Qualität pro Quelle

  2. 02 Modellstrategie ohne Hersteller­bindung

    Ein Modell-Gateway steht zwischen Ihren Anwendungen und den Modellen. Es routet je nach Aufgabe, springt bei einem Anbieterausfall auf eine Alternative um und erlaubt den Wechsel, sobald sich Preise oder Fähigkeiten ändern.

    Was wir tun

    • Frontier-Modelle als Dienst, in der EU gehostete Bereitstellungen oder Open-Weight-Modelle im Eigenbetrieb: die Optionen im Vergleich
    • Routing nach Aufgabe, Schutzbedarf und Kosten
    • Fallbacks, Timeouts, Caching und Ratenlimits
    • Bedingungen zur Datenverarbeitung, gemeinsam mit Ihrer Rechts- und Sicherheitsabteilung geprüft

    Was Sie erhalten

    • Modell-Gateway mit Routing-Regeln als Konfiguration
    • Dokumentierte Modellentscheidung je Anwendungsfall
    • Budget für Kosten und Antwortzeit je Anfragetyp

  3. 03 Evaluierung als Ingenieurs­disziplin

    Was gute Qualität heißt, klären wir mit den Prozessverantwortlichen und gießen es in Testdatensätze, die bei jeder Änderung automatisch laufen. Bewertet ein Modell die Ergebnisse, eichen wir es vorher an menschlichen Urteilen.

    Was wir tun

    • Golden Datasets je Anwendungsfall, erstellt mit Fachleuten aus Ihrem Haus
    • Offline-Evaluierung von Retrieval und Generierung, jeweils getrennt
    • Red-Teaming gegen Prompt Injection und Datenabfluss
    • Online-Evaluierung aus Rückmeldungen im Betrieb und Stichprobenprüfungen

    Was Sie erhalten

    • Evaluierungssuite als Release-Gate in der CI
    • Qualitätskriterien, freigegeben von der fachlich verantwortlichen Stelle
    • Befunde aus dem Red-Teaming samt Gegenmaßnahmen

  4. 04 LLMOps und Observability

    Jeder Schritt bleibt nachvollziehbar, von der Frage über die gefundenen Passagen und den Modellaufruf bis zur fertigen Antwort. Prompts und Modelle tragen Versionen wie Quellcode, und im Betrieb greifen die Budgets wirklich.

    Was wir tun

    • Tracing und strukturiertes Logging jeder Anfrage
    • Versionierung von Prompts, Modellen und Index
    • Semantisches und exaktes Caching, wo es gefahrlos möglich ist
    • Überwachung von Drift und Qualität mit Alarmierung

    Was Sie erhalten

    • Dashboards für Qualität, Kosten und Antwortzeit
    • Playbook für KI-spezifische Störungen
    • Runbook für Aktualisierungen von Modell und Index

  5. 05 Governance im Entwurf verankert

    Wir entwerfen mit Blick auf die KI-Verordnung der EU, angefangen bei der Risikoklasse und der Frage, ob Sie Anbieter oder Betreiber sind, bis hin zu Protokollierung, menschlicher Aufsicht und Dokumentation. Die rechtliche Würdigung übernimmt Ihre eigene Rechtsberatung.

    Was wir tun

    • Einstufung des Anwendungsfalls und Pflichten je Rolle
    • Beiträge zur Datenschutz-Folgenabschätzung nach DSGVO
    • Entwurf von Protokollierung und menschlicher Aufsicht
    • Modell- und Systemdokumentation direkt beim Code

    Was Sie erhalten

    • Paket mit der Systemdokumentation
    • Konzept für Protokollierung und Aufbewahrung
    • Aufsichtsverfahren je Anwendungsfall

  6. 06 Fine-Tuning und Dokument­verständnis, sobald Messwerte dafür sprechen

    Fine-Tuning, Distillation und multimodales Dokumentverständnis sind Werkzeuge für bestimmte Schwächen. Zum Einsatz kommen sie erst, wenn die Evaluierungssuite belegt, dass Retrieval und Prompting allein nicht genügen.

    Was wir tun

    • Lückenanalyse auf Basis der Evaluierungsergebnisse
    • Plan für Datenaufbereitung und Annotation
    • Distillation auf kleinere Modelle für Kosten oder Antwortzeit
    • Layout-bewusste Extraktion aus gescannten und komplexen Dokumenten

    Was Sie erhalten

    • Vergleichende Evaluierung vorher und nachher
    • Herkunftsnachweis der Trainingsdaten
    • Entscheidung über Beibehalten, Zurückrollen oder Außerbetriebnahme

03 Architektur

Eine Referenz­architektur zur Veranschau­lichung

Ob für Unternehmen oder Verwaltung: Fast alle Systeme mit generativer KI, die wir bauen, folgen einem Grundmuster. Retrieval über Ihre Quellen, ein Modell-Gateway, Leitplanken auf beiden Seiten des Modells und darunter ein Regelkreis aus Evaluierung und Observability, der über jede Inbetriebnahme entscheidet.

Gefiltert wird nach Berechtigungen im Retrieval selbst, nicht erst an der Oberfläche. Was eine Person im Quellsystem nicht öffnen darf, erreicht das Modell auch dann nicht, wenn es für diese Person arbeitet.

Schichten in der Zeichnung

Quellen
Dokumentspeicher, Wikis und Fachanwendungen, dazu der Identitätsanbieter mit dem Wissen, wer welche Inhalte sehen darf.
Retrieval
Ingestion, ein hybrider Index, Re-Ranking und der Berechtigungsfilter.
Modelle
Ein Gateway verteilt Anfragen auf Modelle als Dienst, EU-Bereitstellungen und eigene Modelle, mit Ausweichpfaden und Caching.
Anwendung
Antworten mit Quellenangabe, kein Antwortversuch ohne Belege und Leitplanken für Ein- und Ausgabe.
Betreiben und verbessern
Golden Sets, Regressionsprüfungen, Traces und Budgets. Aus den Traces des Betriebs entsteht der nächste Testdatensatz.
Beispiel zur Veranschaulichung

  1. Quellen

    • Dokumentablagen und Wikis
    • Fachanwendungen
    • Identitätsanbieter

  2. Retrieval

    • Ingestion und Chunking
    • Hybrider Index
    • Berechtigungsfilter
    • Retrieval und Re-Ranking

  3. Modelle

    • Modell-Gateway
    • Gehostete, EU- und eigene Modelle
    • Leitplanken für Ein- und Ausgabe

  4. Anwendung

    • Anwendung mit Quellenangaben

  5. Betreiben und verbessern

    • Golden Sets und Regressionsprüfungen
    • Traces, Kosten- und Zeitbudgets
Retrieval, Modell-Gateway und Evaluierungskreislauf

Veranschaulichende Architektur, kein System eines Kunden.

Diagramm als Text lesen

Vom Dokumentspeicher geht der Hauptweg über Ingestion, hybriden Index und Retrieval mit Re-Ranking zum Modell-Gateway und weiter zur Anwendung.

Zusätzlich speisen Fachanwendungen Inhalte ein. Aus dem Identitätsanbieter erhält ein Berechtigungsfilter seine Regeln und begrenzt damit das Retrieval. Ein- und Ausgaben der Anwendung laufen durch Leitplanken. Vom Gateway gehen Wege zu Frontier-Modellen als Dienst, zu Bereitstellungen in der EU und zu Open-Weight-Modellen im Eigenbetrieb.

Die untere Ebene bilden eine Evaluierungssuite mit Golden Sets und Regressionsprüfungen und die Observability mit Traces sowie Budgets für Kosten und Antwortzeit. Was im Betrieb aufgezeichnet wird, speist die Evaluierungssuite.

04 Überlegungen und Grenzen

Technische Überlegungen und Grenzen

  • Qualität wird gemessen, nicht versprochen

    Wie wir damit umgehen

    Mit den Verantwortlichen Ihrer Prozesse legen wir Qualitätskriterien fest und prüfen die Ergebnisse der KI vor und nach jedem Release daran.

    Retrieval und Generierung evaluieren wir getrennt, damit ein Fehler direkt auf seine Ursache verweist.

    Grenzen und Abhängigkeiten

    KI-Ergebnisse können falsch sein. Deshalb planen wir Prüfschritte für unsichere Fälle ein und lassen das System schweigen, wenn Belege fehlen.

    Ohne die Fachleute, die ihn mitgestalten, taugt kein Testdatensatz etwas. Deshalb planen wir ihre Zeit gleich zu Beginn ein.

  • Berechtigungen reisen mit dem Inhalt

    Wie wir damit umgehen

    Zugriffsrechte erfassen wir schon bei der Ingestion und setzen sie bei jeder Abfrage gegen Ihren Identitätsanbieter durch.

    Grenzen und Abhängigkeiten

    Lassen sich die Rechte eines Quellsystems nicht zuverlässig auslesen, nehmen wir dessen Inhalte erst auf, wenn das gelöst ist.

    Zu großzügige Freigaben in der Quelle bleiben bestehen und werden durch das Retrieval nur leichter gefunden. Manchmal beginnt das Vorhaben deshalb mit einer Bereinigung.

  • Kosten und Antwortzeit sind Vorgaben für den Entwurf

    Wie wir damit umgehen

    Für jeden Anfragetyp gilt ein Budget. Daran richten wir Routing, Caching und Kontextlänge aus, und in den Dashboards sehen Sie, wofür das Geld ausgegeben wird.

    Grenzen und Abhängigkeiten

    Anbieter ändern Preise und Ratenlimits nach eigenem Ermessen. Das Gateway verschafft Ihnen Handlungsspielraum, die Preiserhöhung selbst bleibt aber bestehen.

  • Modelle verändern sich laufend

    Wie wir damit umgehen

    Modelle werden auf eine Version festgelegt, und jedes Upgrade durchläuft die gesamte Evaluierungssuite, bevor es bei Nutzerinnen und Nutzern ankommt.

    Grenzen und Abhängigkeiten

    Anbieter nehmen gehostete Modelle manchmal mit kurzer Vorlaufzeit vom Markt. Je Anwendungsfall halten wir einen Ersatz bereit, über den die verantwortliche Stelle entscheidet.

05 Vorgehen

So arbeiten wir

Die Reihenfolge zählt: Erst legen wir fest, wie gemessen wird, danach, was gebaut wird.

  1. 01

    Anwendungsfall abgrenzen

    Wer nutzt ihn, welche Entscheidungen unterstützt er, auf welche Quellen darf er zugreifen und was kostet eine falsche Antwort?

    ErgebnisSteckbrief des Anwendungsfalls und Risikoeinstufung

  2. 02

    Golden Set aufbauen

    Reale Fragen samt erwarteter Antworten, mit Ihren Fachleuten zusammengetragen, einschließlich solcher, auf die das System nicht antworten darf.

    ErgebnisVersionierter Testdatensatz

  3. 03

    Zuerst das Retrieval

    Wir justieren Ingestion, Index und Berechtigungsfilter, bis das Retrieval die vereinbarte Qualitätsschwelle erreicht.

    ErgebnisBericht zur Retrieval-Qualität

  4. 04

    Release hinter Prüfschranken

    Erst wenn die Evaluierungssuite in der CI grün ist, gehen Generierung, Leitplanken und Gateway in Betrieb.

    ErgebnisRelease mit Evaluierungsnachweis

  5. 05

    Betreiben und verbessern

    Traces, Stichprobenprüfungen und Rückmeldungen der Nutzerinnen und Nutzer fließen in den nächsten Testdatensatz und das nächste Release.

    ErgebnisMonatliche Durchsicht von Qualität, Kosten und Antwortzeit

06 Menschliche Kontrolle

Wo Menschen die Kontrolle behalten

Generative KI liefert Entwürfe, Fundstellen und Vorschläge. Menschen bestimmen, worauf sie zugreifen darf, woran Qualität gemessen wird und wie es bei Unsicherheit weitergeht.

  • Die Fachseite gibt die Qualität frei

    Qualitätskriterien und Release-Nachweise genehmigt die fachliche Leitung des jeweiligen Anwendungsfalls und nicht allein das Projektteam.

  • Unsichere Antworten gehen an einen Menschen

    Liegt die Konfidenz unter einem vereinbarten Wert, verzichtet das System auf eine Antwort oder übergibt an ein namentlich festgelegtes Team.

  • Zugriffsrechte bleiben bei der Quelle

    Die Sichtbarkeit eines Dokuments regeln das Quellsystem und Ihr Identitätsanbieter. Die KI-Schicht trifft diese Entscheidung nie.

  • Rückmeldungen verändern das System

    Antworten lassen sich markieren. Jede Markierung sieht sich ein Mensch an, und bestätigte Fehler werden als Testfälle aufgenommen.

07 Technologien

Technologien, mit denen wir arbeiten

Retrieval
  • OpenSearch und Elasticsearch
  • PostgreSQL mit pgvector
  • Azure AI Search
  • Cross-Encoder-Re-Ranker
Modelle
  • Gehostete Frontier-Modelle
  • Verwaltete Modelldienste in EU-Regionen
  • Open-Weight-Modelle auf vLLM
  • Embedding-Modelle je Sprache
Evaluierung und Betrieb
  • Tracing mit OpenTelemetry
  • Evaluierungssuites in der CI
  • Registries für Prompts und Modelle
  • Langfuse oder Vergleichbares
Anwendung
  • Services in TypeScript und Python
  • Streaming-APIs
  • Vorhandene Portale und die Oberflächen von Salesforce, SAP oder Odoo

Die Liste gibt unsere technische Erfahrung wieder. Sie bedeutet weder eine Partnerschaft mit den Herstellern noch deren Empfehlung.

08 Beispiel

Ein Beispiel zur Veranschaulichung

Beispiel zur Veranschaulichung

Ein Rechtsauskunfts-Assistent für ein Amt der Landesregierung

01Ausgangslage
Sachbearbeiterinnen und Sachbearbeiter suchen Landesgesetze, Verordnungen und Erlässe in mehreren Ablagen. Dieselbe Frage zu einem Ansuchen wird in verschiedenen Abteilungen unterschiedlich beantwortet, weil nicht alle die geltende Fassung finden.
02Was wir bauen würden
Retrieval über Landesrecht, Erlässe und interne Richtlinien, mit den Zugriffsrechten aus der Dokumentablage des Amtes und Antworten, die die maßgebliche Bestimmung samt Fassung zitieren.
03Wo Menschen entscheiden
Die fachlich zuständige Abteilung genehmigt den Testdatensatz und gibt jedes Release frei, das Antworten zu ihrem Rechtsbereich ändert. Die Erledigung des Akts bleibt bei den Bediensteten.
04Was wir messen würden
Anteil der Antworten, die die richtige Bestimmung in der geltenden Fassung zitieren, Quote der verweigerten Antworten bei Fragen außerhalb des Umfangs und Kosten pro Antwort.

09 Branchenblick

In Ihrer Branche

  • Öffentliche Verwaltung

    Assistenten für Bedienstete sowie für Bürgerinnen und Bürger: Sie zitieren die Rechtsgrundlage im Bundes- oder Landesrecht, beherrschen mehrere Sprachen und protokollieren, welche Inhalte für wen abgerufen wurden.

  • Finanz­dienst­leistungen

    Assistenten für interne Richtlinien und Verfahren mit strengen Berechtigungen, vollständiger Nachvollziehbarkeit und einer Dokumentation des Modellrisikos, die Ihre zweite Verteidigungslinie prüfen kann.

  • Gesundheits­wesen & Life Sciences

    Für Spitäler und Pharmaunternehmen: Retrieval über Behandlungsprotokolle und Produktunterlagen mit klaren Grenzen. Klinische Entscheidungen trifft das System nicht, sensible Daten bleiben in freigegebenen Umgebungen.

Österreich

Viele Sprachen, ein Maßstab für die Evaluierung

Österreichische Unternehmen arbeiten oft mit Niederlassungen in Deutschland sowie in Mittel- und Osteuropa, und ihr Wissen liegt auf Deutsch, Englisch und in den Sprachen der Nachbarländer vor. Die KI-Verordnung gilt überall gleich, Datenschutzbehörden, Betriebsräte und Aufsichten unterscheiden sich aber von Land zu Land.

Für die DSGVO ist in Österreich die Datenschutzbehörde (DSB) zuständig. Zur KI-Verordnung berät die KI-Servicestelle der RTR; eine nationale Marktüberwachungsbehörde war mit Stand Herbst 2026 noch nicht benannt.

In der Analysephase planen wir das ein: Retrieval und Evaluierung pro Sprache, Datenhaltung pro Anwendungsfall, dazu Protokolle und Dokumentation, die die Fragen in jedem Land beantworten, ohne Parallelsysteme. Aus dem Programm „Digitales Europa“ geförderte Vorhaben verlangen häufig genau eine solche wiederverwendbare, dokumentierte Lösung.

Fragen zum KI-Engineering

Welches Modell empfehlen Sie?

Entscheidend sind Aufgabe, Datenlage und Ihre Hosting-Vorgaben. In der Regel setzen wir mehrere Modelle ein: ein starkes Modell, wo viel abgewogen werden muss, kleinere oder eigene Modelle zum Klassifizieren und Extrahieren und EU-Bereitstellungen für Daten, die in der EU bleiben müssen.

Weil das Gateway dazwischen liegt, lässt sich die Wahl jederzeit revidieren, wenn neue Modelle kommen oder Preise sich ändern.

Wie genau wird das System arbeiten?

Genauigkeitswerte nennen wir erst nach einer Messung an Ihren Daten. Dazu einigen wir uns auf Qualitätskriterien, bauen einen Testdatensatz und legen Ihnen vor dem Go-live und nach jeder Änderung die Ergebnisse vor.

Fehler von Modellen sind einkalkuliert: Der Entwurf regelt, was dann passiert, ob das System schweigt, ein Prüfschritt greift oder ein Mensch übernimmt.

Trainiert jemand anderer sein Modell mit unseren Daten?

In den Architekturen, die wir entwerfen, nicht. Entweder nutzen wir Modelldienste, deren Vertragsbedingungen das Training mit Ihren Eingaben ausschließen, oder wir betreiben die Modelle in Ihrer eigenen Umgebung. Welche Variante es wird, dokumentieren wir je Anwendungsfall mit Ihrem Sicherheitsteam.

Gilt die KI-Verordnung für unseren Anwendungsfall?

Gemeinsam ordnen wir ein, welche Pflichten der Anwendungsfall und Ihre Rolle als Anbieter oder Betreiber auslösen könnten. Protokollierung, Aufsicht und Dokumentation gestalten wir passend dazu, damit Ihre Rechtsberatung auf gesicherte Fakten zurückgreifen kann. Für erste Fragen steht in Österreich die KI-Servicestelle der RTR zur Verfügung; eine nationale Marktüberwachungsbehörde gibt es mit Stand Herbst 2026 noch nicht.

Wie schützen Sie sensible Daten?

FromNine ist nach ISO/IEC 27001 zertifiziert. Bevor die Entwicklung beginnt, sind Zugriffsgrenzen, Speicherort der Daten und Aufbewahrung geklärt, und der Release-Prozess, den wir aufsetzen, enthält Red-Teaming gegen Prompt Injection und Datenabfluss.

Was ist ein vernünftiger erster Schritt?

Wählen Sie einen Anwendungsfall mit eindeutiger Zuständigkeit und wenigen Quellen, und lassen Sie Ihre Fachleute den Testdatensatz mitgestalten. Daraus entstehen ein lauffähiges System und Messwerte zu Qualität, Kosten und Antwortzeit: die Grundlage für jede weitere Investitionsentscheidung.

Kommen Sie mit einem Anwendungsfall und den Fragen, die am schwersten wiegen

Bevor wir über die Umsetzung reden, zeigen wir Ihnen, wie wir den Erfolg messen würden.

Erstgespräch anfragenWissenszugang ansehen