Offline KI · Architektur I

Wo soll diese
Information
verarbeitet werden?

VERTRAULICH · DEMOInterne KalkulationMüller GmbH · Entwurf
EURE KONTROLLIERTE INFRASTRUKTUR
ARBEITSPLATZAufgabe beginnt
DOKUMENTABLAGEQuellen & Rechte
ANWENDUNGENMail · Wissen · OS
BACKUPKonfiguration
KONTROLLIERTE GRENZE
EXTERNE DIENSTE
INTERNETverbunden
EXTERNER KI-DIENSTCloud-Modell
außerhalb Eurer Infrastruktur
IKInterne Kalkulation
Ergebnis
POLICY STOPDiese Information darf hier nicht vorbei.
Noch kein Weg gewähltDieselbe Aufgabe. Zwei mögliche Architekturen.

Cloud und lokal können ähnliche Arbeit leisten. Entscheidend ist, welche Daten wohin dürfen.

Architektur II · Klassifikation

Nicht jede Information
braucht denselben Weg.

Die Einstufung ist eine konzeptionelle Demo, keine allgemeine Rechtsbewertung.

ÖFFENTLICHINTERNVERTRAULICHHOCH SENSIBEL
CLOUD-ROUTEFreigabe prüfen
LOKALE ROUTEoffen

Für vertrauliche Inhalte kann lokale Verarbeitung sinnvoll sein. Anforderungen und Richtlinien müssen im Projekt geprüft werden.

Architektur III · Verbindung

Trenn das
Internet.

Nur die externe Verbindung wird abgeschaltet. Mail, Updates und andere Online-Dienste wären dann ebenfalls betroffen – diese Demo prüft ausschließlich lokale KI-Funktionen.

EXTERNER KI-DIENSTverfügbarbraucht die externe Verbindung
LOKALER KI-SERVERverfügbarläuft in der kontrollierten Infrastruktur
DOKUMENTABLAGElokal verfügbarQuelle bleibt im Gebäude
ARBEITSANWEISUNG_SERVERTAUSCH.PDF„Welche Schritte sind nötig?“

Offline heißt hier: Die KI-Verarbeitung braucht keine externe KI-Cloud.

WOHER KENNT SIE EURE INFORMATIONEN?Öffne das Unternehmensgedächtnis →

Architektur IV · Innenräume

Lokal heißt nicht
automatisch offen.

Die Personalakte liegt auf dem lokalen Server. Trotzdem entscheidet die Rolle vor der Suche.

TTechnikangemeldete Rolle
→→
ZUGRIFFverweigertDiese Quelle gehört nicht zu Deiner Rolle.

Berechtigungen bleiben Berechtigungen.

Architektur V · Kontext

Lesen ist nicht
automatisch Trainieren.

Das Modell beherrscht Sprache. Das Unternehmenswissen liegt getrennt in erlaubten Quellen und wird nur für die aktuelle Aufgabe auf den Arbeitstisch gelegt.

MODELLallgemeine Spracheunverändert
AKTIVER KONTEXT
FRAGEWas steht in unserem Wartungsvertrag?

Ohne erlaubte Quelle: weiß ich nicht.

Architektur VI · Lokale Arbeit

Eine Infrastruktur.
Mehrere Fähigkeiten.

Nicht ein allwissender Bot, sondern spezialisierte, erlaubte Aufgaben.

Vorschläge entstehen lokal. Menschen entscheiden.

Lass sie einen Entwurf vorbereiten →Was passiert mit Tabellen? →

Architektur VII · Hausordnung

Was darf das
Gebäude verlassen?

Erstelle eine konzeptionelle Policy. Danach versucht ein HR-Dokument die Cloud-Route.

Öffentlicher Website-Inhalt
Kundendaten
Finanzdaten
HR-Daten
Internes Wissen
HR-DOKUMENTMitarbeitergespräch_2026.pdf
GRENZE
ZIELCloud-KI

Noch nicht geprüft.

Architektur VIII · Hybrid

Nicht alles muss
denselben Weg nehmen.

SENSIBLER VERTRAGVollständige Quelle bleibt lokal

Interne Konditionen, Kundendaten, Anhänge

EXTERNER KONTEXTNoch nichts freigegeben

Auswahl und mögliche Anonymisierung müssen architekturspezifisch geprüft werden.

Architektur IX · Maschinenraum

Erst die Aufgabe.
Dann die Hardware.

Konzeptionelle Größenklassen statt erfundener Tokenwerte oder Produktkatalog.

Was soll die KI tun?
Modellgröße
SMALL SERVER
Kapazität
moderat
Parallelität
klein
Energie / Aufwand
überschaubar

Für wenige Menschen und leichte Textaufgaben kann moderate lokale Infrastruktur genügen.

Nicht das größte Modell. Das passende Modell.

Architektur-Werkstatt

Anforderungen werden
Architektur.

Welche Aufgaben?
PRAXIS
Dokumentarchiv
Wissensassistent
Dokumentanalyse
Lokaler Server · mittlere Klasse
KONTROLLIERTE GRENZE
EXTERNE KIgeschlossen

Schau, wie daraus ein Praxis-System wird →

Architektur X · Betrieb

Gute Architektur
hat einen Plan B.

Lokaler Betrieb bedeutet Kontrolle – und Verantwortung für Monitoring, Updates, Konfiguration und Wiederherstellung.

LOKALER KI-SERVERbetriebsbereit
ARBEITlokale KI verfügbarManuelle Arbeit bleibt grundsätzlich möglich.
CLOUD-FALLBACKnicht erlaubt
WAS IST GERADE PASSIERT?
  1. 14:21 · Architektur betriebsbereit
  2. Externe KI-Transfers: 0

Architektur XI · Unter dem Gebäude

Was läuft eigentlich
im Server?

MODEL RUNTIMEInferenceDas Modell rechnet die Antwort hier.
ARBEITSTISCHContext WindowNur ausgewählte Passagen liegen gleichzeitig bereit.
QUELLENWEGRAG + EmbeddingsSuche bringt erlaubten Kontext zum Modell.
ZUGRIFFPermissionsRechte filtern vor der Verarbeitung.
BETRIEBAPI · Logs · MonitoringSchichten brauchen Pflege und Auditregeln.
MASCHINECPU · GPU · RAMAuslegung folgt Aufgabe und Last.
Technischen Deep Dive öffnen

Inference: Das bereits geladene Modell berechnet eine Antwort. Ein Dokument im Kontext verändert das Modell nicht automatisch.

Kontext: Das Context Window ist begrenzt. Retrieval und Reranking wählen wenige relevante Passagen.

Speicher: Modelle, Vektordatenbank und Dokumentquellen können getrennte Rechte und Backups benötigen.

Betrieb: Modellupdates, Sicherheitspatches, Monitoring, Logs und getestete Wiederherstellung gehören zur Architektur.

Fünf Basisfragen aus dem Projektkontext

Brauchen wir teure Spezial-Hardware?

Nicht zwingend. Für viele Aufgaben reicht ein solider Server oder Rechner. Was nötig ist, hängt von Modellgröße und Tempo ab – genau das klären wir vorher ehrlich, statt Euch etwas zu verkaufen, das Ihr nicht braucht.

Ist lokale KI so schlau wie ChatGPT?

Große Cloud-Modelle können bei manchen Aufgaben stärker sein. Für klar begrenzte interne Aufgaben können passende lokale Modelle praxistauglich sein; die Wahl hängt von Qualitäts-, Schutz- und Betriebsanforderungen ab.

Kann die KI Fehler machen?

Ja. KI erzeugt Vorschläge, keine Wahrheiten. Quellen und menschliche Prüfung bleiben wichtig.

Müssen wir alles auf einmal umstellen?

Nein. Ein konkreter, sinnvoller Anwendungsfall kann zuerst geprüft werden.

Können wir beides haben?

Ja. Sensible Aufgaben können lokal laufen, während freigegebene unkritische Recherche einen kontrollierten Cloud-Weg nutzt.

Was kann die KI mit Eurem Wissen tun? →Lokalen Mailentwurf ansehen →Lokale Tabellenarbeit ansehen →

Kontrolle · Wahl · Architektur

Welche Daten
dürfen wohin?

Keine Angstgeschichte. Eine verständliche Entscheidung über Datenwege, Rechte und Betrieb.

Architektur besprechen