Unser KI-Rollout begann bei den Menschen, nicht bei den Prozessen

Zwei Gleise, und warum wir bei den Menschen angefangen haben

KI in eine Organisation zu bringen, läuft auf zwei Gleisen. Das eine ist top-down: Führung und Abteilungen schauen sich Prozesse an und suchen, wo KI sie verbessern kann. Das andere ist bottom-up: einzelnen Menschen helfen, ihre eigene tägliche Arbeit effizienter zu erledigen. Du fängst mit Entwürfen, Zusammenfassungen, Übersetzungen und dem Durcharbeiten eines Dokuments oder einer Tabelle an und gehst dann dazu über, persönliche Agenten zu bauen, die einen ganz bestimmten Workflow optimieren. Das ehrgeizige Ziel ist, alle zu Buildern zu machen, oder ihnen zumindest die Möglichkeit dazu zu geben.

Das Prozess-Gleis ist wichtig, aber in vielen Organisationen, unserer eingeschlossen, hängt vieles davon von Daten ab, die noch nicht sauber oder gut verknüpft sind, und diese Arbeit braucht Zeit. Die Projekte, die diese Daten brauchen, warten darauf, während andere vorankommen. Das individuelle Gleis hat diese Abhängigkeit nicht, also kann es schneller einen Mehrwert liefern. Was es braucht, ist kleiner: ein brauchbares Tool, das alle haben, und etwas Anleitung, wie man es benutzt.

Also haben wir bei den Menschen angefangen. Und bevor du irgendjemandem bei seiner täglichen Arbeit mit KI helfen kannst, brauchen die Leute Zugang, was den ersten Schritt konkret machte: allen ein einziges Tool geben, das sie alle nutzen können, gut genug, um nützlich zu sein, auf Infrastruktur, die wir kontrollieren, mit Daten, die in der EU bleiben. Der Rest dieses Beitrags handelt davon, wie wir das gebaut haben.

Was wir benutzt haben

Wir haben uns für LibreChat entschieden. Es ist ein Open-Source-Frontend im ChatGPT-Stil und in Self-Hosting-Kreisen recht bekannt, auch wenn viele, die mit KI arbeiten, noch nie davon gehört haben.

Für einen unternehmensweiten Einsatz deckt es die Dinge ab, die wir brauchten:

• SSO über Azure Entra ID, sodass der Zugang über unser bestehendes Identity-Setup läuft und nicht über eine separate Nutzerliste.
• Selbst gehostet, sodass das Deployment und der Datenpfad uns gehören.
• Erweiterbar, was für das wichtig ist, was wir später hinzufügen wollen.

Wir haben uns auch Open WebUI angeschaut, die andere gängige Option in diesem Bereich. Beide sind fähig. LibreChat war für unsere Bedürfnisse einen Tick leichtgewichtiger im Betrieb, also sind wir dabei gelandet.

Der Stack

Das Modell ist GPT-5, läuft auf Azure OpenAI in Sweden Central, auf einem EU-Data-Zone-Deployment, das die Verarbeitung für die DSGVO innerhalb der EU hält. Ein kleineres, günstigeres Modell übernimmt Hintergrundaufgaben wie das Generieren von Gesprächstiteln.

GPT-5 kostet etwa 1,25 $ pro Million Input-Tokens und 10 $ pro Million Output-Tokens. Nicht billig. Was es als Tool für alle funktionieren lässt, ist die nutzungsbasierte Abrechnung. Lizenzen pro Platz kosten rund 20–30 € pro Person und Monat, und bei ein paar Hundert Leuten, von denen die meisten es nur leicht nutzen, ist das eine Menge bezahlter Zugang, der ungenutzt herumliegt. Mit nutzungsbasierter Inferenz zahlen wir nur für das, was tatsächlich genutzt wird, sodass die Mehrheit, die es kaum anfasst, fast nichts kostet. Wir stellen weiterhin Tools pro Platz wie Claude und Copilot für die Leute bereit, die darin leben, aber das hier ist die Basisschicht darunter.

PII-Erkennung mit Redakt

Redakt ist der PII-Erkennungsdienst, den ich gebaut und über den ich früher geschrieben habe. Wir haben ihn in unser internes Chat-Tool eingebunden, sodass er zwischen dem LibreChat-Client und der Azure-Inferenz-API sitzt und das Gespräch im Vorbeifließen prüft. Er läuft asynchron, fügt dem Chat also keine Latenz hinzu.

Im Moment warnt er nur. Wenn jemand gerade dabei ist, einen Namen, eine Adresse oder andere Kundendaten zu senden, markiert Redakt das. Er kann auch so eingestellt werden, dass er einen Fehler wirft, und unsere Anpassung verhindert dann auf dieser Grundlage, dass das Gespräch abgeschlossen wird, aber wir haben mit Warnungen statt mit Blockieren angefangen.

Das war Absicht. Eine Warnung in dem Moment, in dem jemand personenbezogene Daten einfügt, lässt die Leute ihre eigenen Gewohnheiten zuerst anpassen. Von Warnen zu Blockieren überzugehen, ist später eine Konfigurationsänderung, sobald sich die Leute an das Tool gewöhnt haben.

Erweitern

LibreChat hat zwei Wege, Funktionalität hinzuzufügen, und beide sind wichtig für das, wohin wir damit wollen.

Es hat eine eingebaute Agents-Funktion. Sie ist eine vereinfachte Version der Idee, ein benanntes Setup, das ein Modell, einen System-Prompt, Tools und Wissensdateien kombiniert, mit dem ein Nutzer chatten kann. Sie ist im Vergleich zu einem vollwertigen Agent-Framework begrenzt, reicht aber für Dinge wie einen Richtlinien-Assistenten oder eine Schreibhilfe, ohne Code zu schreiben.

Für alles, was darüber hinausgeht, baust du den Agenten in einem Framework wie Haystack oder LangGraph, stellst ihn hinter einem OpenAI-kompatiblen Endpunkt bereit und fügst diesen Endpunkt zu LibreChat hinzu. Der Agent erscheint dann in derselben Oberfläche, die alle ohnehin schon benutzen. LibreChat unterstützt außerdem MCP-Server, um Tools und Datenquellen anzubinden. Die Dokumentation deckt den vollen Umfang ab.

Das Erste, was wir anbinden, ist Sherpa, ein KI-Einführungs-Leitfaden, an dem ich arbeite, um Kolleginnen und Kollegen zu helfen, herauszufinden, wie sie KI in ihrer eigenen Arbeit einsetzen.

Wie es weitergeht

Das Prozess-Gleis läuft parallel. Ein Teil davon ist schon im Gange, und die Teile, die von saubereren, besser verknüpften Daten abhängen, werden sich öffnen, sobald diese Arbeit abgeschlossen ist. Das individuelle Gleis liefert derweil schon, und es summiert sich: Menschen lernen erst durchs Benutzen, wie weit sie ein Tool treiben können. Kolleginnen und Kollegen bei alltäglichen Aufgaben zu helfen, baut diese Vertrautheit auf, und meine Hoffnung ist, dass es höherwertige Einsatzmöglichkeiten von KI eröffnet, auf die sie sonst nicht gekommen wären, und genau dafür sind die Schulungsarbeit und Tools wie Sherpa da.

Ein gemeinsames Tool und etwas Anleitung ist alles, was das individuelle Gleis zum Start braucht. Die größere, prozessbezogene Arbeit läuft parallel daneben.