Transferzentrum für Digitalisierung,
Analytics & Data Science Ulm

Suche

Projektbeispiel

Private GPT – Der lokal gehostete KI-Chatbot für Ihr Firmenwissen

Zur Projektübersicht

Generative KI on-premises: starke Leistung, null Datenrisiko

Frei zugängliche KI-Assistenten verzeichnen beeindruckende Nutzerzahlen. Die Verbreitung von Large Language Models (LLMs) schreitet rasant voran und verändert nachhaltig unsere Arbeitsweise. Doch öffentlich zugängliche KI-Systeme verarbeiten eingegebene Daten auf externen Servern, die sich oft sogar außerhalb der EU befinden.
Da Unternehmen dabei kaum Kontrolle über den Verbleib ihrer Daten haben, schränken viele die Nutzung frei zugänglicher KI-Tools ein oder untersagen sie ganz. Genau hier setzt Private GPT an: Ihr KI-Assistent, der ausschließlich auf Ihrer eigenen Infrastruktur läuft – auch ohne jede Verbindung zum Internet.
Private GPT durchsucht per natürlicher Sprache Ihre Firmendaten und liefert präzise, quellenbasierte Antworten in Echtzeit. Dabei verlassen Ihre Daten zu keinem Zeitpunkt Ihr Unternehmen.

Realisiert mit starken Partnern: Fsas Technologies, Systemhaus Ulm

Fsas Technologies (früher Fujitsu) stellt die Enterprise-Hardware-Plattform bereit: leistungsfähige Server mit NVIDIA GPUs, optimiert für den lokalen KI-Betrieb.
Als einer der weltweit größten IT-Konzerne bietet Fsas Technologies innovative Lösungen in den Bereichen IT-Infrastruktur, Cloud-Computing, IoT (Internet der Dinge), KI (Künstliche Intelligenz) und mehr.

Systemhaus Ulm entwickelt die Benutzeroberfläche und sorgt für die nahtlose Integration in bestehende IT-Landschaften.
Als erfahrener IT-Full-Service-Partner für den Mittelstand und Großkonzerne baut das Systemhaus Ulm die Brücke zwischen KI-Technologie und Ihrem Arbeitsalltag.

Vom Suchen zum Finden: Private GPT erschließt Ihr Firmenwissen

Herkömmliche Suchfunktionen liefern eine überwältigende Anzahl unstrukturierter Treffer. Ihre Mitarbeiterinnen und Mitarbeiter verbringen wertvolle Zeit damit, Ergebnisse zu sichten, statt Antworten zu nutzen.
Private GPT arbeitet anders: Mithilfe von Retrieval-Augmented Generation (RAG) durchsucht das System sämtliche bereitgestellten Dokumente, identifiziert die relevantesten Passagen und formuliert daraus eine präzise, quellenbasierte Antwort in natürlicher Sprache, direkt im Chat.
Was Private GPT bietet:
Große Auswahl an Dokumentformaten:PDF, Word, PowerPoint, OpenDocument, HTML, XML – bis hin zu Audio- und Videodateien (MP3, MP4, WAV)
Dutzende Sprachen: Deutsch, Englisch, Französisch, Italienisch, Spanisch, Portugiesisch, Tschechisch, Polnisch, Türkisch und viele weitere
Intelligente Suche: Hybride Suchtechnologie kombiniert semantisches Verständnis mit Schlüsselwortsuche. Dynamisches Chunking segmentiert Dokumente an natürlichen Sinnabschnitten statt in festen Blocklängen – das bewahrt Kontext und steigert die Treffergenauigkeit. Bei dokumentübergreifenden Fragen kann das System zusätzlich ganze Dokumente als Kontext heranziehen (Hybrid RAG).
Quellenangaben bei jeder Antwort: Jede generierte Antwort enthält Verweise auf die konkreten Quelldokumente und Passagen, aus denen sie abgeleitet wurde – für volle Transparenz und Nachvollziehbarkeit.
Systemanbindung: Direkter Connector zu Confluence und weiteren Wissensplattformen. Über das Model Context Protocol (MCP) lassen sich zusätzliche externe Tools und Services anbinden.
Individuelle Szenarien: Konfigurierbare Workflows für Anwendungsfälle wie E-Mail-Entwurf, Dokumentzusammenfassung oder Code-Analyse
Model Hub: Wählen Sie das passende Sprachmodell für Ihren Anwendungsfall aus einer kuratierten Bibliothek von Mistral-Modellen. Modelle lassen sich jederzeit wechseln, ohne auf ein neues Software-Release warten zu müssen.
Enterprise API: REST-API mit interaktiver Dokumentation – bereit für die Integration von Private GPT in bestehende Systeme und Workflows.
OpenAI-kompatible API: Eine REST-API im OpenAI-Format ermöglicht die einfache Einbindung des lokalen LLMs in bestehende Systeme und Anwendungen
Granulare Benutzerzugriffssteuerung: Über ein rollenbasiertes Berechtigungssystem und sogenannte Datengruppen wird der Zugriff auf Dokumente gezielt gesteuert. Die Zugriffskontrolle greift dabei direkt im Retrieval-Prozess – nicht über manipulierbare Prompt-Regeln.
Active-Directory-Anbindung: Bestehende Benutzer und Gruppen lassen sich direkt aus Ihrem Active Directory importieren und synchronisieren – für eine nahtlose Integration in Ihre vorhandene IT-Struktur.

Sie bestimmen, welche Daten ins System gelangen

Gestalten Sie die Interaktion mit Private GPT nach Ihren Vorstellungen. Bestimmen Sie selbst, welche Firmendaten zugänglich gemacht werden – von einzelnen PDFs und Office-Dokumenten bis hin zu kompletten Bibliotheken, Datenbanken, Confluence-Spaces oder Ihrer Unternehmenswebsite.
Die bereitgestellten Informationen werden automatisch aufbereitet: Private GPT zerlegt Dokumente in sinnvolle Abschnitte, erstellt semantische Vektoren in einer Enterprise-Vektordatenbank und ermöglicht so blitzschnelle, kontextgenaue Antworten.

Maximaler Datenschutz: lokal, offline, compliant

Private GPT läuft vollständig auf Ihrer Infrastruktur. Keine Cloud-Verbindung, keine externen Server, keine Datenübertragung. Ihre sensiblen Unternehmensinformationen bleiben physisch in Ihrem Gebäude.
Das integrierte Rollen- und Rechtemanagement stellt sicher, dass jede Mitarbeiterin und jeder Mitarbeiter nur auf die Daten zugreift, die für die jeweilige Rolle relevant sind. Ein granulares Berechtigungssystem erlaubt dabei zunehmend feingranulare Zugriffssteuerung. Vertrauliches bleibt vertraulich.
EU AI Act-konform: Mit dem EU AI Act steigen die regulatorischen Anforderungen an KI-Systeme in Europa. Private GPTs On-Premises-Architektur bietet Ihnen die volle Kontrolle über Datenflüsse, Modellverhalten und Auditierbarkeit. Die integrierten Mistral-Modelle stammen von einem europäischen KI-Unternehmen, das selbst dem EU AI Act unterliegt.

Nutzerfreundliche Bedienung – angepasst an Ihre Anforderungen

Die intuitive Chat-Oberfläche ermöglicht es allen Mitarbeiterinnen und Mitarbeitern – unabhängig von technischem Vorwissen – schnell und unkompliziert auf das Firmenwissen zuzugreifen. Sprache, Wissensquelle und Szenario lassen sich direkt im Chat-Eingabefeld auswählen.
Auf Wunsch passen wir die Oberfläche an Ihr Corporate Design und Ihre individuellen Arbeitsabläufe an: eigene Szenarien, vorkonfigurierte Fragestellungen oder abteilungsspezifische Dokumentenpools.