Verträge, Arbeitsanweisungen, Produktdatenblätter, Protokolle aus abgeschlossenen Projekten: In den meisten Mittelständlern steckt das wertvollste Wissen in Dokumenten, die im Alltag niemand schnell durchsucht. Ein interner KI-Assistent verspricht hier Abhilfe. Er beantwortet Fragen in natürlicher Sprache und stützt sich dabei ausschließlich auf Ihre eigenen Unterlagen. Dieser Leitfaden zeigt, wofür sich das lohnt, wie die Technik dahinter funktioniert und worauf Sie bei einem ersten Projekt achten sollten.
Was ein interner KI-Assistent ist — und was nicht
Ein öffentlicher Chatbot kennt das halbe Internet, aber nichts über Ihr Unternehmen. Er weiß nicht, welche Garantiefrist in Ihren AGB steht oder wie Ihr Onboarding abläuft. Ein interner KI-Assistent schließt genau diese Lücke: Er greift auf einen abgegrenzten Bestand an Firmendokumenten zu und beantwortet Fragen dazu — idealerweise mit Quellenangabe, sodass Mitarbeitende die Antwort nachprüfen können.
Wichtig ist die Abgrenzung zu zwei anderen Anwendungen. Es geht hier nicht um die automatische Verarbeitung einzelner Dokumente, etwa das Auslesen von Rechnungsdaten. Und es geht auch nicht um einen allgemeinen Schreib- oder Recherche-Assistenten. Im Kern steht das Frage-Antwort-System auf der eigenen Wissensbasis: ein Werkzeug, das vorhandenes Wissen auffindbar und nutzbar macht.
Wofür sich ein Wissens-Assistent im Alltag lohnt
Der Nutzen entsteht überall dort, wo Menschen heute lange suchen oder Kolleginnen und Kollegen mit immer denselben Fragen unterbrechen. Typische Einsatzfelder im Mittelstand:
- Onboarding und Personal: Neue Mitarbeitende fragen den Assistenten zu Urlaubsregelungen, Spesen oder internen Abläufen, statt das Handbuch zu durchblättern.
- Technischer Support und Service: Schneller Zugriff auf Montageanleitungen, Fehlercodes oder Wartungsintervalle aus hunderten Datenblättern.
- Vertrieb und Angebote: Antworten zu Produktvarianten, Preislogiken oder Referenzprojekten direkt aus den eigenen Unterlagen.
- Qualität und Compliance: Nachschlagen in Verfahrensanweisungen, Normen oder Prüfprotokollen ohne Suche in verschachtelten Ordnern.
Eine seriöse Faustregel: Je größer der Dokumentenbestand und je häufiger dieselben Fragen auftauchen, desto deutlicher der Zeitgewinn. Konkrete Stundenersparnis lässt sich aber erst nach einem Pilotbetrieb belastbar messen — pauschale Versprechen sollten Sie hinterfragen.
Wie die Technik funktioniert: RAG in drei Schritten
Hinter den meisten dieser Assistenten steckt ein Verfahren namens Retrieval-Augmented Generation (RAG). Vereinfacht läuft es in drei Schritten ab:
1. Dokumente aufbereiten
Ihre Dateien — PDFs, Office-Dokumente, Wiki-Seiten — werden eingelesen, in kleine Abschnitte zerlegt und in eine durchsuchbare Datenbank überführt. Dieser Schritt entscheidet maßgeblich über die spätere Qualität: Schlecht strukturierte oder veraltete Quellen liefern auch schlechte Antworten.
2. Passende Stellen finden
Stellt jemand eine Frage, sucht das System zunächst die thematisch passenden Textabschnitte heraus — nicht per Stichwort, sondern nach inhaltlicher Bedeutung. So findet es auch dann etwas, wenn die Frage anders formuliert ist als das Dokument.
3. Antwort formulieren
Erst jetzt kommt das Sprachmodell ins Spiel. Es erhält die gefundenen Textstellen plus die Frage und formuliert daraus eine Antwort — ergänzt um den Verweis auf die Quelle. Der Vorteil dieses Aufbaus: Das Modell erfindet idealerweise nichts, sondern gibt wieder, was in Ihren Dokumenten steht.
Dieser Weg ist für die meisten KMU sinnvoller als ein eigens trainiertes Modell. Ein nachträgliches Spezialtraining ist teuer, muss bei jeder Dokumentänderung wiederholt werden und macht Quellenangaben schwierig. RAG dagegen bleibt aktuell: Sie tauschen einfach das Dokument aus, und der Assistent antwortet beim nächsten Mal auf Basis der neuen Version.
Was ein Projekt kostet und wie lange es dauert
Bei den Kosten gibt es grob zwei Wege. Fertige Lösungen als Software-Abo liegen häufig im Bereich weniger zehn Euro pro Nutzer und Monat; sie sind schnell startklar, aber weniger flexibel bei eigenen Schnittstellen und Datenquellen. Eine individuell aufgesetzte Lösung verursacht einmalige Projektkosten, die je nach Umfang von wenigen tausend bis in den oberen fünfstelligen Bereich reichen können — plus laufende Betriebskosten für Hosting und die genutzten KI-Modelle.
Die laufenden Modellkosten pro Frage bewegen sich bei typischen Anwendungen im Cent-Bereich und sind selten der Engpass. Größter Aufwandstreiber ist fast immer die Datenaufbereitung, nicht die KI selbst. Für einen aussagekräftigen Pilotbetrieb sollten Sie realistisch mit einigen Wochen rechnen — verlässliche Zahlen hängen stark von Datenmenge und -qualität ab.
Datenschutz nicht vergessen
Sobald Firmendokumente personenbezogene Daten enthalten — etwa Personalakten oder Kundenkorrespondenz — ist die DSGVO im Spiel. Klären Sie früh, wo die Daten verarbeitet werden, ob ein Auftragsverarbeitungsvertrag vorliegt und wer auf welche Inhalte zugreifen darf. Ein Berechtigungskonzept ist Pflicht: Der Assistent darf einer Person nur das zeigen, was sie auch sonst sehen dürfte. Die Detailfragen dazu sprengen diesen Rahmen, gehören aber von Anfang an auf die Agenda.
Fünf häufige Stolpersteine
- Veraltete Quellen: Liegen drei Versionen einer Richtlinie im Bestand, zitiert der Assistent womöglich die falsche. Vorher aufräumen.
- Fehlende Quellenangaben: Ohne nachprüfbare Belege sinkt das Vertrauen — und das Risiko, dass falsche Antworten unbemerkt bleiben, steigt.
- Zu großer Anfang: Wer gleich das gesamte Dateisystem einspeist, bekommt unscharfe Antworten. Klein und thematisch fokussiert starten.
- Keine Rückkanäle: Ohne Möglichkeit, schlechte Antworten zu melden, lässt sich das System nicht verbessern.
- Erwartung von Allwissenheit: Der Assistent kann nur beantworten, was dokumentiert ist. Lücken im Wissen bleiben Lücken.
In vier Schritten zum Pilotprojekt
- Anwendungsfall wählen: Nehmen Sie einen klar abgegrenzten Bereich mit hohem Frageaufkommen, etwa den technischen Support für eine Produktlinie.
- Datenbasis kuratieren: Sammeln Sie die relevanten, aktuellen Dokumente und sortieren Sie Doppeltes und Veraltetes aus.
- Pilot mit echter Nutzergruppe: Lassen Sie eine kleine Gruppe das System im Alltag testen und Antworten bewerten — gut, falsch, unvollständig.
- Messen und entscheiden: Werten Sie Trefferquote und Zeitersparnis aus und entscheiden Sie dann über die Ausweitung auf weitere Bereiche.
Fazit
Ein interner KI-Assistent macht aus verstreutem Dokumentenwissen eine Ressource, die Mitarbeitende in Sekunden befragen können. Der technische Weg über RAG ist für den Mittelstand gut beherrschbar, solange Sie klein anfangen, die Datenbasis sauber halten und Quellenangaben verlangen. Der ehrlichste Start ist ein eng umrissenes Pilotprojekt: Es zeigt mit überschaubarem Aufwand, wie viel Ihr eigenes Wissen wert ist, wenn es endlich auffindbar wird.