Sobald ein Sprachmodell mehr können soll, als allgemeine Fragen zu beantworten, taucht dieselbe Frage auf: Wie bekommt die KI das Wissen und den Stil Ihres Unternehmens? In der Praxis fällt dann schnell das Schlagwort Fine-Tuning oder RAG, zwei sehr unterschiedliche Wege, die oft verwechselt werden. Dieser Ratgeber erklärt beide Methoden verständlich, zeigt, wann welche passt, und gibt eine ehrliche Empfehlung für den Mittelstand.
Drei Wege, ein KI-Modell anzupassen
Grundsätzlich gibt es drei Ebenen, wie Sie ein vortrainiertes Sprachmodell (LLM) auf Ihre Aufgaben zuschneiden, von einfach bis aufwendig:
- Prompting / Kontext: Sie geben dem Modell die nötigen Informationen und Anweisungen direkt im Prompt mit. Kein Training, sofort einsetzbar.
- RAG (Retrieval-Augmented Generation): Ihr Firmenwissen liegt außerhalb des Modells in einer durchsuchbaren Datenbank. Zur Laufzeit werden die passenden Textstellen gesucht und dem Modell als Kontext mitgegeben.
- Fine-Tuning: Das Modell selbst wird mit eigenen Beispielen nachtrainiert, seine internen Gewichte werden verändert.
Viele Projekte springen zu früh zum Fine-Tuning, weil es nach der „richtigen“ KI-Anpassung klingt. In den meisten Fällen ist das ein Fehler.
Was RAG leistet, und was nicht
Bei RAG bleibt Ihr Wissen dort, wo es hingehört: in Dokumenten, Handbüchern, Preislisten oder Wiki-Artikeln. Diese werden in kleine Abschnitte zerlegt, in einer Vektordatenbank abgelegt und bei jeder Anfrage nach den relevantesten Passagen durchsucht. Das Modell antwortet dann auf Basis dieser konkreten Fundstellen.
Stärken von RAG:
- Aktualität: Ändert sich ein Preis oder eine Richtlinie, tauschen Sie das Dokument aus, kein erneutes Training nötig.
- Nachvollziehbarkeit: Die KI kann die Quelle mitliefern, sodass Antworten überprüfbar werden.
- Datenhoheit: Ihre Daten fließen nicht dauerhaft in ein Modell, sondern bleiben in Ihrer Datenbank.
- Günstiger Start: Kein Trainingslauf, überschaubarer Aufwand für den ersten Prototyp.
Grenzen: RAG steht und fällt mit der Suchqualität. Sind die Dokumente schlecht strukturiert oder die Abschnitte falsch geschnitten, findet das System die richtige Stelle nicht. Zudem wird der Prompt länger, was Rechenkosten und Antwortzeit erhöht.
Was Fine-Tuning leistet, und was nicht
Beim Fine-Tuning zeigen Sie dem Modell viele Beispiele der Form „So eine Eingabe, so soll die Ausgabe aussehen“. Das Modell lernt daraus ein Muster: einen bestimmten Ton, ein festes Format, eine Klassifikationslogik.
Der wichtigste Merksatz lautet: Fine-Tuning ist gut für Verhalten, nicht für Wissen. Sie prägen dem Modell nicht zuverlässig Fakten ein, dafür ist es nicht gemacht, und erfundene Antworten (Halluzinationen) verschwinden dadurch nicht. Was Sie gut trainieren können, ist wie das Modell antwortet.
Typische sinnvolle Einsätze:
- Ein durchgängig konsistenter Schreibstil oder eine feste Corporate-Tonalität.
- Ein spezielles Ausgabeformat, das sich per Prompt nur schwer erzwingen lässt.
- Wiederkehrende Klassifikations- oder Extraktionsaufgaben mit klarem Schema.
Grenzen: Sie brauchen genügend gute Trainingsbeispiele, erfahrungsgemäß eher Hunderte als eine Handvoll, sauber aufbereitet. Neues Wissen bedeutet erneutes Training. Der Aufwand für Datenaufbereitung, Trainingsläufe und Qualitätskontrolle ist deutlich höher, und personenbezogene Trainingsdaten werfen zusätzliche Datenschutzfragen auf.
Die einfache Faustregel
Wenn Sie sich zwischen den Methoden entscheiden müssen, hilft diese Orientierung:
- Es geht um Fakten und Wissen (Produktdetails, Verträge, interne Regeln, die sich ändern) → RAG.
- Es geht um Stil, Ton, Format oder eine feste Aufgabenlogik → Fine-Tuning.
- Es geht nur um einzelne, klar formulierbare Anweisungen → oft reicht schon gutes Prompting.
Beide Ansätze schließen sich nicht aus. In anspruchsvollen Anwendungen kombiniert man sie: Fine-Tuning sorgt für den passenden Ton und ein sauberes Format, RAG liefert die jeweils aktuellen, belegbaren Inhalte dazu.
Was kostet das, und was ist realistisch?
Seriöse Pauschalpreise lassen sich nicht nennen, weil sie stark von Datenmenge, Modell und Anbieter abhängen. Als Größenordnung gilt aber: Ein RAG-Prototyp ist meist schneller und günstiger startklar, weil kein Trainingslauf und keine große Beispielsammlung nötig sind. Fine-Tuning verursacht zusätzlichen Aufwand für die Erstellung der Trainingsdaten, für Testläufe und für die spätere Pflege, dieser Aufwand wird häufig unterschätzt. Prüfen Sie konkrete Konditionen und Modellpreise immer direkt beim jeweiligen Anbieter, da sie sich ändern.
Empfehlung für den Mittelstand
Für die meisten KMU-Anwendungsfälle, von der internen Wissenssuche bis zum Support-Assistenten, ist die pragmatische Reihenfolge klar:
- Erst Prompting: Was lässt sich allein durch klare Anweisungen und mitgegebenen Kontext lösen?
- Dann RAG: Sobald es um viel eigenes, sich änderndes Firmenwissen geht, ist RAG fast immer der richtige Hebel, aktualisierbar, belegbar, datenschonend.
- Fine-Tuning nur bei speziellem Bedarf: Wenn ein konsistenter Stil oder ein festes Format nachweislich nicht anders erreichbar ist, und Sie genügend saubere Beispiele haben.
Ein häufiger, teurer Irrweg ist der umgekehrte Reflex: gleich ein Modell trainieren zu wollen, um „das Firmenwissen einzubauen“. Genau dafür ist Fine-Tuning nicht gedacht. Wer diese Rollenverteilung von Anfang an versteht, spart Zeit, Geld und Enttäuschungen.
Unsicher, ob in Ihrem Fall RAG, Fine-Tuning oder eine Kombination sinnvoll ist? In einem kurzen Erstgespräch lässt sich das anhand Ihrer Daten und Ziele meist schnell einordnen, bevor Aufwand in die falsche Richtung fließt.
Passend dazu: Terminvereinbarung automatisieren mit KI