Das Problem: ein brillanter Assistent, der Ihr Unternehmen nicht kennt
Ein Foundation-Modell hat einen enormen Teil des öffentlichen Internets gelesen, aber es hat nie Ihre Preisliste, Ihre Serviceverträge, Ihre Montageanleitungen oder das Richtlinien-Update der vergangenen Woche gesehen. Stellen Sie ihm eine Frage zu Ihrem Unternehmen, hat es zwei Möglichkeiten: zugeben, dass es die Antwort nicht kennt, oder — weitaus häufiger — eine selbstbewusste, flüssige, plausibel klingende Antwort produzieren, die schlicht erfunden ist. Das nennt man eine Halluzination, und sie ist der wichtigste Grund, warum ein roher Chatbot vor Kund:innen nicht sicher einsetzbar ist.
Die Lösung besteht nicht darin, das Modell „klüger“ zu machen. Sie besteht darin, das Modell überhaupt nicht mehr zu bitten, sich Ihre Fakten zu merken. Stattdessen schlagen wir Ihre Fakten im Moment der Frage nach und reichen sie dem Modell zum Lesen. Diese Technik heißt Retrieval-Augmented Generation oder kurz RAG.
Die Kernidee von RAG: Fragen Sie das Modell nicht, woran es sich erinnert — geben Sie ihm die richtigen Dokumente und bitten Sie es, ausschließlich daraus zu antworten. Das Modell wird zum sorgfältigen Leser, nicht zum Orakel.
Erst abrufen, dann generieren
RAG hat zwei Schritte, und die Reihenfolge ist entscheidend.
- Abrufen. Trifft eine Frage ein, durchsucht das System Ihre Wissensbasis und holt die Handvoll Passagen zurück, die die Antwort am wahrscheinlichsten enthalten. Ihre Dokumente werden dafür nicht als ganze Dateien gespeichert — sie werden in kleine, in sich geschlossene Stücke zerlegt, sogenannte Chunks (je ein, zwei Absätze), damit das System nur den relevanten Teil zurückgeben kann statt eines kompletten 80-seitigen Handbuchs.
- Generieren. Diese Chunks werden dem Modell zusammen mit der Frage der Nutzer:in und einer schlichten Anweisung vorgelegt: Antworte ausschließlich anhand des bereitgestellten Textes, und wenn die Antwort hier nicht steht, sage das. Das Modell formuliert dann eine natürlichsprachige Antwort, die auf echtem, abgerufenem Material gegründet ist.
Ein konkretes Beispiel. Eine Kundin fragt den Assistenten eines Heizungsbauers: „Warten Sie auch Viessmann-Kessel im Raum Stuttgart?“ Das System ruft zwei Chunks ab — das Servicegebiet-Dokument des Unternehmens und die Liste der unterstützten Marken — und das Modell antwortet: „Ja, wir warten Viessmann-Geräte im gesamten Raum Stuttgart; so können Sie einen Termin buchen.“ Der Fakt stammt aus Ihrem Dokument, nicht aus der Fantasie des Modells.
Wie der Abruf tatsächlich den richtigen Chunk findet
Altmodische Suche gleicht Schlüsselwörter ab. Steht in Ihrem Dokument „jährliche Wartung“ und die Kundin tippt „Service pro Jahr“, geht die Schlüsselwortsuche daran vorbei. RAG setzt in der Regel auf etwas Besseres.
Vektor- (semantische) Suche
Jeder Chunk wird in eine Liste von Zahlen umgewandelt — einen Vektor — die seine Bedeutung erfasst, nicht die genauen Wörter. Auch die Frage wird in einen Vektor verwandelt, und das System gibt die Chunks zurück, deren Bedeutung der Frage am nächsten liegt. „Service pro Jahr“ und „jährliche Wartung“ landen nahe beieinander, weil sie dasselbe bedeuten. Das ist semantische Suche: Abgleich auf Bedeutung statt auf Schreibweise. (Diese Bedeutungsvektoren, Embeddings genannt, werden in der Lektion zu Foundation-Modellen eingeführt.)
Hybrid-Suche
Reiner Bedeutungsabgleich kann an exakten Kennungen straucheln — eine Teilenummer wie „WB2C-19“ trägt wenig „Bedeutung“, an der sich anknüpfen ließe. Deshalb fahren die meisten ernstzunehmenden Systeme eine Hybrid-Suche: klassischer Schlüsselwortabgleich und semantischer Abgleich zugleich, danach werden die Ergebnisse zusammengeführt. So erhalten Sie die Präzision exakter Begriffe und die Flexibilität der Bedeutung. Sie werden das nicht selbst einstellen, aber der Begriff erklärt, warum ein guter geerdeter Assistent das Naheliegende selten verfehlt.
Warum Quellenangaben der eigentliche Kern sind
Weil eine RAG-Antwort aus konkret abgerufenen Chunks aufgebaut wird, weiß das System genau, welche Quellen es verwendet hat. Das bedeutet: Es kann sie zeigen. Eine geerdete Antwort kann eine Quellenangabe tragen — „gemäß Ihrer Servicerichtlinie 2026, Abschnitt 4“ —, die ein Mensch anklicken und überprüfen kann.
Das ist keine Zierde. Quellenangaben verwandeln eine Antwort von „vertrau mir“ in „prüf mich nach“. Eine Mitarbeiterin kann jede Aussage in Sekunden gegen ihre Quelle abgleichen; eine Kundin sieht die Antwort an einem echten Dokument verankert, nicht an einer Vermutung. Das dreht auch das Sicherheitsmodell um: Statt zu hoffen, dass das Modell nicht gelogen hat, können Sie beweisen, woraus es geschöpft hat. Das macht eine Antwort belastbar, wenn es auf Genauigkeit ankommt — und auf diesem Gedanken der menschlichen Verifikation bauen wir in der Lektion zu verantwortungsvoller KI auf.
RAG gegenüber Fine-Tuning: Fakten aktuell halten
Es gibt einen weiteren Weg, einem Modell Ihre Informationen beizubringen: Fine-Tuning, bei dem Sie das Modell auf Ihren Daten weitertrainieren, sodass die Fakten in seine internen Gewichte eingebrannt werden. Für faktisches, sich schnell veränderndes Wissen ist das meist das falsche Werkzeug.
- Fine-Tuning brennt Fakten ein. Ändern Sie einen Preis, zitiert das Modell selbstbewusst weiterhin den alten, bis Sie es neu trainieren — ein teurer, langsamer und kompetenzintensiver Vorgang. Das Wissen veraltet in dem Moment, in dem sich Ihr Geschäft verändert.
- RAG hält Fakten getrennt. Wissen lebt in Dokumenten, die das Modell zum Zeitpunkt der Frage liest. Aktualisieren Sie ein Dokument — korrigieren Sie einen Preis, ergänzen Sie eine neue Richtlinie, nehmen Sie ein Produkt vom Markt — und schon die nächste Antwort spiegelt die Änderung wider. Kein Neutraining, keine GPUs, kein Warten.
Faustregel: Fine-Tuning, um den Stil oder die Fähigkeit eines Modells zu ändern; RAG, um zu ändern, was es weiß. Für Mittelstands-Wissen, das sich wöchentlich ändert, gewinnt RAG, weil das Bearbeiten eines Dokuments etwas ist, das Ihr Team ohnehin schon beherrscht.
Diese Trennung hat noch einen leiseren Vorteil: Sie können Ihre Wissensbasis lesen, korrigieren und prüfen. Die Gewichte eines feinjustierten Modells können Sie nicht lesen.
Wie sich Erdung auf einen gesteuerten Assistenten überträgt
Hier hört RAG auf, ein Kunstgriff zu sein, und wird zu einem Governance-Modell. Auf der Wegenty-Plattform bedient ein lokales Modell viele Wissensbasen, und die Erdung zieht eine saubere Linie zwischen dem, was privat, und dem, was öffentlich ist.
- Die interne Wissensbasis ist die Obermenge. Alles, was Ihre Organisation weiß — einschließlich sensiblen, vorläufigen oder rein internen Materials — lebt hier. Der Assistent Ihrer Mitarbeitenden ist auf der Gesamtheit davon geerdet.
- Der öffentliche Agent ist eine gesteuerte Projektion davon. Der kundenseitige Assistent ist nur auf der Teilmenge der Chunks geerdet, die Sie ausdrücklich für die Außenwelt freigegeben haben. Wissen fließt von intern nach öffentlich durch bewusste Freigabe — niemals umgekehrt. Nichts erreicht eine Kundin, das nicht jemand freigegeben hat.
Wenn der öffentliche Agent keinen freigegebenen Chunk findet, der eine Frage beantwortet, ist das richtige Verhalten nicht, zu improvisieren — sondern das zu sagen und an einen Menschen zu übergeben. Die Antwort dieses Menschen kann anschließend über eine Korrekturschleife zurück in die Wissensbasis aufgenommen werden, sodass die nächste Person, die fragt, automatisch eine geerdete Antwort mit Quellenangabe erhält. Der Assistent wird besser, wie es eine gut eingearbeitete Fachkraft tut: indem er aufschreibt, was er lernt.
Sie können das in Aktion erleben — geerdete Antworten, echte Quellenangaben, reibungslose Übergaben — in der Live-Demo, wo der Agent auf einem echten Korpus antwortet, ohne dass etwas das Haus verlässt.