Agentic Context Engineering (ACE) in RAG-Pipelines: Wie kann sich ein KI-System im laufenden Betrieb selbständig verbessern?

Executive Summary: Für den erfolgreichen Einsatz von KI-Agenten ist eine kuratierte Wissensbasis die Voraussetzung. Doch wie können sich agentische KI-Systeme im laufenden Betrieb selbständig verbessern? Diese Frage stand im Mittelpunkt unseres gemeinsamen Projekts mit der TUM zum Thema „Agentica Context Engineering (ACE) in RAG-Pipelines“. Das Ergebnis zeigt: ACE ist ein methodisches Gerüst, um Lernprozesse in KI-Systeme zu integrieren und zu steuern. Langfristig ist dies ein wichtiger Schritt hin zu kontinuierlich lernenden KI-Assistenten, deren Weiterentwicklung für Versicherer insbesondere im Hinblick auf regulatorische Fragestellungen nachvollziehbar bleibt.

Agentic Context Engineering (ACE) in RAG-Pipelines: Wie kann sich ein KI-System im laufenden Betrieb selbständig verbessern?

Immer mehr Unternehmen setzen KI-Agenten produktiv ein, die mehrstufige Handlungsketten selbständig planen und ausführen. Für den erfolgreichen Einsatz von KI-Agenten ist eine gepflegte und kuratierte Wissensbasis die Voraussetzung. Doch wie können KI-Agenten dieses Wissen im laufenden Betrieb erweitern und aus neuen Erfahrungen lernen?

Mit msg.ask:it haben wir eine erfolgreiche agentenbasierte Wissensplattform entwickelt, die hochwertige, zuverlässige Informationen liefert und einen bequemen Zugriff auf technische Dokumentationen, regulatorische Rahmenbedingungen und interne Wissensquellen in der Versicherungsbranche ermöglicht. Damit ein agentisches KI-System wie msg.ask:it einen dauerhaften Mehrwert in Unternehmen schafft, ist es essenziell, dass es sich während seines Einsatzes weiterentwickeln und verbessern kann. Große Sprachmodelle sind beeindruckend leistungsfähig, aber im operativen Gebrauch statisch. Gängige Methoden wie manuelles Prompt-Engineering, Retrieval Augmented Generation (RAG) und agentische Systeme adressieren zwar wichtige Teile dieses Problems, sorgen aber nicht dafür, dass die KI-Systeme selbständig dazulernen.

Gemeinsames Projekt mit der TU München: ACE in einer RAG-Pipeline

Wie kann ein KI-System im laufenden Betrieb aus seinen eigenen Fehlern lernen, ohne dass das Modell neu trainiert oder Prompts manuell angepasst werden müssen? Genau diese Frage stand im Zentrum eines gemeinsamen Projekts von msg life und dem Munich Data Science Institute (MDSI) der TU München. Im Rahmen des TUM Data Innovation Labs haben Studierende die Methode des Agentic Context Engineerings (ACE) in einer RAG-Pipeline prototypisch umgesetzt. ACE optimiert nicht die Modellgewichte, sondern konzentriert sich auf den gesamten Kontext, mit dem das Modell oder der Agent arbeitet. Dabei werden Strategien, häufige Fehler und wertvolle Lösungswege in einem sprachbasierten Playbook, wie in einer Art Anleitung, festgehalten und schrittweise weiterentwickelt.

Agentic Context Engineering ersetzt starres Prompting durch ein lernendes, sprachbasiertes Playbook.

ACE basiert nicht auf statischen System-Prompts, sondern verwendet ein selbstlernendes Playbook[1]. In diesem Playbook werden kontinuierlich bewährte Strategien gesammelt und verfeinert, sodass bestehendes Domänenwissen nachhaltig erweitert wird. Gleichzeitig wird durch diesen Ansatz menschliches und maschinelles Feedback systematisch verarbeitet, um wiederkehrende Fehler zu vermeiden und eine dauerhafte Verbesserung zu erzielen:

• Das Playbook wächst über die Zeit mit jeder bearbeiteten Aufgabe.
• Es ist für Menschen lesbar und damit nachvollziehbar.
• Es identifiziert Punkte, an welchen Agenten regelmäßig scheitern.

Um dies zu erreichen, arbeitet das ACE-Framework mit drei spezialisierten Agenten:

• Ein Generator löst Aufgaben mithilfe des Playbooks, das anfangs noch leer ist, und erzeugt dabei detaillierte Bearbeitungspfade und Gedankenabläufe (Reasoning-Trajektorien), die Entscheidungen und Ergebnisse nachvollziehbar machen.
• Ein Reflector analysiert das Ergebnis und mögliche Feedback-Signale zusammen mit den Reasoning-Trajektorien, um erfolgreiche Strategien und wiederkehrende Fehler zu identifizieren.
• Ein Curator übersetzt diese Einsichten in kompakte Updates, sodass die neu gewonnenen Kenntnisse nachhaltig und strukturiert in das Playbook aufgenommen werden.

Das Ergebnis ist ein lernfähiger Kontext, durch den sich das KI-System schrittweise selbst verbessern kann.

Versuchsaufbau: Drei Varianten im Vergleich

Diese Methodik haben die Studierenden auf einen konkreten Datensatz mit Frage-Antwort-Paaren übertragen. Dabei muss der Agent mithilfe einer RAG-Pipeline die vorgegebenen Fragen anhand von verschiedenen Wikipedia-Artikeln beantworten. Der Agent erhält Zugriff auf verschiedene Suchwerkzeuge, um die Artikel zu durchsuchen, und muss selbst entscheiden, wann und wie oft er welche Suchstrategie verwendet. Die Fragen des Datensatzes sind bewusst so gestaltet, dass aufwendige Gedankenschritte auf Seiten des Agenten notwendig sind und eine einfache Einzelsuche nicht ausreicht (sog. „Multi-Hop-Reasoning“)[2].

Um zu untersuchen, wie ACE den Umgang mit derartig komplexen Retrieval-Aufgaben verbessern kann, wurden drei Varianten gegenübergestellt:

1. Statisches Retrieval: ein fest integrierter Suchschritt, der vor jeder Anfrage in gleicher Weise ausgeführt wird.
2. Agentisches Retrieval: ein Agent, der dynamisch entscheidet, welche Suchwerkzeuge eingesetzt werden sollen.
3. ACE-Pipeline: derselbe Agent, zusätzlich ausgestattet mit einem trainierten Playbook, in welchem erfolgreiche Such-Strategien und Fehler systematisch gesammelt wurden.

Zentrale Erkenntnisse aus dem Projekt

Das Projekt hat gezeigt, dass ein komplexes KI-Konzept wie ACE erfolgreich in einer praxisnahen Pipeline umgesetzt werden kann. Insbesondere konnte demonstriert werden, dass das KI-System aus seinen eigenen Fehlern lernen kann. Schon bei einem zweiten Durchlauf konnten Anfragen, die beim ersten Versuch noch scheiterten, mithilfe des erweiterten Playbooks erfolgreich gelöst werden. Damit erreicht ACE ein echtes „Lernen aus Erfahrung“, ohne dass die zugrundeliegenden Modelle neu trainiert wurden. Außerdem konnte der manuelle Aufwand beim Prompt-Engineering reduziert werden. Statt einzelne Eingaben und Systemprompts per Hand zu verfeinern, wird durch ACE ein klar definierter Optimierungsprozess geschaffen, der Verbesserungen reproduzierbar macht.

Aufgrund des begrenzten Umfangs des Projekts lassen sich aus den drei untersuchten Varianten allerdings keine statistisch signifikanten Verbesserungsraten ableiten. Einen Anhaltspunkt für das Potenzial des Ansatzes bieten daher die Ergebnisse der originalen ACE-Experimenten: Auf dem AppWorld-Benchmark, der komplexe agentische Aufgaben untersucht, verbessert ACE die Leistung gegenüber den dort betrachteten Vergleichsverfahren im Durchschnitt um 10,6 Prozentpunkte[3]. Die Autoren zeigen damit, dass ein Agent allein durch die systematische Weiterentwicklung seines Kontexts deutlich leistungsfähiger werden kann.

Die Ergebnisse des Papers sind aufgrund des unterschiedlichen Benchmarks nicht direkt auf den Versuchsaufbau übertragbar. Jedoch bestätigen sie die Beobachtung, dass ein vortrainiertes Playbook die Problemlöse-Fähigkeiten eines Agenten verbessern kann.

Im Projekt konnten darüber hinaus wichtige Erkenntnisse durch die Analyse der gesammelten Strategien des Playbooks gewonnen werden und so die Nachvollziehbarkeit des gesamten KI-Systems verbessert werden:

• Schwierige Anfragen und wiederkehrende Fehler wurden sichtbar.
• Qualitätsmängel in den Trainingsdaten wurden erkannt.
• Kritische Stellen im Suchwerkzeug-Design oder in der Auswertung wurden identifiziert.

Durch ACE erhalten Entwickler so einen tiefen Einblick in die Arbeitsweise und Schwachstellen der implementierten KI-Prozesse.

Fazit

ACE ist ein wichtiger Baustein, um den Einsatz von KI-Assistenten weiter zu verbessern:

• Erfahrungen aus dem TUM Data Innovation Lab fließen direkt in die Weiterentwicklung unserer KI-Lösungen ein – etwa bei msg.ask:it und weiteren agentischen Systemen in der Versicherungsbranche.
• ACE ist ein methodisches Gerüst, um Lernprozesse in KI-Systeme zu integrieren und zu steuern.
• Langfristig ist dies ein wichtiger Schritt hin zu kontinuierlich lernenden KI-Assistenten, deren Weiterentwicklung für Versicherer insbesondere im Hinblick auf regulatorische Fragestellungen nachvollziehbar bleibt. Denn das sich weiter entwickelnde Playbook ist lesbar und damit auditierbar.

Das Studierendenprojekt hat damit nicht nur gezeigt, wie ACE in einer konkreten Pipeline umgesetzt werden kann, sondern liefert auch wertvolle Leitlinien für den Einsatz in realen Versicherungsanwendungen, zum Beispiel bei der Dunkelverarbeitung von Kundenanfragen. Dort können aus realen Prozessfehlern und Rückmeldungen domänenspezifische Best Practices abgeleitet werden und so die automatisierte Bearbeitung robuster und transparenter gestaltet werden.

[1] Q. Zhang, C. Hu, S. Upasani, B. Ma, F. Hong, V. Kamanuru, J. Rainton, C. Wu, M. Ji, H. Li, U. Thakker, J. Zou, and K. Olukotun, “Agentic Context Engineering: Evolving Contexts for Self-Improving Language Models,” 2025, arXiv:2510.04618.

[2] Xanh Ho et al. “Constructing a Multi-hop QA Dataset for Comprehensive Evaluation

of Reasoning Steps”. In: Proceedings of the 28th International Conference on

Computational Linguistics (COLING). 2020.

[3] Q. Zhang, C. Hu, S. Upasani, B. Ma, F. Hong, V. Kamanuru, J. Rainton, C. Wu, M. Ji, H. Li, U. Thakker, J. Zou, and K. Olukotun, “Agentic Context Engineering: Evolving Contexts for Self-Improving Language Models,” 2025, arXiv:2510.04618.