Wie können wir BärGPT Verwaltungswissen beibringen?

Diese Frage hat uns bei der Weiterentwicklung unseres KI-Chatbots zuletzt umgetrieben. Denn die landläufige Meinung, ein KI-Modell “einfach” mit den jeweiligen Dateien zu trainieren, war für uns aufgrund der vergleichsweise langsamen Iterationsgeschwindigkeit sowie der dafür benötigten enormen Rechenleistung keine Option. Wir haben uns für einen anderen Weg entschieden: dem Aufbau von Verwaltungswissen via Retrieval Augmented Generation (RAG).

Wieso kein Fine-Tuning?

Fine-Tuning bezeichnet im Machine Learning den Prozess, bestehende KI-Modelle an spezielle Aufgaben oder Prozesse anzupassen. Dies ist jedoch recht zeit- und ressourcenaufwendig – je größer das Grundmodell, desto mehr Rechenkapazität und Trainingszeit wird benötigt, um es zu fine-tunen. Dazu kommt, dass die Informationen, mit denen man das Modell füttert, ab diesem Punkt nicht mehr aktualisiert werden können, außer man trainiert das Modell erneut mit z.B. neueren Versionen der Dokumente oder zusätzlichen Dokumenten. In diesem Fall kann man wiederum nicht ausschließen, dass das Modell sich nicht doch in manchen Situationen noch an die alte Version der Daten “erinnert“ und dann falsche Informationen wiedergibt. Deshalb haben wir uns gegen ein Fine-Tuning des von uns genutzten Open-Source Large Language Models (LLM) der europäischen KI-Firma Mistral entschieden.

Spezialwissen durch RAG 

Retrieval Augmented Generation, kurz RAG, ist eine Methode, um das bestehende Wissen eines LLMs zu erweitern mit zusätzlichem Wissen aus einer Wissensdatenbank. Wir haben bereits RAG genutzt, für den Fall, dass Nutzende eigene Dokumente bei BärGPT hochladen und Fragen zu diesen stellen. Das funktioniert technisch so, dass wir den Inhalt der Dokumente per Optical Character Recognition (OCR) auslesen und in unserer Datenbank speichern. Dieser Inhalt wird dann in kleine Abschnitte aufgeteilt und es werden sogenannte Embedding-Vektoren dafür generiert. Diese hochdimensionalen Vektoren können semantische Eigenschaften des Textabschnitts speichern und ermöglichen eine Suche nach ähnlicher Semantik, sodass bei einer Suchanfrage von Nutzer:innen Wörter bzw. Abschnitte mit ähnlicher Bedeutung gefunden werden können.  

Dies hat den Vorteil, dass das KI-Modell immer die für die jeweilige Nutzenden-Anfrage relevanten Daten zur Verfügung hat, ohne neu trainiert werden zu müssen. RAG hilft also dabei, dass das Modell das gleiche Wissen über ein bestimmtes Dokument hat, wie die Person, die es hochgeladen hat.

Diese Funktion wollten wir auch für allgemeines Verwaltungswissen nutzen. Denn auch dieses muss ggf. in bestimmten Abständen aktualisiert oder erweitert werden. Unsere Testpersonen wiederum gehen davon aus, dass BärGPT dieses Wissen bereits hat, da der KI-Assistent sich im Verwaltungskontext auskennen soll. Deswegen würden sie sehr wahrscheinlich nicht zunächst allgemeine Verwaltungsdokumente wie etwa die Gemeinsame Geschäftsordnung der Berliner Verwaltung (GGO) hochladen und zum Chat hinzufügen, wie es aktuell bei ihren eigenen Dokumenten der Fall ist.

Basiswissen für alle

Deshalb haben wir eine andere Variante genutzt: Zusätzlich zu den manuell durch Nutzende hochgeladenen Dokumenten, gibt es nun eine weitere Klasse von Dokumenten, welche wir Basiswissen-Dokumente nennen. Diese werden von Admins, also aktuell von unserem Entwicklungsteam, hochgeladen und durchlaufen denselben Verarbeitungsprozess wie die privaten Dokumente. Der Unterschied ist hierbei, dass es keine:n Nutzenden mehr gibt, dem oder der das Dokument “gehört”, stattdessen gehört es einer Zugriffsgruppe. Diese Gruppen können in Zukunft auch Use Cases abdecken, in denen bestimmte Dokumente nur für bestimmte Verwaltungseinheiten oder Abteilungen relevant sind.

Wir beginnen erstmal mit einer einzigen Zugriffsgruppe, in welcher sich alle Nutzenden befinden. Dokumente, die für die Gruppe hochgeladen wurden, sind also für alle Mitarbeiter:innen der Verwaltung relevant und führen dazu, dass BärGPT noch spezifischere Fragen beantworten kann, die die Berliner Verwaltung betreffen.

Wann benötigt das Modell Basiswissen? 

Nicht für jede Anfrage an BärGPT ist dieses Basiswissen notwendig, bei manchen simplen Fragen kann man sich den Umweg über die semantische Dokumentensuche sparen und das LLM kann diese direkt aus dem eigenen Trainingswissen beantworten. Deswegen haben wir diese Basiswissen-Suche als sogenanntes “Tool” gestaltet. Tools sind Funktionen, die dem KI-Modell zur Verfügung stehen und die es “nach eigenem Ermessen” nutzen oder eben nicht nutzen kann. Das hat den Vorteil, dass das Modell selbst “entscheidet”, ob es für eine Frage spezielle Verwaltungsinformationen braucht, die es im Training noch nicht zur Verfügung hatte oder eben nicht. Falls es dann trotzdem Anfragen zu privaten Dokumenten gibt, wird dieses Tool dann aktuell noch ausgeschaltet. Ob dieses Wissen in diesem Fall noch zusätzlich benötigt wird, z.B. um bestimmte Begrifflichkeit oder Paragrafen aus den gegebenen Dokumenten zu verstehen, werden wir in weiteren User:innen-Tests untersuchen.

BärGPT “lernt” Verwaltungswissen 

In den kommenden Wochen wird unser Service-Design-Team einmal mehr in den Austausch mit Sachbearbeiter:innen aus der Verwaltung begeben, um zu erfahren, welche Dokumente BärGPT kennen und ggf. zitieren können muss. Sobald wir eine verifizierte Liste von Dokumenten gesammelt haben, werden wir diese als Basiswissen zur Verfügung stellen, sodass Anfragen zu Inhalten dazu künftig möglichst fehlerfrei und aktuell beantwortet werden können. Als nächsten Schritt werden wir dann ebenfalls speziellere Dokumente sammeln, die Wissen für bestimmte Unterabteilungen oder Bezirksämter enthalten, welche wir dann durch zusätzliche Zugriffsgruppen zur Verfügung stellen wollen.

In den folgenden Devlogs erfahrt Ihr, wie es mit diesem Feature und weiteren Funktionen weitergeht. Mehr Informationen zu BärGPT findet Ihr auf unserer Projektseite. Stay tuned!