Parla unter der Haube: Was steckt drin?
Parla greift auf über 13.000 öffentlich zugängliche Dokumente zu, die im parlamentarischen Dokumentationssystem PARDOK der laufenden Wahlperiode veröffentlicht wurden. Bei einer Anfrage an Parla formuliert das System einen detaillierten Antwortvorschlag basierend auf dieser reichhaltigen Textgrundlage. Dabei referenziert Parla stets die für die Antwort verwendeten Dokumente und schafft so mehr Transparenz. Ein besonderes Merkmal von Parla ist seine Aktualität: Das System verarbeitet täglich neue Dokumente, wobei im Durchschnitt 17 neue Einträge hinzukommen. Zum Zeitpunkt dieses Artikels umfasst Parlas Wissensbasis bereits 13.813 Dokumente mit insgesamt 162.707 Seiten – eine wahre Schatzkammer an parlamentarischen Informationen, die ständig wächst und aktualisiert wird.
Die erste Fahrt: Was Nutzer:innen über Parla sagen
Seit der Veröffentlichung erhalten wir fast täglich Rückmeldung von Menschen aus Politik, Verwaltung und Zivilgesellschaft, dass Parla die Recherche in Schriftlichen Anfragen und Hauptausschussprotokollen wesentlich vereinfacht und wertvolle Zeit einspart.
Ein knappes Jahr ist eine halbe Ewigkeit, zumindest im Bereich der Künstlichen Intelligenz. Inzwischen gibt es neue, leistungsfähigere Large Language Modelle als das initial verwendete und auch bei der Verarbeitung von PDF Dokumenten gibt es vielversprechende neue Methoden. Daher wurde es Zeit, dass wir Parla auf den neuesten Stand der Entwicklung bringen.
Prüfstand: Wie wir die Qualität testen
Eine Herausforderung in der Arbeit mit Large Language Modellen ist die objektive Bewertbarkeit der Antwortqualität, denn diese hängt von vielen Faktoren ab. So kann beispielsweise ein leicht veränderter Prompt bereits zu großen Unterschieden in der generierten Antwort führen. Selbst bei gleich formuliertem Prompt kann die Antwort bei jeder neuen Anfrage variieren. Es reicht also nicht, ein, zwei Testfragen zu stellen und bei zufriedenstellender Antwort davon auszugehen, dass die gewünschte Verbesserung reproduzierbar erzielt wurde.
Damit wir uns nicht auf unser Bauchgefühl verlassen müssen, haben wir aus den über 13.000 Dokumenten vier ausgewählt, die jeweils unterschiedliche Merkmale aufweisen:
- Hauptausschussprotokoll, 112 Seiten, Texte und Tabellen
- Schriftliche Anfrage, 17 Seiten, überwiegend Tabellen
- Schriftliche Anfrage, 8 Seiten, nur Text
- Schriftliche Anfrage, 4 Seiten, wenig Text mit starker Formatierung
Für jedes dieser Dokumente haben wir eine Tabelle angelegt, in der wir jeweils relevante Fragen aus dem Dokument und die Antworten der unterschiedlichen LLM-Versionen dazu eingetragen haben. Hier ein Beispiel für eine Frage:
| Modell | Antwort | Listet Parla das Dokument in den Ergebnissen | Qualität der Antwort faktisch richtig? |
| Gibt es OZG Dienstleistungen zum Kirchenaustritt? | |||
| ChatGPT 4o | Ja, gemäß dem Onlinezugangsgesetz (OZG) gibt es Dienstleistungen, die den Kirchenaustritt betreffen. Im Leistungskatalog (LeiKa) sind die Verwaltungsleistungen im Zusammenhang mit Kirchen und Religion erfasst. Der Kirchenaustritt fällt dabei unter das Themenfeld „Engagement & Hobby“ und trägt die Nummer 99073001000000. Zudem gibt es unter dem Themenfeld „Steuern & Zoll“ die Leistungen zur Festsetzung der Kirchensteuer und weitere relevante Dienstleistungen im Zusammenhang mit dem Kircheneintritt und -austritt(S19-15643). | – | Ja |
| Parla vor dem Update | Ja, es gibt im Rahmen des Onlinezugangsgesetzes (OZG) Überlegungen zur Digitalisierung des Kirchenaustritts. Der Kirchenaustritt ist auf Bundesebene als Möglichkeit zur Vereinfachung für die Bürgerinnen und Bürger angedacht und daher in den OZG-Umsetzungskatalog aufgenommen worden.Allerdings ist eine digitale Umsetzung der Kirchenaustrittserklärung in Berlin derzeit rechtlich nicht möglich, da eine Gesetzesänderung des Kirchenaustrittsgesetzes erforderlich ist. Derzeit plant die Senatsverwaltung für Justiz, ausgewählte OZG-Leistungen zu digitalisieren, vorausgesetzt, die Zustimmung der Senatsverwaltung für Kultur und Gesellschaftlichen Zusammenhalt liegt vor.Die Federführung für die Digitalisierung der Kirchenaustritte hat das Land Nordrhein-Westfalen, welches jedoch keine zeitnahe Umsetzung plant. Bisher zeigt kein anderes Bundesland Interesse an der digitalen Umsetzung. | Ja | Ja |
| Parla in isolierter Umgebung mit 4 Test-Dokumenten | Gemäß der vorliegenden Informationen gibt es derzeit keine OZG-Dienstleistungen zum Kirchenaustritt. Eine digitale Umsetzung des Kirchenaustritts in Berlin ist rechtlich nicht möglich, da eine Änderung des Kirchenaustrittsgesetzes erforderlich wäre. Nordrhein-Westfalen hat die Federführung für die Digitalisierung der Kirchenaustritte, plant jedoch keine zeitnahe Umsetzung. Bisher zeigt kein anderes Bundesland Interesse an der digitalen Umsetzung. | Ja | Antwort ungenau / unvollständig |
| Parla in isolierter Umgebung mit 4 Test-Dokumenten + Einsatz von LlamaParse | Ja, im Rahmen des Onlinezugangsgesetzes (OZG) sind Dienstleistungen zum Kirchenaustritt vorgesehen. Gemäß dem OZG-Umsetzungskatalog sind verschiedene Verwaltungsleistungen rund um das Thema Kirchen und Religion Teil des Vorhabens. Dazu gehören beispielsweise die Kirchensteuer Festsetzung, die Änderung beim Kircheneintritt und Kirchenaustritt sowie der Religionsunterricht und die Abmeldung vom Religionsunterricht. Allerdings ist eine digitale Umsetzung des Kirchenaustritts in Berlin derzeit rechtlich nicht möglich, da eine Gesetzesänderung erforderlich wäre. Die Federführung für die Digitalisierung der Kirchenaustritte liegt bei Nordrhein-Westfalen, das jedoch keinen Bedarf sieht. Berlin plant, ausgewählte OZG-Leistungen zu digitalisieren, wenn die Kulturverwaltung zustimmt. Bisher hat kein anderes Bundesland Interesse an der digitalen Umsetzung gezeigt. | Ja | Ja |
| Parla in isolierter Umgebung mit 4 Test-Dokumenten + Einsatz von LlamaParse + verbesserte Zusammenfassung mit gpt-4o-mini | Ja, es gibt OZG-Dienstleistungen zum Kirchenaustritt. Im Rahmen des Onlinezugangsgesetzes (OZG) wird ein einheitlicher Leistungskatalog für Verwaltungsleistungen erstellt, der auch Dienstleistungen rund um Kirchen und Religion umfasst, wie z.B. Kirchenaustritte.Allerdings ist derzeit ein online Kirchenaustritt in Berlin rechtlich nicht möglich, da das Kirchenaustrittsgesetz eine persönliche Erklärung beim Amtsgericht oder eine beglaubigte Einsendung vorschreibt. Eine digitale Umsetzung würde eine Gesetzesänderung erfordern, die von der Senatsverwaltung für Kultur und Gesellschaftlichen Zusammenhalt (SenKultGZ) initiiert werden müsste. | Ja | Ja |
| Parla in isolierter Umgebung mit 4 Test-Dokumenten + Einsatz von LlamaParse + verbesserte Zusammenfassung mit gpt-4o-mini + neueres Embedding-Modell | Ja, es gibt OZG-Dienstleistungen zum Kirchenaustritt. Im Rahmen des Onlinezugangsgesetzes (OZG) wird ein einheitlicher Leistungskatalog (LeiKa) erstellt, der auch Verwaltungsleistungen im Bereich Kirchen und Religion umfasst, wie z.B. Kirchenaustritte.Allerdings ist der digitale Kirchenaustritt in Berlin derzeit rechtlich nicht möglich, da das Kirchenaustrittsgesetz eine persönliche Erklärung oder eine öffentlich beglaubigte Form verlangt. Eine Gesetzesänderung wäre erforderlich, um dies zu ermöglichen. | Ja | Ja |
| Parla nach dem Update + Einsatz von LlamaParse + verbesserte Zusammenfassung mit gpt-4o-mini + Vergrößerung des Kontextes | Ja, es gibt OZG-Dienstleistungen zum Kirchenaustritt. Im Rahmen der Umsetzung des Onlinezugangsgesetzes (OZG) wird ein einheitlicher Leistungskatalog (LeiKa) erstellt, der auch Verwaltungsleistungen im Bereich Kirchen und Religion umfasst, wie z.B. Kirchenaustritte.Allerdings ist der Kirchenaustritt derzeit nicht online möglich, da das Kirchenaustrittsgesetz eine persönliche oder öffentlich beglaubigte Erklärung beim Amtsgericht vorschreibt. Eine digitale Umsetzung würde eine Gesetzesänderung erfordern, die von der Senatsverwaltung für Kultur und Gesellschaftlichen Zusammenhalt (SenKultGZ) initiiert werden müsste.Derzeit wurden keine Maßnahmen ergriffen, um einen Online-Kirchenaustritt zu realisieren, und es gibt auch keine weiteren Bundesländer, die an einer digitalen Umsetzung interessiert sind. | Ja | Ja |
Es lässt sich leicht erkennen, dass eine rein algorithmische Bewertung des Ergebnisses nicht möglich wäre und es zwingend der händischen Überprüfung der Antwortqualität bedarf.
Im Folgenden zeigen wir auf, welche Veränderungen an Parla wir für sinnvoll erachtet und umgesetzt haben.
Parla auf Vollgas: Mit mehr PS durch die PDF-Datenwelt
Zur Verbesserung der Extraktion von PDF-Inhalten wurde die API von LlamaParse verwendet (https://docs.llamaindex.ai/en/stable/llama_cloud/llama_parse/). Diese optimiert mithilfe von generativer KI und OCR die Extraktion von Inhalten (Text, Tabellen, Bilder) aus PDFs. Insgesamt wurden 13.676 Dokumente mit 102.698 Seiten neu verarbeitet. Die Kosten hierfür beliefen sich dabei auf 287,97 US-Dollar. Aus Kostengründen wurden nur Dokumente mit maximal 128 Seiten verarbeitet – dies entspricht mehr als 99% aller in Parla enthaltenen Dokumente. PDF-Dateien mit mehr als 128 Seiten werden mit der zuvor bereits eingesetzten kostenlosen Lösung (pdf2md) verarbeitet.
Am Beispiel der Schriftlichen Anfrage S19-16557 (https://pardok.parlament-berlin.de/starweb/adis/citat/VT/19/SchrAnfr/S19-16557.pdf) wird die Verbesserung v.a. bei Seiten, die Tabellen beinhalten, deutlich:
Vorher:
Auszug aus einer Seite mit Tabelle, die Struktur der Tabelle konnte nicht korrekt erhalten werden.
5 15. Wie viele in anderen Bundesländern verbeamtete Lehrkräfte wurden seit Wiedereinführung der sogenannten Drehtürverbeamtung in den Berliner Schuldienst übernommen? (Bitte aufschlüsseln nach Einstellungsterminen.) Zu 15.: Anzahl der Versetzungen nach Wiedereinführung der Drehtürverbeamtung (Pressemitteilung vom 23.02.2022) 2022 01.06.2022 1 01.08.2022 119 10.08.2022 1 15.08.2022 1 01.09.2022 1 15.09.2022 2 01.10.2022 2 01.11.2022 2 20.11.2022 1 01.12.2022 2 **Gesamt 132** 2023 01.02.2023 9 01.03.2023 1 01.04.2023 2 01.06.2023 2 15.06.2023 1 01.08.2023 99 16.08.2023 1 **Gesamt 115**Nachher:
Auszug aus einer Seite mit Tabelle, die Struktur der Tabelle konnte korrekt und in Markdown-Syntax erhalten werden.
# 15. Wie viele in anderen Bundesländern verbeamtete Lehrkräfte wurden seit Wiedereinführung der sogenannten Drehtürverbeamtung in den Berliner Schuldienst übernommen? (Bitte aufschlüsseln nach Einstellungsterminen.)
Zu 15.: Anzahl der Versetzungen nach Wiedereinführung der Drehtürverbeamtung (Pressemitteilung vom 23.02.2022)
# 2022
| 01.06.2022 | 1 |
| ---------- | --- |
| 01.08.2022 | 119 |
| 10.08.2022 | 1 |
| 15.08.2022 | 1 |
| 01.09.2022 | 1 |
| 15.09.2022 | 2 |
| 01.10.2022 | 2 |
| 01.11.2022 | 2 |
| 20.11.2022 | 1 |
| 01.12.2022 | 2 |
| Gesamt | 132 |
# 2023
| 01.02.2023 | 9 |
| ---------- | --- |
| 01.03.2023 | 1 |
| 01.04.2023 | 2 |
| 01.06.2023 | 2 |
| 15.06.2023 | 1 |
| 01.08.2023 | 99 |
| 16.08.2023 | 1 |
| Gesamt | 115 |Präzision im Fokus: Verbesserte Zusammenfassungen
Da die Größe und Komplexität der erfassten Dokumente stark schwankt, war es notwendig, die Generierung der Zusammenfassung zu verbessern. Dies geschah, indem der Prompt angepasst und die Limitierung auf ca. 100 Wörter aufgehoben wurde. Die Länge der Zusammenfassung korreliert nun mit der Länge des Dokuments und stellt sicher, dass Informationen so gut es geht erhalten bleiben.
Neuer Prompt zur Generierung der Zusammenfassung
Du bist ein politischer Dokumenten-Assistent, der Inhalte versteht und zusammenfasst. Die Zusammenfassung sollte alle wichtigen Punkte und Hauptgedanken des Originaltexts abdecken und die Informationen gleichzeitig in ein prägnantes und leicht verständliches Format bringen. Bitte stelle sicher, dass die Zusammenfassung relevante Details und Beispiele enthält, die die Hauptgedanken unterstützen, und vermeide gleichzeitig unnötige Informationen oder Wiederholungen. Die Länge der Zusammenfassung sollte der Länge und Komplexität des Originaltexts angemessen sein und einen klaren und genauen Überblick bieten, ohne wichtige Informationen auszulassen. Verändere oder erfinde NIEMALS Fakten, Namen, Berufsbezeichnungen, Zahlen oder Datumsangaben.Am Beispiel der Schriftlichen Anfrage S19-16557 (https://pardok.parlament-berlin.de/starweb/adis/citat/VT/19/SchrAnfr/S19-16557.pdf) wird die Verbesserung deutlich:
Zusammenfassung bisher (mit dem Modell gpt-3.5 von OpenAI)
Die Abgeordnete Franziska Brychcy (LINKE) stellte am 29. August 2023 eine schriftliche Anfrage zur Verbeamtung von Lehrkräften in Berlin. Die Senatsverwaltung antwortete am 13. September 2023. 417 Absolventen des regulären Vorbereitungsdienstes erhielten ein Einstellungsangebot mit Verbeamtung. 155 Lehramtsabsolventen aus anderen Bundesländern erhielten ebenfalls Verbeamtungsangebote. 9.816 Bestandslehrkräfte beantragten Verbeamtung, von denen 533 bereits verbeamtet wurden. Die Wiedereinführung der Verbeamtung wurde als wichtiger Schritt zur Personalgewinnung im Berliner Schuldienst bewertet. Eine Erweiterung der Kompensationsregelung ist nicht geplant.Zusammenfassung neu (mit dem Modell gpt-4o-mini von OpenAI)
Die Drucksache 19/16557 dokumentiert eine schriftliche Anfrage der Abgeordneten Franziska Brychcy (Die Linke) zum Thema Wiedereinstieg in die Verbeamtung von Lehrkräften in Berlin, einschließlich der Bilanz des dritten Durchgangs und der Verbeamtung von Bestandslehrkräften. Die Anfrage wurde am 29. August 2023 eingereicht, und die Antwort der Senatsverwaltung für Bildung, Jugend und Familie erfolgte am 13. September 2023.
Wichtige Punkte der Antwort umfassen:
1. Einstellungsangebote: Zum Schuljahr 2023/24 wurden 417 Absolvent*innen des regulären Vorbereitungsdienstes ein Verbeamtungsangebot gemacht. Für das zweite Schulhalbjahr 2023/24 plant der Senat, allen geeigneten Absolvent*innen des berufsbegleitenden Vorbereitungsdienstes ebenfalls ein Verbeamtungsangebot zu unterbreiten.
2. Verbeamtung aus anderen Bundesländern: 155 Lehramtsabsolvent*innen aus anderen Bundesländern erhielten ebenfalls die Möglichkeit zur Verbeamtung.
3. Annahme der Angebote: Von den 417 Absolvent*innen des regulären Vorbereitungsdienstes wollten 294 das Angebot annehmen, 264 wurden verbeamtet, mit einem Durchschnittsalter von 33 Jahren.
4. Ablehnungen und Gründe: 46 Absolvent*innen des regulären Vorbereitungsdienstes und 34 aus anderen Bundesländern erhielten kein Verbeamtungsangebot. Gründe für Ablehnungen waren unter anderem fehlende Voraussetzungen wie Lebensalter oder gesundheitliche Gründe.
5. Bestandslehrkräfte: 9.816 Bestandslehrkräfte haben die Verbeamtung beantragt, von denen 533 verbeamtet wurden, im Durchschnitt 51 Jahre alt. 415 Lehrkräfte, die im Schuljahr 2022/23 das 52. Lebensjahr vollendeten, beantragten die Verbeamtung, wobei einige Anträge aufgrund von Fristen nicht rechtzeitig bearbeitet werden konnten.
6. Kompensation für Nicht-Verbeamtete: Lehrkräfte, die sich gegen eine Verbeamtung entscheiden oder nicht die Voraussetzungen erfüllen, können ab dem 18. September 2023 einen Nachteilsausgleich beantragen. Die Auszahlung erfolgt voraussichtlich im ersten Halbjahr 2024.
7. Zukünftige Kompensationsregelungen: Der Senat plant keine Erhöhung oder Ausweitung der bestehenden Kompensationsregelung.
8. Einfluss der Verbeamtung auf Personalgewinnung: Die Wiedereinführung der Verbeamtung wird als entscheidend für die Wettbewerbsfähigkeit Berlins bei der Personalgewinnung von Lehrkräften angesehen.
Insgesamt zeigt die Antwort, dass der Senat aktiv an der Verbeamtung von Lehrkräften arbeitet, um die Attraktivität des Berliner Schuldienstes zu erhöhen.Mehr Hubraum für Antworten: Kontext verdoppelt
Das verwendete gpt-4o-mini Modell von OpenAI bietet eine maximale Kontextlänge von 128.000 Tokens an. Bisher wurde (begrenzt durch das verwendete Modell) der Kontext auf 15.000 Tokens beschränkt. Mit dem neuen Update wird die Kontextlänge mit 30.000 Tokens verdoppelt. Das hat zur Folge, dass mehr relevante Informationen aus den Dokumenten zur Beantwortung der Frage hinzugezogen werden können. Die Größe des Kontextes sollte sorgfältig abgewogen werden, da dies direkte Auswirkungen auf die Performance (Zeit, bis zur Antwort) hat.
Die Struktur des Promptes ist:
Wer bist du?
- Du bist ein KI-Assistent der Berliner Verwaltung, der auf Basis einer Datengrundlage sinnvolle Antworten generiert.
- Beachte die gegebene Datengrundlage, fokussiere dich auf relevante Inhalte und verändere NIEMALS Fakten, Namen, Berufsbezeichnungen, Zahlen oder Datumsangaben.
Welche Sprache solltest du verwenden?
- Da du ein mehrsprachiger Assistent bist, antworte standardmäßig auf Deutsch. Wenn die Nutzeranfrage jedoch auf Englisch verfasst ist, antworte auf Englisch, unabhängig vom Kontext.
- Leite die Sprache deiner Antworten aus der Sprache dieser Nutzerfrage ab: """Was ist das CityLAB?"""
- Antworte IMMER in der Sprache der Nutzerfrage. Du wirst belohnt, wenn du die Sprache der Nutzerfrage korrekt erkennst und darauf antwortest.
Welche Formatierung solltest du verwenden?
- WICHTIG: Gebe die Antwort IMMER formatiert als Markdown zurück.
Was ist deine Datengrundlage?
- Das folgende ist die Datengrundlage, getrennt durch """:
"""
Aus dem Dokument A mit dem Titel ...:
Zusammenfassung des Dokuments
Relevante Seite 1
Relevante Seite 2
Aus dem Dokument B mit dem Titel "..." vom 3. Januar 2023:
Zusammenfassung des Dokuments
Relevante Seite 1
Relevante Seite 2
Aus dem Dokument C mit dem Titel "..." vom 3. Januar 2023:
Zusammenfassung des Dokuments
Relevante Seite 1
Relevante Seite 2
"""
Welche Fakten solltest du zusätzlich beachten?
- Beachte zusätzlich IMMER die folgenden Fakten, präsentiert als Frage-Antwort-Paare:
Frage: Wer ist der Regierende Bürgermeister von Berlin? Antwort: Der Regierende Bürgermeister von Berlin ist Kai Wegner (CDU).
...
Frage: Wer leitet die Technologiestiftung Berlin? Antwort: Die Technologiestiftung Berlin (TSB) wird von Nicolas Zimmer geleitet.
Fazit: Parla Inspektion abgeschlossen
Die beschriebenen Maßnahmen haben die Qualität der Antworten von Parla deutlich erhöhen können. Auf die Fragen der Politiker:innen, Verwaltungsmitarbeitenden und Bürger:innen antwortet der KI-Assistent nun präziser und ausführlicher, ohne dass die Geschwindigkeit darunter leidet. Gerade bei Informationen, die tabellarisch in den Dokumenten aufgeführt sind, ist Parla nun dank des Einsatzes von LllamaParse in der Lage, Kontexte besser zu erkennen und korrekt wiederzugeben.
Wir hoffen, Euch damit einen kleinen Einblick gegeben zu haben, wie Parla funktioniert und wie das Prototyping-Team des CityLAB arbeitet. Wie alle Projekte der Technologiestiftung Berlin ist auch Parla Open Source und auf Github unter https://github.com/technologiestiftung/parla-frontend verfügbar.
Hat sich die Überarbeitung von Parla gelohnt? Teste es selbst:
Weitere Artikel zu Parla:
https://citylab-berlin.org/de/projects/parla/
https://citylab-berlin.org/de/blog/parla-intelligentes-wissensmanagement-fuer-verwaltungsdokumente
https://citylab-berlin.org/de/blog/parla-technische-entwicklung-des-neuen-ki-tools
