Digital resources in the Social Sciences and Humanities OpenEdition Our platforms OpenEdition Books OpenEdition Journals Hypotheses Calenda Libraries OpenEdition Freemium Follow us

Named Entity Recognition mit Large Language Models – ein Vergleich

Einleitung

Die digitale Erschließung von historischen Texten, insbesondere jene von Selbstzeugnissen, erfordert häufig die Identifizierung und Kodierung von Entitäten wie Personen oder Orten; so auch bei den Memoiren der Gräfin Schwerin. Bei Named Entity Recognition (NER) handelt es sich um eine Methode zur computergestützten Identifizierung und Klassifikation von derartigen Named Entities (vgl. Blogbeitrag zur NER und den Memoiren bisher).

Methode

Hierbei können unterschiedliche methodische Ansätze zum Einsatz kommen. Regelbasierte Verfahren, wie etwa reguläre Ausdrücke (Regex) oder Gazetteers (vordefinierte Listen von Namen), ermöglichen eine präzise, aber häufig domänenspezifische Extraktion. Frameworks wie spaCy erlauben eine flexiblere, datengetriebene Erkennung benannter Entitäten, erfordern jedoch annotierte Trainingsdaten. Transformer-basierte Sprachmodelle wie BERT (vgl. Devin et al. 2019), Flair oder spaCy Transformers bieten durch ihre kontextuelle Einbettung eine weitere Lösung für Named Entity Recognition (NER), insbesondere in mehrsprachigen oder semantisch komplexen Texten. Neuere Entwicklungen nutzen Prompt-basierte Methoden mit Large Language Models (LLMs) wie GPT, welche Annotation durch gezielte Formulierungen von Aufgabenstellungen ermöglichen. 

Seit der Veröffentlichung von ChatGPT und anderen großen Sprachmodellen (LLMs) hat das Interesse an prompt-basierter Named Entity Recognition (NER) ohne Fine-Tuning deutlich zugenommen. Frühere Studien – etwa González-Gallardo et al. (2023) oder Tang et al. (2024) – lieferten jedoch zunächst gemischte oder schwache Ergebnisse, was auf mehrere methodische Einschränkungen zurückgeführt werden kann (vgl. Hiltmann et al. 2025). In einer aktuellen Untersuchung von Hiltmann et al. (2025) zur Annotation benannter Entitäten im Baedeker-Reiseführer für Berlin und Umgebung von 1921 wurde die Leistungsfähigkeit von ChatGPT-4o systematisch getestet. Dabei wurden sowohl Identifikationsleistung (Recall) als auch Klassifikationsgenauigkeit (Precision) verschiedener Prompting-Strategien (zero-shot – bedeutet keine Beispiele im Prompt, few-shot – einige Beispiele im Prompt, many-shot – viele Beispiele im Prompt) evaluiert. Zudem kamen verbreitete Prompting-Techniken wie Bestrafung oder Belohnung („penalty/reward prompts“) zum Einsatz. Die Evaluation stützte sich auf eine proprietäre Annotation, die auf Wang (2023) basiert und an die spezifischen Anforderungen historischer Texte angepasst wurde. Die Ergebnisse zeigen, dass eine gezielte Kombination aus Prompt Engineering und Domänenwissen zu deutlich besseren Ergebnissen führt als in früheren Studien.

Experiment

In Anschluss an die Experimente mit spaCy und Active Learning mit Prodigy wurde ein Test zur Annotation der Memoiren mit Hilfe von Large Language Models durchgeführt, der auch beim Workshop “Digitale Quelleneditionen und KI: Aktuelle Tendenzen, Herausforderungen und Probleme” Mitte April 2025 in Wolfenbüttel präsentiert wurde. Für die KI-gestützte Annotation historischer Texte im Rahmen dieses Experiments wurde entschieden, direkt mit TEI/XML zu arbeiten, da dieses Format in digitalen Editionen etabliert ist, um semantische Inhalte wie Entitäten strukturiert zu kodieren. Nina Rastinger (2024) zeigte außerdem in einem Workshop zur angewandten generativen KI in den Digitalen Geisteswissenschaften, dass das Annotationsparadigma zu besseren Ergebnissen führe, als die Entitäten von den LLMs extrahieren zu lassen. 

In einem experimentellen Setup wurden 19 Absätze der französischen, normalisierten Lesefassung der Memoiren der Gräfin ausgewählt und auf die Annotation von 133 Personen und 29 Orten (Ground Truth) getestet. Die Abschnitte umfassen rund 5000 Wörter und 177 zusätzliche Tags (ohne Personen und Orte).  Drei aktuelle Sprachmodelle – GPT-4, LLaMA 3.3 (70B) und Claude Sonnet 3.5 – wurden mit jeweils drei Prompting-Strategien (Prompt 1: zero-shot, Prompt 2: few-shot mit 2 Input- und Output-Beispielen, Prompt 3: many-shot mit 6 Input- und Output-Beispielen) evaluiert. 

Abbildung: Prompt 2 mit 2 Input- und Output-Beispielen

Die Rückgaben der Modelle wurden dabei mit Hilfe eines Python-Skripts sowohl auf Text- als auch TEI/XML-Ebene validiert. GPT und Claude bewahrten dabei die vorhandene XML-Struktur weitgehend, während LLaMA teilweise inkorrektes XML und stärkere Textveränderungen produzierte.  In Bezug auf die NER-Leistung zeigte Claude mit Prompt 3 die besten Ergebnisse (Precision: 84 %, Recall: 83 %), während GPT bei der Precision, aber nicht beim Recall punktete. LLaMA erzielte mit Prompt 1 einen hohen Recall, jedoch bei gleichzeitig hohem Anteil an False Positives.

Abbildung: Precision, Recall und F1-Score mit GPT-4, LLaMA 3.3 (70B) und Claude Sonnet 3.5 und verschiedenen Promptingstrategien

Außerdem ist hervorzuheben, dass nicht erkannte oder falsch klassifizierte Entitäten nur bei den Personen auftragen, und nicht bei den Orten.

Die strikte Evaluation (nur exakte Matches) unterschätzt die tatsächliche Leistung der Modelle: Eine spätere qualitative Analyse zeigte, dass viele der vermeintlichen Fehler lediglich partielle Übereinstimmungen oder Variationen in der Artikelverwendung (z. B. „le comte de Schwerin“ statt “comte de Schwerin”) betreffen. Zum Test wurde der Claude-Output nachträglich durch die Anpassung der Artikelverwendung bei Personennamen harmonisiert – dadurch konnten die Evaluierungswerte nochmals deutlich verbessert werden. Diese Korrektur glich Inkonsistenzen aus, die teils auch im Goldstandard selbst vorhanden waren, und führte zu einer Gesamt-Performance von ca. 95 % (F1-Score). Die verbleibenden False Negatives (n = 6) betreffen vor allem unspezifische oder generische Personenbezeichnungen, darunter “ces illustres personnes”, “madame”, “saint Augustin”, “l’empereur”, “cet époux” und “son époux” sowie einen Ortsnamen (“belle terre”). Auch unter den False Positives (n = 6) befinden sich vorrangig nicht im Goldstandard enthaltene, aber semantisch plausible Entitäten wie madame sa femme, monsieur, Strattmann und le curé

Insgesamt bestätigen die Ergebnisse das Potenzial LLM-gestützter Annotation in TEI/XML – insbesondere bei sorgfältigem Prompting und Berücksichtigung domänenspezifischer Besonderheiten. Momentan wird außerdem die Möglichkeit der Projektion der Annotationen in der französischen Lesefassung auf die jeweiligen Entitäten der deutschen Übersetzung getestet. 

Literatur

Devlin, Jacob, Ming-Wei Chang, Kenton Lee, und Kristina Toutanova. „BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding“. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), herausgegeben von Jill Burstein, Christy Doran, und Thamar Solorio, 4171–86. Minneapolis, Minnesota: Association for Computational Linguistics, 2019. https://doi.org/10.18653/v1/N19-1423.

González-Gallardo, Carlos-Emiliano, Emanuela Boros, Nancy Girdhar, Ahmed Hamdi, Jose G. Moreno, und Antoine Doucet. 2023. „Yes but.. Can ChatGPT Identify Entities in Historical Documents?“ In 2023 ACM/IEEE Joint Conference on Digital Libraries (JCDL), 184–89. https://doi.org/10.1109/JCDL57899.2023.00034.

Hiltmann, Torsten, Martin Dröge, Nicole Dresselhaus, Till Grallert, Melanie Althage, Paul Bayer, Sophie Eckenstaler, u. a. 2025. „NER4all or Context is All You Need: Using LLMs for low-effort, high-performance NER on historical texts. A humanities informed approach“. arXiv. https://doi.org/10.48550/arXiv.2502.04351.

Rastiner, Nina.  2024. Named Entity Recognition mit LLMs. Präsentation im Rahmen des Workshops der DHd-AG Angewandte Generative KI in den Digitalen Geisteswissenschaften (AGKI-DH). URL: https://agki-dh.github.io/pages/webinar/page-7.html.

Wang, Shuhe, Xiaofei Sun, Xiaoya Li, Rongbin Ouyang, Fei Wu, Tianwei Zhang, Jiwei Li, und Guoyin Wang. 2023. „GPT-NER: Named Entity Recognition via Large Language Models“. arXiv. https://doi.org/10.48550/arXiv.2304.10428.