Anwendung von NER auf die Memoiren der Gräfin von Schwerin

Named Entity Recognition

Die Erschließung bzw. Kodierung von erwähnten Personen, Orten oder Organisationen stellt einen wesentlichen Aspekt in einer digitalen Edition dar, bedeutet aber in derartigen Projekten auch oft einen sehr großen Arbeitsaufwand. Immer wieder taucht die Frage auf, ob nicht das Verfahren der Named Entity Recognition (NER) dabei helfen könnte, diesen Arbeitsaufwand zu reduzieren (Haeder 2020, Nantke 2022, Görmar 2023). Bei Named Entity Recognition handelt es sich um eine computergestützte Methode zur automatisierten Erkennung, Klassifizierung und Markierung von Eigennamen (Named Entities), welche in vielen Bibliotheken für NLP (Natural language processing) enthalten ist, wie z.B. in spaCy, flair, nltk oder WebLicht (Eder 2021). 

Named Entities

Was ist nun eine Named Entity? Der Begriff wurde 1996 für die “Sixth Message Understanding Conference (MUC-6)” geprägt (Nadeau/Sekine 2007, 3). Nadeau und Sekine definierten die mögliche Menge an Entitäten für Named Entities 2007 (3) folgendermaßen:

In the expression “Named Entity”, the word “Named” aims to restrict the task to only those entities for which one or many rigid designators, as defined by S. Kripke (1982), stands for the referent.

Ein Bezeichner ist nur dann rigid oder “starr”, wenn er in allen möglichen Welten und Kontexten auf dasselbe Bezeichnete verweist (z.B. “Donald Trump”). Ehrmann et al. folgen 2023 dieser Definition von Nadeau und Sekine, auf die sehr oft verwiesen wird –  insgesamt ist aber zu sagen, dass es eigentlich keine sehr strenge Definition von Named Entities gibt. So stellten Marrero et al. 2013 auch fest, dass einige unterschiedliche, mehrdeutige und inkongruente Definitionen nebeneinander existieren. Demnach ist nur der Zweck und der Bereich der Anwendung ausschlaggebend, was als Named Entity definiert wird, denn die grammatische Kategorie, der starre Bezeichner oder die eindeutige Identifizierung haben sich hier als unzulänglich herausgestellt (vgl. Marrero et al. 2013)
Unter Named Entities fallen aber auf jeden Fall Eigennamen (Namen für Personen, Orte und Organisationen, auch bekannt als “ENAMEX”), Bezeichnungen für natürliche Arten (“natural kind terms”), wie z.B. biologische Arten oder Substanzen, Zeitausdrücke, Mengenangaben für Geld, Produktnamen oder in Bereichen wie der Biomedizin Gene oder Krankheiten (Nadeau/Sekine 2007, 5; More 2021, 13f.).

NER-Modelle

NER-Modelle, mit denen Named Entities erkannt und klassifiziert werden können, werden mit von Menschen annotierten Daten trainiert; somit hängen sie sehr stark davon ab, mit welchen Texten sie erstellt wurden. Die meisten großen Textkorpora bestanden bisher aus zeitgenössischen Dokumenten, wobei hier vor allem Pressetexte eine große Rolle spielten. In den letzten Jahren wird der Fokus auch vermehrt auf historische Texte gelenkt, wobei allerdings auch hier der Großteil der Quellen aus dem 19. und 20. Jahrhundert stammt.

Probleme in Bezug auf historische Texte

Named Entity Recognition ist eine nützliche Methode innerhalb der Digital Humanities, allerdings können sich vor allem im Hinblick auf historische Quellen bzw. Texte Herausforderungen und Probleme ergeben. Die Erkennung von Named Entities in historischen Texten ist aufgrund von Faktoren wie nicht-standardisierter Orthographie und nicht-standardisiertem Wortgebrauch und dem Fehlen von Named-Entities-Lexika eine besondere Herausforderung (vgl. Ehrmann et al. 2023, Galka 2024). Ehrmann et al. (2023) geben einen umfangreichen Überblick über die Herausforderungen von NER in historischen Dokumenten, welche Strategien bereits entwickelt wurden, um diese eventuell zu bewältigen, und welche Prioritäten man bei zukünftigen Entwicklungen setzen könnte (ebda., 3).

Besonderheiten der Memoiren

Eine Besonderheit der Memorien der Gräfin von Schwerin Textes ist, dass Personen oft nur indirekt genannt werden, also z.B. als Verwandtschaftsbeziehung zur Autorin mit  “meine Schwiegermutter” oder “mein Vater”. In der Theorie der Eigennamen handelt es sich dabei um sogenannte nicht-rigide Designatoren. Wie bereits ausgeführt ist die vorherrschende Meinung in Bezug auf Named Entities im Bereich NLP jedoch, dass nur jene Entitäten als solche gelten können, die mit einem rigiden Designator bezeichnet werden (Ehrmann et al. 2024). Es war also schon im Vornherein davon auszugehen, dass nicht-rigide Designatoren von generischen bzw. bereits vor-trainierten  Standard-NER-Modellen vermutlich nicht erkannt und klassifiziert werden.

Anwendung von existierenden Modellen

Als Experiment wurde ein Sample-Text aus der Lesefassung mit den NER-Funktionalitäten von spaCy (eine beliebte Python-Bibliothek für NLP-Aufgaben) und flair (ein PyTorch-basiertes NLP-Framework) verarbeitet. Die Ergebnisse waren aufgrund der oben genannten Besonderheit von historischen Texten nur mäßig zufriedenstellend. Oft wurden nur Teile von Entitäten erkannt und klassifiziert (z.B. nur “W” statt “demoiselle de W.” oder nur “comte de” statt “comte de Schwerin”); außerdem wurden Teile von Personennamen, wie z.B. “Schwerin”, vereinzelt als Orte klassifiziert (vgl. Galka 2024). Ein großes Problem stellen die nicht erkannten Entitäten dar: in unserem Fall betraf das vor allem jene mit nicht-ridigen Designatoren (vgl. Abbildung 1).

Abbildung 1: Nicht erkannte Entitäten mit nicht-rigiden Designatoren

Modell-Training

Um die Erkennung zu verbessern, haben wir versucht, Named Entity Recognition-Modelle zu trainieren. Wir haben dazu einerseits mit Prodigy (Software für die Annotation von Trainingsdaten und Machine Learning) in einem Active Learning Verfahren Annotationen generiert, andererseits aber auch mit bereits vorhandenen menschlichen Annotationen, die im Zuge des Projekts im französischen Lesetext vorgenommen wurden.

Training mit Active Learning

Active Learning ist Teil von Machine Learning. Im Zuge des Active Learning wählt ein Lernalgorithmus die Datenpunkte aus, die an Entwickler*innen zurückgegeben werden, um diese mit zusätzlichen Informationen anzureichern. Es werden dabei vom Algorithmus jene Datenpunkte ausgewählt, von denen er am meisten profitieren würde – in der Regel, weil sie als besonders herausfordernd oder informativ klassifiziert werden. Nachdem neue Labels erhalten wurden, wird das Modell mit den zusätzlichen Daten aktualisiert – dieser Prozess wird wiederholt, wobei das Modell nach jedem Durchgang auf neuen Daten trainiert wird, bis ein gewünschtes Leistungsniveau erreicht ist oder keine weiteren Anfragen mehr möglich sind. Prodigy ermöglicht Active Learning mit binärer Annotation und einem Modell im Loop. Dieser Workflow bietet sich an, wenn bereits ein Modell existiert, und man dieses mit anderen Daten feintunen möchte. Das Modell schlägt in der Webapp die relevantesten Beispiele vor, die man annehmen oder zurückweisen kann (vgl. Abbildung 2). Auf Basis der Entscheidung der Annotator*innen wird das Modell im Hintergrund aktualisiert.

Abbildung 2: Prodigy-Interface

Active Learning mit Prodigy wurde mit dem Lesetext der Memoiren getestet.  Dafür wurde das TEI/XML-Dokument mit dem Text der Lesefassung, welches den Text im <body> in einzelnen <p>-Elementen ohne Annotationen enthält, mittels eines Python-Skripts nach JSONL transformiert. Als Basismodell für den Active Learning Prozess wurde das spaCy-Modell “fr_core_news_md” verwendet. Alle 200 Vorschläge des Modells wurde das Modell außerhalb des Active Learning-Prozesses mit den Annotationen finegetuned. Außerdem lag uns zu diesem Zeitpunkt auch schon der gesamte Text mit annotierten Personen vor; dies ermöglichte die Evaluation des Modells gegen den Goldstandard.

Impressionen während des Annotationsvorganges

Die ersten 100-200 Vorschläge des Modells während des Active-Learning-Prozesses waren oft die gleichen Zeichenketten, Präpositionen (m’, d’) oder auch der Graf von Schwerin. Vorschläge 200 bis 400 waren oft Zeichenketten, bei denen das Modell fälschlicherweise davon ausging, dass keine Entitäten enthalten seien; tatsächlich waren in diesen Fällen oft jene Entitäten mit nicht-rigidem Designator enthalten (z.B. “ma tante”). Im Zuge des nächsten Schritts, also Vorschläge 400-600, wurden immer mehr dieser Fälle vom Modell richtig erkannt und klassifiziert. Vorschläge 600 bis 800 enthielten dann auch schon komplexe, richtig erkannte und klassifizierte Entitäten wie “feld-maréchal comte de Dohna”.

Modelltraining und Evaluation

Nach je 200 Vorschlägen wurde ein Modell trainiert und evaluiert. Die Resultate waren nicht zufriedenstellend; das beste Modell wies einen F-Score von 40% auf, der höchste Recall lag bei 38%. Die Modelle wurden mit mehr Annotationen, die zum Training verwendet wurden, sogar schlechter. Um herauszufinden, warum die Modelle so schlecht performen, wurde eines auf den Plain Text der Memoiren angewandt und das Resultat visualisiert. Auf den ersten Blick schienen die Ergebnisse nicht schlecht, dann aber stellte sich heraus, dass das Modell aufgrund der Active-Learning-Annotationen von “ma tante” und ähnlichen Entitäten auch andere Zeichenketten mit dem Possessivpronomen der ersten Person, wie “ma vanité”, “ma vie”, “ma grande” oder “ma douzième”, als Person klassifizierte. Ein weiterer Stolperstein lag darin, dass das Modell den Grafen von Schwerin immer mit dem Artikel “le” erkannte und klassifizierte, während dieser im Goldstandard meist ohne Artikel getagged wurde, die automatisch ermittelte Genauigkeit also inhaltlich falsch war.

Abbildung 3: Evaluation des auf den Active-Learning-Annotationen trainierten Modells gegen den Goldstandard

Training mit menschlichen Annotationen

Das zweite Experiment bestand darin, ein Modell basierend auf rein menschlichen Annotationen zu trainieren, die zu diesem Zeitpunkt bereits vorlagen. Dafür wurden 200 zufällige Sätze mit den Annotationen aus dem Goldstandard extrahiert und damit ein Modell trainiert und evaluiert. Dieser Vorgang wurde auch mit 400, 600 und 800 zufälligen Sätzen wiederholt. Dasselbe wurde mit Annotationen in Sätzen in der richtigen Reihenfolge wiederholt, um menschliches Annotieren zu imitieren. 

Ein Modell, das mit nur 200 zufällig ausgewählten Annotationen trainiert wurde, erreichte bereits einen F-Score von 80%. Mit 200 Annotationen in der Reihenfolge des Textes, also nur vom Anfang des Textes, wurde ein Modell mit einem F-Score von 73% erreicht; mit 800 Annotationen in der richtigen Reihenfolge für das Training erreichte das damit trainierte Modell allerdings auch nur 80%. Mit den Annotationen in der zufälligen Reihenfolge kann vermutlich eine breitere Streuung der Fälle erreicht werden, wodurch das damit trainierte Modell auch schon bei wenigen Annotationen besser performt.

Abbildung 4: Evaluation des auf den menschlichen Annotationen (in zufälliger Reihenfolge) trainierten Modells gegen den Goldstandard

Fazit

Bei der Diskussion, was eine Named Entity eigentlich ist, hat sich gezeigt, dass im Rahmen der digitalen Edition von historischen Texten diese Frage noch nicht geklärt ist. Ehrmann et al. (2023) schlagen als Definition von Named Entities in historischen Texten vor, dass diese einen starren Bezeichner aufweisen (nach Nadeau und Sekine 2007). Unser Beispiel zeigt aber, dass zumindest in der digitalen Edition von historischen Texten die Voraussetzung des starren Designators für Named Entities nicht gegeben sein muss, und besser der Definition nach Zweck und Anwendung gefolgt werden sollte (vgl. Marrero 2013 et al.), damit z.B. die nicht-rigiden Referenzen aus Ego-Dokumenten mit eingeschlossen werden. Insgesamt ist die Leistung der (trainierten) Modellen ist nicht gut genug, um menschliche Annotator*innen zu ersetzen, die im Rahmen von digitalen Editionen oft besondere Interessen verfolgen. In unserem Fall ist es unter anderem das persönliche Netzwerk der Gräfin, worin auch Entitäten mit nicht-starren Bezeichnern äußerst relevant sind. Die mit menschlichen Annotationen trainierten Modelle performten zwar besser als jene, die mit den Active-Learning-Annotationen trainierten,  allerdings auch nicht ausreichend. Mit Active Learning ist es zwar einfach, schnell Annotationen zu sammeln, aber diese stellten sich nur als mäßig nützlich heraus. Man weiß außerdem nicht, welche Auswirkungen das Active-Learning-Tagging auf das Modell hat; außerdem muss man den Text im Vorhinein schon recht gut kennen, um “korrekte” Annotationen vornehmen zu können.

Literatur

Devlin, Jacob, Ming-Wei Chang, Kenton Lee, und Kristina Toutanova. 2019. „BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding“. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), herausgegeben von Jill Burstein, Christy Doran, und Thamar Solorio, 4171–86. Minneapolis, Minnesota: Association for Computational Linguistics, https://doi.org/10.18653/v1/N19-1423.

Eder, Elisabeth. 2021. Named Entity Recognition (NER). In: KONDE Weißbuch. Hrsg. v. Helmut W. Klug unter Mitarbeit von Selina Galka und Elisabeth Steiner im HRSM Projekt “Kompetenznetzwerk Digitale Edition”. Aufgerufen am 4.5.2023. Handle: hdl.handle.net/11471/562.50.141. PID: o:konde.141.

Galka, Selina. 2023. Bisheriger Workflow der Erstellung der Digitalen Edition. Blogbeitrag: Die Memoiren der Gräfin Schwerin (1684-1732). Abgerufen am 24. Mai 2024, von https://doi.org/10.58079/vk8a.

Görmar, Maximilian. 2023. „Erste Versuche mit der Named Entity Recognition am Reisebericht des Apothekers Wagener“. Billet. Grand Tour digital (blog). 16. Oktober 2023. https://doi.org/10.58079/vk8j.

Haeder, Tamara. 2020. „Zurück in die Zukunft:. Named-Entity-Recognition für digitale (historisch-kritische) Editionen. Masterarbeit.“ Darmstadt: Hochschule Darmstadt.

Kripke, Saul. 1982. Naming and Necessity. Harvard University Press, Cambridge.

flair. Aufgerufen am 12. Juli 2023. https://github.com/flairNLP/flair.

Marrero, Mónica, Julián Urbano, Sonia Sánchez-Cuadrado, Jorge Morato, und Juan Miguel Gómez-Berbís. 2013. „Named Entity Recognition: Fallacies, Challenges and Opportunities“. Computer Standards & Interfaces 35, Nr. 5: 482–89. https://doi.org/10.1016/j.csi.2012.09.004.

Martin, Louis, Benjamin Muller, Pedro Javier Ortiz Suárez, Yoann Dupont, Laurent Romary, Éric de la Clergerie, Djamé Seddah, und Benoît Sagot. 2020. „CamemBERT: a Tasty French Language Model“. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, herausgegeben von Dan Jurafsky, Joyce Chai, Natalie Schluter, und Joel Tetreault, 7203–19. Online: Association for Computational Linguistics, https://doi.org/10.18653/v1/2020.acl-main.645.

More, Jacqueline. 2021. “Theorie und Anwendung von Named Entity Recognition in den Digital Humanities mit Fokus auf historische Texte des 17. Jahrhunderts. Masterarbeit.” an der Universität Graz.  http://unipub.uni-graz.at/obvugrhs/6203623.

Nantke, Julia, Sandra Bläß, und Marie Flüh. 2022. „Literatur als Praxis. Neue Perspektiven auf Brief-Korrespondenzen durch digitale Verfahren“. Textpraxis 1 (6).

spaCy. Aufgerufen am 19. Juni 2023. https://spacy.io/.

prodigy. Aufgerufen am 12. Juli 2023. https://prodi.gy/docs.

Zhuang, Liu, Lin Wayne, Shi Ya, und Zhao Jun. 2021. „A Robustly Optimized BERT Pre-Training Approach with Post-Training“. In Proceedings of the 20th Chinese National Conference on Computational Linguistics, herausgegeben von Sheng Li, Maosong Sun, Yang Liu, Hua Wu, Kang Liu, Wanxiang Che, Shizhu He, und Gaoqi Rao, 1218–27. Huhhot, China: Chinese Information Processing Society of China, https://aclanthology.org/2021.ccl-1.108.

---

---