Team: Kerstin Jung, Universität Stuttgart | André Blessing, Universität Stuttgart | Claus-Michael Schlesinger, Universität Stuttgart | Mona Ulrich, Deutsches Literaturarchiv Marbach
Maschinelle Werkzeuge sind objektiv? Keineswegs! Tools, die Textdaten analysieren und mit Annotationen anreichern, lernen auf gegebenen Daten und nehmen dabei deren Standpunkt ein. Neben den „Fähigkeiten“ der Technik ist daher auch die manuelle Trainingsdatenauswahl und -aufbereitung ein wichtiger Faktor bei der Suche nach einem geeigneten maschinellen Werkzeug. Die Anwendung eines Annotationswerkzeugs auf Textdaten ist somit durchaus auch als Experiment zu verstehen: Ist das Ergebnis ausreichend? Werden die vergebenen Kategorien im Sinne des Forschungsansatzes interpretiert? Während beim maschinellen Lernen gerne die unterschiedlichen Lernerfahrungen verschiedener Tools in sogenannten „Ensemble“-Ansätzen kombiniert werden, möchten wir ein Experiment mit mehreren Entitätenerkennern durchführen, deren Vorhersagen sich bestätigen, ergänzen oder widersprechen können und als zusätzliche Ebene um die Bewertung von Forschenden aus verschiedenen Disziplinen und Forschungsrichtungen ergänzen.
Im Rahmen des Events werden literarische Texte (Netzliteratur/Blogs) vorgestellt, die von drei verschiedenen Entitätenerkennern annotiert wurden, die für die Forschungsgemeinschaft verfügbar sind. Das Experiment findet in einem live-online Modus statt, bei dem Features der virtuellen Kommunikationsplattform, wie z.B. Umfragen, zum Einsatz kommen. Dabei soll ein Einblick in verschiedene gebrauchsfertige Werkzeuge zur Entitätenerkennung gegeben werden und die Möglichkeit deren Fähigkeiten und Grenzen sowie zukünftige Annotationsergebnisse zu bewerten.
Anmeldung an: vdhd21-ner(at)ims.uni-stuttgart.de
Anmeldefrist: 22.03.2021
Termin:
- Donnerstag, 25.03.2021, 11-12 Uhr
OpenEdition schlägt Ihnen vor, diesen Beitrag wie folgt zu zitieren:
vdhd (28. Januar 2021). Ensemble-Methoden aus menschlichen und maschinellen Bewertungen – Ein Entitäten-Abstimmungsexperiment für 3 Tools und N Forschende. vDHd2021 – Experimente. Abgerufen am 15. Februar 2025 von https://vdhd2021.hypotheses.org/197