Categories
vDHd2021

Ensemble-Methoden aus menschlichen und maschinellen Bewertungen – Ein Entitäten-Abstimmungsexperiment für 3 Tools und N Forschende

Team: Kerstin Jung, Universität Stuttgart | André Blessing, Universität Stuttgart | Claus-Michael Schlesinger, Universität Stuttgart | Mona Ulrich, Deutsches Literaturarchiv Marbach

Maschinelle Werkzeuge sind objektiv? Keineswegs! Tools, die Textdaten analysieren und mit Annotationen anreichern, lernen auf gegebenen Daten und nehmen dabei deren Standpunkt ein. Neben den „Fähigkeiten“ der Technik ist daher auch die manuelle Trainingsdatenauswahl und -aufbereitung ein wichtiger Faktor bei der Suche nach einem geeigneten maschinellen Werkzeug. Die Anwendung eines Annotationswerkzeugs auf Textdaten ist somit durchaus auch als Experiment zu verstehen: Ist das Ergebnis ausreichend? Werden die vergebenen Kategorien im Sinne des Forschungsansatzes interpretiert? Während beim maschinellen Lernen gerne die unterschiedlichen Lernerfahrungen verschiedener Tools in sogenannten „Ensemble“-Ansätzen kombiniert werden, möchten wir ein Experiment mit mehreren Entitätenerkennern durchführen, deren Vorhersagen sich bestätigen, ergänzen oder widersprechen können und als zusätzliche Ebene um die Bewertung von Forschenden aus verschiedenen Disziplinen und Forschungsrichtungen ergänzen.

Im Rahmen des Events werden literarische Texte (Netzliteratur/Blogs) vorgestellt, die von drei verschiedenen Entitätenerkennern annotiert wurden, die für die Forschungsgemeinschaft verfügbar sind. Das Experiment findet in einem live-online Modus statt, bei dem Features der virtuellen Kommunikationsplattform, wie z.B. Umfragen, zum Einsatz kommen. Dabei soll ein Einblick in verschiedene gebrauchsfertige Werkzeuge zur Entitätenerkennung gegeben werden und die Möglichkeit deren Fähigkeiten und Grenzen sowie zukünftige Annotationsergebnisse zu bewerten.

Anmeldung an: vdhd21-ner(at)ims.uni-stuttgart.de  
Anmeldefrist: 22.03.2021

Termin:

  • Donnerstag, 25.03.2021, 11-12 Uhr

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.

Diese Website verwendet Akismet, um Spam zu reduzieren. Erfahre mehr darüber, wie deine Kommentardaten verarbeitet werden.