Experiment – vDHd2021

Im Rahmen der vDHd21 hatten wir erstmals die Gelegenheit, unsere Lehr- und Lernumgebung DH2go in Form eines Workshops zu präsentieren und mit Interessierten zu diskutieren. Weil wir DH2go perspektivisch für weitere Nutzerinnen und Nutzer entwickeln und öffnen möchten, war für uns besonders spannend, andere Perspektiven und mögliche Nutzungsszenarien kennenzulernen und zu diskutieren.

DH2go ist ein virtueller Desktop auf Linuxbasis, der häufig genutzte DH-Technologien für die Lehre bereitstellt. Der Desktop bietet eine grafische Benutzeroberfläche und ist auf Kursbasis organisiert. Es können mehrere Kurse mit eigenen, möglicherweise überlappenden Nutzergruppen angelegt werden und Materialien können bequem zwischen Kursmitgliedern und Kursleitern hin- und hergeschoben werden. Wir bieten DH2go als nutzbaren Service an, mithilfe der Dokumentation und den bereitgestellten Verwaltungsscripts kann das Konzept außerdem eigenständig implementiert werden.

Wir nutzen DH2go seit dem Wintersemester 2017/2018 – zunächst für ein Grundlagenmodul des Masterstudiengangs Digital Humanities an der Universität Stuttgart und mittlerweile auch für weitere Kurse und Workshops. Die erste Entwicklungsrunde war auf die Anforderungen einer Übung fokussiert, in der ein Einblick in viele Technologien und DH-Methoden geboten wird: HTML/CSS, XML/TEI, SQL, Stilometrie mit R, Topic Modeling, Netzwerkanalyse, GIS. Aufgrund des zweiwöchentlichen Wechsels der Technologien gab es oft Installationsprobleme, die Sitzungen aufhielten und zu Frustration bei allen Beteiligten führten – DH2go war hier die Lösung.

Mit DH2go wird die Arbeitsumgebung von den Systemen der Nutzerinnen und Nutzer auf unseren Server verlagert. Dort sind alle im Kurs benötigten Softwarepakete installiert. Die Studierenden müssen nur noch eine einzige Software (X2Go) auf ihrem Rechner installieren. Diese Installation haben wir Schritt für Schritt für die drei großen Betriebssysteme dokumentiert. Zusätzlich gibt es bei Bedarf auch direkten Support.

Damit bieten wir Technologien und Strukturen für einen großen Teil der technischen DH-Lehre – aber längst nicht für die gesamte Bandbreite. Im weiten Feld der DH finden sich jedoch gerade aufgrund des interdisziplinären Charakters auch spezialisiertere Anwendungsfälle, fachliche Hintergründe und nicht zuletzt unterschiedliche didaktische Ansätze.

Der Workshop wurde von Teilnehmer*innen mit verschiedensten Hintergründen besucht: unter anderem Bibliothekswissenschaft, Musikwissenschaft, phonetische Linguistik und Korpuslinguistik. Nicht nur fachlich-inhaltliche Faktoren spielten hier eine Rolle, sondern auch die technische Erfahrung. Dementsprechend stark unterschieden sich auch die Vorstellungen davon, was eine Lehr- und Lernumgebung zu leisten hat.

Rückblickend ist das dreiteilige modulare Konzept des Workshops gut aufgegangen. Die Vorstellung des Projekts passierte vorab mit einem Video. Es folgte eine Gesprächsrunde für Q&A zum System und einen offenen Austausch zum Einsatz von Lehr- und Lernumgebungen in der Lehre. Im dritten Teil konnten Interessierte das System ausprobieren und sich entweder frei umschauen oder mit den verfügbaren Tools selbst einige Aufgaben bearbeiten.

Unsere zunächst einfach anmutende Frage “Was sind eure Anwendungsfälle?” war dabei nicht so einfach zu beantworten. Viele Teilnehmer*innen wussten zwar in etwa, was sie machen wollen. Digital Humanities werden aber lokal und fachkulturell stark unterschiedlich betrieben – was beim Workshop erneut deutlich wurde.

An einer Fakultät werden vielleicht Voyant Tools für die Textanalyse eingesetzt, um sich einen Materialüberblick zu verschaffen und diesen mit weiteren Lektüreergebnissen zu verknüpfen. Anderswo werden NLP-Methoden in R und Python selbst implementiert oder es wird spezialisierte Software wie Praat eingesetzt.

In der Diskussion konnten wir herausarbeiten, dass DH2go als serverbasierte Lehr- und Lernumgebung da sinnvoll zum Einsatz kommen kann, wo leidige Installationsprobleme das Lernen stören und aufhalten. Ähnlich wie eine Webanwendung (z.B. Voyant Tools) im Browser läuft, sodass Nutzer*innen nur den Browser, nicht aber die Analysesoftware installieren müssen, bieten wir mit DH2go den Zugang zu einem konsistenten System, in dem alle Schritte für alle Nutzer*innen identisch wiederholbar sind.

Wer also mit Webanwendungen arbeitet, braucht DH2go nicht so dringend. Wer mit Forschungssoftware arbeitet und der Gegenstand des Kurses nicht gerade das selbstständige Einrichten einer DH- Arbeitsumgebung ist (aus unserer Sicht ein völlig gerechtfertigter Kurs und dringend benötigtes Lehrangebot!), kann mit DH2go Veranstaltungszeit gewinnen und allen Studierenden oder Workshopteilnehmer*innen eine konsistente und für alle identische Umgebung bereitstellen.

Bei uns in Stuttgart gibt es auch starke Unterschiede, was die Zugänge zu den DH anbelangt. Aber letztendlich arbeiten viele von uns nahe an Programmiersprachen wie R und Python, sowie NLP-Methoden. Bei Nachfragen nach DH2go geht es daher in erster Linie um zu installierende Pakete oder ob die Nutzung von JuPyTer, Spyder oder RStudio möglich ist.

Die Frage “Was sind eure Anwendungsfälle?” führte dank der unterschiedlichen Hintergründe der Workshopteilnehmer*innen sowohl zu zusammenfassenden Antworten (“Wir möchten distant reading lehren.”) als auch zu spezifischen (“Für unseren NLP in DH Kurs möchten wir gern mit tensorflow in JuPyTer-Notebooks arbeiten.”).

Die Bandbreite der besprochenen Anwendungsfälle war entsprechend groß. Voyant Tools für bibliothekswissenschaftliche Schulungen, Praat (Tool) für die phonetische Analyse und weitere Beispiele haben gezeigt, dass es einen Bedarf für eine flexible Bereitstellung von Softwarepaketen in der Arbeitsumgebung gibt – deutlich mehr als wir schon auf dem Schirm hatten.

Unsere Learnings aus dem Workshop sind, dass wir in der Weiterentwicklung nicht nur auf die Optimierung der Umgebung schauen, sondern einen Workflow zu entwickeln, wie man mit überschaubarem Aufwand zusätzlich zu einem Standardpaket auch zu maßgeschneiderten Lösungen kommt. Bis dahin läuft DH2go wie auf unserer Webseite (https://dh2go.ilw.uni-stuttgart.de) dokumentiert. Wenn ihr das mit einem Kurs oder Workshop nutzen wollt – meldet euch gern!

Wir danken insbesondere den Teilnehmer*innen des Workshops für den Austausch zu Lehr- und Lernszenarien in den Digital Humanities, den Veranstalter*innen der vDHd für die Unterstützung und den Kolleg*innen an der Uni Stuttgart, deren Feedback für die Entwicklung von Anfang an unverzichtbar war.

Experiment-Bericht
Malte Heckelen, Claus-Michael Schlesinger, Fabienne Burkhard

Mit unserem Beitrag auf der virtuellen DHd-Tagung haben wir zentrale Themen unseres Forschungsprojektes “Kontinuierliches Qualitätsmanagement von Forschungsdaten zu Objekten der materiellen Kultur unter der Anwendung von LIDO” vorgestellt. Als interdisziplinäres Team (Arno Kesper, Markus Matoni, Hanna Meiners, Julia Rössel und Viola Wenz) arbeiten wir am Bildarchiv Foto Marburg, dem Fachbereich Mathematik und Informatik der Philipps-Universität Marburg und der Staats- und Universitätsbibliothek Göttingen.

Im Vorfeld unserer Live-Session, die am Donnerstag 25.03. stattfand, starteten wir einen „Call for Questions“ unter dem Hashtag #askKONDA. Hiermit wollten wir Fragen sammeln, die dann live beantwortet werden sollten. Als Inspiration posteten wir über Twitter verschiedene Begriffe rund um das Thema Datenqualität. Für unsere Session am Donnerstag konnten wir einige Fragen zusammentragen und uns über eine rege Diskussion freuen. Hier fassen wir einige der Fragen und Punkte der Diskussion für alle, die nicht live dabei waren, zusammen:

Was ist das Gegenteil von Datenqualität? Gibt es so etwas wie Daten-Unqualität?

Datenqualität richtet sich stets nach den Nutzungskontexten von Daten und kann entsprechend vor allem an ihrer “Fitness for Use” gemessen werden. Datenqualität als ein System verschiedener (manchmal überlappender) Qualitätsdimensionen kann also nicht in einer Dichotomie aufgehen, sondern muss innerhalb bestimmter Koordinaten graduell beschrieben werden. Arno Kesper beschrieb die Datenqualität als Skala und nannte hier eine Analogie zur Messung der Temperatur: Datenqualität kann für bestimmte Nutzungskontexte hoch (das Schlagwort wäre hier “hot data”) oder niedrig (“cold data”) sein.

Da für die Entwicklung eines Qualitätsmanagementprozesses für Forschungsdaten im KONDA-Projekt die Erfahrungen all jener zentral sind, die Daten erzeugen, nutzen oder weiterverarbeiten, richteten wir an die Runde in der Live-Session noch diese Frage:

Was sind eurer Erfahrung nach Quellen schlechter Datenqualität? Wo liegen die Ursachen?

Einige Teilnehmer*innen merkten an, dass die Problematik für schlechte Datenqualität oft mit der Projektplanung zu tun hat, die z.B. nicht genug Vorbereitung oder Zeit für die Konzeption und Nutzung der Systeme zur Datenerhebung oder für die Datenerhebung selbst lässt. Hierbei seien oft schnelle Forschungsergebnisse gefordert, welche wenig Zeit für überlegte Erfassung böten. Auch die langfristige Verfügbarkeit von Daten setze die Einschätzung der Datenqualität voraus bzw. fordere eine hohe Datenqualität. Zudem wurde bemerkt, dass bei der Anwendung von Standards ein Mittelmaß zwischen den weiten oder (zu) tiefgreifenden Möglichkeiten, die sie bieten, und Minimalanforderungen, die bestimmte Fächer oder Projekte mit sich bringen, gefunden werden müsste. So ist es mit LIDO möglich, Objekte der materiellen Kultur in sehr ausführlicher Form zu erfassen, von verschiedenen Ereignissen, die mit dem Objekt verknüpft sind, deren Datierung und involvierte Personen bis zu ausführlichen Material-Technik-Angaben. Zudem müsse man immer auch die Nachnutzung im Blick haben, die niedrigere oder auch noch höhere Anforderungen an die Erschließungstiefe von Datensätzen stellen könnte. Vollständigkeit von Daten ist eine der Qualitätsdimensionen, mit der Datenqualität eingeschätzt werden kann. Diese stellt sich oft als Problem heraus, welches immer in der Perspektive aktueller Verarbeitungs- und Retrievalsysteme gesehen werden muss. Einen vollständigen, quasi beendeten Datensatz gibt es demnach nicht. Daten sollten als “historische Aufnahme” von Informationen zu einem Gegenstand gesehen werden, die immer wieder evaluiert und ggf. aktualisiert werden müssen.

Wie sollte man am besten mit Unsicherheiten und Wissenslücken in seinen Daten umgehen?

Die Modellierung von Unsicherheiten ist ein zentrales Thema im KONDA-Projekt: Gerade bei der Beschreibung von Objekten der materiellen Kultur sind Unsicherheiten allgegenwärtig, allein weil es sich um historische Gegenstände handelt, für die gewisse Informationen nur rekonstruiert werden können. Für die Kodierung von Unsicherheiten z.B. bezüglich Datierungen gibt es jedoch kaum standardisierte Ausdrucksweisen. Folglich variiert die Art, wie Unsicherheiten in verschiedenen Systemen und Fachkulturen benannt werden. Dies ist nicht zuletzt problematisch bei der Aggregation von Daten, wirkt sich aber auch auf die intrinsische Datenqualität aus, etwa weil es in einem Datenset unterschiedliche Orte oder Ausdrücke für die Markierung einer Unsicherheit geben kann, die Daten also inkonsistent werden. Hieran schließt sich die Frage an, inwiefern Unsicherheiten in Datenmodellen expliziert werden können oder müssten.

Thema Datenqualität analysieren und verbessern: Wie messt ihr Datenqualität in KONDA?

In KONDA werden für die Analyse Datensets der Universitätssammlungen Göttingen und des Bildarchivs Foto Marburg herangezogen, die in LIDO oder dem MIDAS-Format vorliegen. Zu Beginn des Projekts wurde ein Katalog von möglichen Qualitätsdimensionen von Daten mit entsprechenden Definitionen zusammengetragen. Diese Parameter, wie beispielsweise Vollständigkeit, Genauigkeit, Konsistenz, Eindeutigkeit oder Wiederverwendbarkeit bilden den Hintergrund, vor dem Datenqualität analysiert und eingeschätzt werden kann. Eine erste Anwendung fanden sie in einem Katalog mit Datenqualitätsproblemen, der in enger Zusammenarbeit mit der Fachcommunity zusammengetragen wurde, um die Bedarfe für einen kontinuierlichen, also über den gesamten Datenlebenszyklus angelegten Qualitätsmanagement-Prozess lokalisieren zu können. Den dort beschriebenen Qualitätsproblemen, die nicht nur Daten, sondern auch Datenmodelle und Datentransformationen betreffen, sind jeweils die Qualitätsdimensionen zugeordnet, auf welche sie die größte Auswirkung haben.

Für eine computergestützte Analyse von Qualitätsproblemen haben Arno Kesper und Viola Wenz eine Herangehensweise entwickelt, die es ermöglicht, problematische Datensätze über von der jeweiligen Datenbanktechnologie unabhängige Muster zu finden. Damit können Nutzer*innen, die um bestimmte Probleme eines Datensets wissen, “Anti-Pattern” definieren, über die die entsprechend problembehafteten Daten herausgefiltert werden können.

In der Praxis bestehen Möglichkeiten zur Einschätzung von Datenqualität bereits bei der Eingabe, beispielsweise in automatisierten Plausibilitätschecks oder in der Überprüfung auf eine möglichst umfangreiche Verwendung von kontrollierten Vokabularen bzw. die Verknüpfung mit Normdaten, was eine gewisse Konsistenz innerhalb des Datensets ermöglicht.

Was hat LIDO mit Datenqualität zu tun?

Für Forschungsdaten zu Objekten der materiellen Kultur, die in KONDA den Ausgangspunkt für die Entwicklung eines generischen Qualitätsmanagementsprozesses bilden, ist LIDO ein wichtiger Standard. Das auf dem CIDOC-CRM basierende Harvestingschema wird in vielen Institutionen für den Datenaustausch und als Orientierung für die Erfassung verwendet. Ein zentraler Aspekt des Projektes ist die Weiterentwicklung des Schemas über die nationale und internationale Arbeitsgruppe der ICOM und dabei insbesondere die Perspektive der Qualitätssicherung einzubringen. So ermöglicht etwa die aktualisierte BETA-Version LIDO 1.1 die Einbindung von Schematronregeln. Zudem wurden neue Elemente und Attribute eingeführt, die die Explizierung von Quellenverweisen ermöglichen oder mit denen unsichere Angaben markiert werden können.

Am DDK ist bereits für die auf Druckgraphik und Zeichnungen spezialisierte Datenbank Graphikportal ein Handbuch entwickelt worden, in welchem für die Beschreibung von Graphik relevante LIDO-Felder und entsprechendes Fachvokabular zusammengetragen und erklärt werden. Entsprechende Handbücher für die Kunstgattungen Malerei, Skulptur und Architektur sind ebenso in Planung, wie die Erstellung restringierter Subschemata (Anwendungsprofile) auf Basis der Gesamtschema-Datei (XSD), die die LIDO-Struktur auf die Erfassung der entsprechenden Gattungen ausrichten.

Wenn ihr einen Wunsch bzgl. Datenqualität frei hättet, wie würde dieser lauten?

Einige der Antworten der Teilnehmer*innen bezogen sich auf den Projektkontext, innerhalb dessen sich die meisten DH-Projekte abspielen: Hier wünschte man sich einerseits mehr Support und Beratung für die einzelnen Projekte, aber auch, dass man innerhalb derselben von sich aus darauf achte, eine hohe Datenqualität zu erzielen und sich nach vorhandenen Standards zu richten. Dies ermöglicht bereits bei der Entstehung eine gewisse Verlässlichkeit der erzeugten Daten. Hierfür müssten Standards allerdings gut dokumentiert werden. Zudem wurde der Wunsch geäußert, dass Tools zur Erfassung und Verarbeitung von Daten möglichst einfach zu verwenden seien, um niedrigschwellig eine gute Ausgangsbasis für eine hohe Datenqualität legen zu können. Nicht von ungefähr waren wir uns in der Runde einig, dass das Thema Datenqualität mehr in den öffentlichen Diskurs der Digital Humanities rücken und nicht nur vorausgesetzt werden sollte. Damit könnte schlussendlich die Aufmerksamkeit für die Thematik auch in Projekten geschärft werden, die sich nicht explizit mit Datenqualität (oder deren Analyse und Verbesserung) beschäftigen.

Ein Fazit zum Experiment?

Resümierend können wir schließen, dass wir bei unserem Call for Questions im Vorhinein leider weniger Resonanz hatten, als erhofft. Beim nächsten Mal müsste man also mehr Vorlauf einrechnen oder einfach gleich die Fragen in der Live-Session zusammentragen. Hierbei entspann sich eine lockere und offene Diskussion, für die wir uns an dieser Stelle noch einmal bei den Teilnehmer*innen herzlich bedanken.

Experimentbericht von Julia Rössel