Mit unserem Beitrag auf der virtuellen DHd-Tagung haben wir zentrale Themen unseres Forschungsprojektes “Kontinuierliches Qualitätsmanagement von Forschungsdaten zu Objekten der materiellen Kultur unter der Anwendung von LIDO” vorgestellt. Als interdisziplinäres Team (Arno Kesper, Markus Matoni, Hanna Meiners, Julia Rössel und Viola Wenz) arbeiten wir am Bildarchiv Foto Marburg, dem Fachbereich Mathematik und Informatik der Philipps-Universität Marburg und der Staats- und Universitätsbibliothek Göttingen.
Im Vorfeld unserer Live-Session, die am Donnerstag 25.03. stattfand, starteten wir einen „Call for Questions“ unter dem Hashtag #askKONDA. Hiermit wollten wir Fragen sammeln, die dann live beantwortet werden sollten. Als Inspiration posteten wir über Twitter verschiedene Begriffe rund um das Thema Datenqualität. Für unsere Session am Donnerstag konnten wir einige Fragen zusammentragen und uns über eine rege Diskussion freuen. Hier fassen wir einige der Fragen und Punkte der Diskussion für alle, die nicht live dabei waren, zusammen:
Was ist das Gegenteil von Datenqualität? Gibt es so etwas wie Daten-Unqualität?
Datenqualität richtet sich stets nach den Nutzungskontexten von Daten und kann entsprechend vor allem an ihrer “Fitness for Use” gemessen werden. Datenqualität als ein System verschiedener (manchmal überlappender) Qualitätsdimensionen kann also nicht in einer Dichotomie aufgehen, sondern muss innerhalb bestimmter Koordinaten graduell beschrieben werden. Arno Kesper beschrieb die Datenqualität als Skala und nannte hier eine Analogie zur Messung der Temperatur: Datenqualität kann für bestimmte Nutzungskontexte hoch (das Schlagwort wäre hier “hot data”) oder niedrig (“cold data”) sein.
Da für die Entwicklung eines Qualitätsmanagementprozesses für Forschungsdaten im KONDA-Projekt die Erfahrungen all jener zentral sind, die Daten erzeugen, nutzen oder weiterverarbeiten, richteten wir an die Runde in der Live-Session noch diese Frage:
Was sind eurer Erfahrung nach Quellen schlechter Datenqualität? Wo liegen die Ursachen?
Einige Teilnehmer*innen merkten an, dass die Problematik für schlechte Datenqualität oft mit der Projektplanung zu tun hat, die z.B. nicht genug Vorbereitung oder Zeit für die Konzeption und Nutzung der Systeme zur Datenerhebung oder für die Datenerhebung selbst lässt. Hierbei seien oft schnelle Forschungsergebnisse gefordert, welche wenig Zeit für überlegte Erfassung böten. Auch die langfristige Verfügbarkeit von Daten setze die Einschätzung der Datenqualität voraus bzw. fordere eine hohe Datenqualität. Zudem wurde bemerkt, dass bei der Anwendung von Standards ein Mittelmaß zwischen den weiten oder (zu) tiefgreifenden Möglichkeiten, die sie bieten, und Minimalanforderungen, die bestimmte Fächer oder Projekte mit sich bringen, gefunden werden müsste. So ist es mit LIDO möglich, Objekte der materiellen Kultur in sehr ausführlicher Form zu erfassen, von verschiedenen Ereignissen, die mit dem Objekt verknüpft sind, deren Datierung und involvierte Personen bis zu ausführlichen Material-Technik-Angaben. Zudem müsse man immer auch die Nachnutzung im Blick haben, die niedrigere oder auch noch höhere Anforderungen an die Erschließungstiefe von Datensätzen stellen könnte. Vollständigkeit von Daten ist eine der Qualitätsdimensionen, mit der Datenqualität eingeschätzt werden kann. Diese stellt sich oft als Problem heraus, welches immer in der Perspektive aktueller Verarbeitungs- und Retrievalsysteme gesehen werden muss. Einen vollständigen, quasi beendeten Datensatz gibt es demnach nicht. Daten sollten als “historische Aufnahme” von Informationen zu einem Gegenstand gesehen werden, die immer wieder evaluiert und ggf. aktualisiert werden müssen.
Wie sollte man am besten mit Unsicherheiten und Wissenslücken in seinen Daten umgehen?
Die Modellierung von Unsicherheiten ist ein zentrales Thema im KONDA-Projekt: Gerade bei der Beschreibung von Objekten der materiellen Kultur sind Unsicherheiten allgegenwärtig, allein weil es sich um historische Gegenstände handelt, für die gewisse Informationen nur rekonstruiert werden können. Für die Kodierung von Unsicherheiten z.B. bezüglich Datierungen gibt es jedoch kaum standardisierte Ausdrucksweisen. Folglich variiert die Art, wie Unsicherheiten in verschiedenen Systemen und Fachkulturen benannt werden. Dies ist nicht zuletzt problematisch bei der Aggregation von Daten, wirkt sich aber auch auf die intrinsische Datenqualität aus, etwa weil es in einem Datenset unterschiedliche Orte oder Ausdrücke für die Markierung einer Unsicherheit geben kann, die Daten also inkonsistent werden. Hieran schließt sich die Frage an, inwiefern Unsicherheiten in Datenmodellen expliziert werden können oder müssten.
Thema Datenqualität analysieren und verbessern: Wie messt ihr Datenqualität in KONDA?
In KONDA werden für die Analyse Datensets der Universitätssammlungen Göttingen und des Bildarchivs Foto Marburg herangezogen, die in LIDO oder dem MIDAS-Format vorliegen. Zu Beginn des Projekts wurde ein Katalog von möglichen Qualitätsdimensionen von Daten mit entsprechenden Definitionen zusammengetragen. Diese Parameter, wie beispielsweise Vollständigkeit, Genauigkeit, Konsistenz, Eindeutigkeit oder Wiederverwendbarkeit bilden den Hintergrund, vor dem Datenqualität analysiert und eingeschätzt werden kann. Eine erste Anwendung fanden sie in einem Katalog mit Datenqualitätsproblemen, der in enger Zusammenarbeit mit der Fachcommunity zusammengetragen wurde, um die Bedarfe für einen kontinuierlichen, also über den gesamten Datenlebenszyklus angelegten Qualitätsmanagement-Prozess lokalisieren zu können. Den dort beschriebenen Qualitätsproblemen, die nicht nur Daten, sondern auch Datenmodelle und Datentransformationen betreffen, sind jeweils die Qualitätsdimensionen zugeordnet, auf welche sie die größte Auswirkung haben.
Für eine computergestützte Analyse von Qualitätsproblemen haben Arno Kesper und Viola Wenz eine Herangehensweise entwickelt, die es ermöglicht, problematische Datensätze über von der jeweiligen Datenbanktechnologie unabhängige Muster zu finden. Damit können Nutzer*innen, die um bestimmte Probleme eines Datensets wissen, “Anti-Pattern” definieren, über die die entsprechend problembehafteten Daten herausgefiltert werden können.
In der Praxis bestehen Möglichkeiten zur Einschätzung von Datenqualität bereits bei der Eingabe, beispielsweise in automatisierten Plausibilitätschecks oder in der Überprüfung auf eine möglichst umfangreiche Verwendung von kontrollierten Vokabularen bzw. die Verknüpfung mit Normdaten, was eine gewisse Konsistenz innerhalb des Datensets ermöglicht.
Was hat LIDO mit Datenqualität zu tun?
Für Forschungsdaten zu Objekten der materiellen Kultur, die in KONDA den Ausgangspunkt für die Entwicklung eines generischen Qualitätsmanagementsprozesses bilden, ist LIDO ein wichtiger Standard. Das auf dem CIDOC-CRM basierende Harvestingschema wird in vielen Institutionen für den Datenaustausch und als Orientierung für die Erfassung verwendet. Ein zentraler Aspekt des Projektes ist die Weiterentwicklung des Schemas über die nationale und internationale Arbeitsgruppe der ICOM und dabei insbesondere die Perspektive der Qualitätssicherung einzubringen. So ermöglicht etwa die aktualisierte BETA-Version LIDO 1.1 die Einbindung von Schematronregeln. Zudem wurden neue Elemente und Attribute eingeführt, die die Explizierung von Quellenverweisen ermöglichen oder mit denen unsichere Angaben markiert werden können.
Am DDK ist bereits für die auf Druckgraphik und Zeichnungen spezialisierte Datenbank Graphikportal ein Handbuch entwickelt worden, in welchem für die Beschreibung von Graphik relevante LIDO-Felder und entsprechendes Fachvokabular zusammengetragen und erklärt werden. Entsprechende Handbücher für die Kunstgattungen Malerei, Skulptur und Architektur sind ebenso in Planung, wie die Erstellung restringierter Subschemata (Anwendungsprofile) auf Basis der Gesamtschema-Datei (XSD), die die LIDO-Struktur auf die Erfassung der entsprechenden Gattungen ausrichten.
Wenn ihr einen Wunsch bzgl. Datenqualität frei hättet, wie würde dieser lauten?
Einige der Antworten der Teilnehmer*innen bezogen sich auf den Projektkontext, innerhalb dessen sich die meisten DH-Projekte abspielen: Hier wünschte man sich einerseits mehr Support und Beratung für die einzelnen Projekte, aber auch, dass man innerhalb derselben von sich aus darauf achte, eine hohe Datenqualität zu erzielen und sich nach vorhandenen Standards zu richten. Dies ermöglicht bereits bei der Entstehung eine gewisse Verlässlichkeit der erzeugten Daten. Hierfür müssten Standards allerdings gut dokumentiert werden. Zudem wurde der Wunsch geäußert, dass Tools zur Erfassung und Verarbeitung von Daten möglichst einfach zu verwenden seien, um niedrigschwellig eine gute Ausgangsbasis für eine hohe Datenqualität legen zu können. Nicht von ungefähr waren wir uns in der Runde einig, dass das Thema Datenqualität mehr in den öffentlichen Diskurs der Digital Humanities rücken und nicht nur vorausgesetzt werden sollte. Damit könnte schlussendlich die Aufmerksamkeit für die Thematik auch in Projekten geschärft werden, die sich nicht explizit mit Datenqualität (oder deren Analyse und Verbesserung) beschäftigen.
Ein Fazit zum Experiment?
Resümierend können wir schließen, dass wir bei unserem Call for Questions im Vorhinein leider weniger Resonanz hatten, als erhofft. Beim nächsten Mal müsste man also mehr Vorlauf einrechnen oder einfach gleich die Fragen in der Live-Session zusammentragen. Hierbei entspann sich eine lockere und offene Diskussion, für die wir uns an dieser Stelle noch einmal bei den Teilnehmer*innen herzlich bedanken.
Experimentbericht von Julia Rössel
