Kurs-1870 KE-4 Evaluation PDF

Preview

Summary

Kurseinheit 4: Evaluation vonInformationsvisualisierungstechniken01870Informationsvisualisierung im InternetDer Inhalt dieses Dokumentes darf ohne vorherige schriftliche Erlaubnis durch die FernUniversität in Hagen nicht (ganz oder teilweise) reproduziert, benutzt oder veröffentlicht werden. Das Cop...

Description

Kurseinheit 4: Evaluation von Informationsvisualisierungstechniken

Gerald Jäschke, Dr. Daniel Biella, Prof. Dr. Dieter Meiller, Dr. Paul Landwich, Dr. André Triebel, Christian Danowski-Buhren, Prof. Dr. Matthias Hemmje

01870 Informationsvisualisierung im Internet

Der Inhalt dieses Dokumentes darf ohne vorherige schriftliche Erlaubnis durch die FernUniversität in Hagen nicht (ganz oder teilweise) reproduziert, benutzt oder veröffentlicht werden. Das Copyright gilt für alle Formen der Speicherung und Reproduktion, in denen die vorliegenden Informationen eingeflossen sind, einschließlich und zwar ohne Begrenzung Magnetspeicher, Computerausdrucke und visuelle Anzeigen. Alle in diesem Dokument genannten Gebrauchsna-men, Handelsnamen und Warenbezeichnungen sind zumeist eingetragene Warenzeichen und urheberrechtlich geschützt. Warenzeichen, Patente oder Copy-rights gelten gleich ohne ausdrückliche Nennung. In dieser Publikation enthaltene Informationen können ohne vorherige Ankündigung geändert werden.

Website: moodle-wrm an der FernUni Lernumgebung: Informationsvisualisierung im Internet (01870) - SS 2021 Buch: Kurseinheit 4: Evaluation von Informationsvisualisierungstechniken

Gedruckt von: Jennifer Cappel-Laubenheimer Datum: Mittwoch, 3. März 2021, 08:20

Inhaltsverzeichnis 1. Vorbemerkungen und Lernziele 2. Klassifizierung von Evaluationsmethoden 3. Überblick Evaluationsmethoden 3.1. Gruppeninterviews, Inspektionen und Fokusgruppen-Methode 3.2. Thinking-Aloud-Methode 3.3. Heuristische Verfahren 3.4. Expertenbegutachtungen 3.5. Kontrollierte Experimente 3.6. Fall- und Feldstudien 3.7. Longitudinale Studien 4. Evaluationsmodelle 4.1. Strukturierte Bewertungskriterien für Evaluationen 4.2. Grundlagen-Evaluation 4.3. Vorgehensmodell für heuristische Inspektionsmethoden 4.4. Aufgabenbasierte Evaluationen 4.5. Kombinierte Evaluationsmethoden 4.6. Evaluation mit deskriptiven Metriken 4.7. Benchmarkdaten und -aufgaben 4.8. Erkenntnisbasierende Evaluationen 4.9. Zusammenfassung 5. Kennzahlen 5.1. Messung von Benutzeraktivitäten und –einschätzungen 5.2. Beschreibung von Daten und Visualisierungen 6. Rahmenwerk zur Strukturierung von Evaluationsobjekten 6.1. Problembeschreibung und Analyse bestehender Ansätze 6.2. Definition eines Rahmenwerks 7. Ein formatives Evaluationsmodell 7.1. Problembeschreibung und Analyse bestehender Ansätze 7.2. Definition eines Vorgehensmodells 7.3. Zusammenfassung 8. Evaluation ausgewählter Informationsvisualisierungstechniken 8.1. TreeMaps 8.2. TableLens 8.3. Visuelle Information-Retrival-Systeme 8.4. Zusammenfassung 9. Literaturverzeichnis 10. Abbildungen und Tabellen 11. Lösung der Selbsttestaufgaben

1. Vorbemerkungen und Lernziele Dies ist die vierte Kurseinheit des Kurses 1870 „Informationsvisualisierung im Internet“. Der Kurs ersetzt die Kurse 1871+1872 „Informationsvisualisierung im Internet I + II“ vollständig, baut auf deren Struktur und Inhalten auf und aktualisiert diese um wesentliche Inhalte aus dem Bereich X3D. Dank gilt an dieser Stelle den ehemaligen Fernstudenten und Doktoranden Dieter Meiller, Paul Landwich, Andre Triebel, und Christian Danowski-Buhren für die vorliegenden Kursinhalte. Die adäquate Repräsentation und visuelle Präsentation von abstrakten Daten bildet eine wichtige Grundlage für deren effektive Wahrnehmung, deren Verständnis und deren Nutzung, z. B. zum Zwecke der Information oder der Entscheidungsunterstützung. Die Verwendung geeigneter Modelle, Methoden, Visualisierungstechniken und korrespondierender technischer Standards zur Unterstützung automatisierter Informationsvisualisierung erleichtert dabei die Entwicklung von Informationsvisualisierungssoftware, von visuellen Benutzungsschnittstellen zu Informationssystemen und ganz generell von maschinenlesbaren und maschinell darstellbaren und nutzbaren Informationsvisualisierungen sowie deren Wahrnehmung, Bearbeitung, Nutzung und Austausch zwischen Menschen, zwischen Menschen und Maschinen sowie zwischen Maschinen. Solche Grundlagen stellen ein gemeinsames Grundverständnis unabhängig von einer individuellen Ausgestaltung einer Informationsvisualisierungsanwendung sicher und ermög-lichen damit auch die Realisierung interaktiver, dynamischer und damit zum einen schnell wechselnder bzw. sich schnell verändernder Anwendungen von Informationsvisualisierungen, die in unserer durch das Internet global vernetzten und sich kontinuierlich veränderten Welt immer weiter an Bedeutung gewinnen. Der Schwerpunkte dieses Kurses Ein wichtiges Ziel des Kurses ist es, in die Historie, die wesentlichen Grundlagen, Methoden und Techniken sowie in die Anwendung und aktuelle Entwicklung von Informationsvisualisierungen einzuführen sowie Kenntnisse zu visuellen Benutzungsschnittstellen für Informationssysteme im Internet unter Nutzung der verschiedenen Ebenen des World Wide Web zu vermitteln. Zunächst werden allgemeine Grundlagen und Modelle für die Informationsvisualisierung sowie wesentliche Begrifflichkeiten und Methoden vorgestellt. Der Informationsvisualisierungsbegriff wird erläutert und das Referenzmodell der Informationsvisualisierung eingeführt. Im weiteren Verlauf werden systematisch verschiedene Klassen von Informationsvisualisierungstechniken anhand von Beispielen vorgestellt und Methoden zur Evaluation von Informationsvisualisierungen erläutert bevor sich eine Vorstellung von Informationsvisualisierungsarchitekturen und –Technologien anschließt. Durch die immense Zunahme bei Zahl, Umfang und Funktionsbereich von Informationsvisualisierungstechnologien, deren Anwendungen und deren Implementierungen beschränkt sich dieser Kurs jedoch durch die Vermittlung rudimentärer Grundlagen von X3D auf die überblicksartige Einführung in eine bespielhafte und grundlegende Informationsvisualisierungstechnologie. Die Rasanz der Entwicklung auf diesem Gebiet erlaubt es nicht, das Kursmaterial immer vollumfänglich bzgl. einer und schon gar nicht bzgl. aller aktuellen Visualisierungstechnologien auf dem aktuellsten Stand zu halten. Das Kursmaterial konzentriert sich daher auf den wichtigsten der aktuell gültigen W3C-Visualisierungsstandards und die Versionen davon, die in der Praxis eine grundlegende und somit wesentliche Rolle für das Verständnis der Thematik spielen. Den schnellsten Zugang zum aktuellen Stand aller Standardisierungsprojekte des W3C finden Sie über die Adresse https://www.w3.org/TR/ . Lernziele Das hauptsächliche Lernziel dieses Kurses ist der Erwerb der Kenntnisse über die konzeptuellen Grundlagen, Modelle und Methoden der Informationsvisualisierung wie auch von praktischer Kompetenz und Handlungsfähigkeit im Bereich von X3D als Kodierungsstandard und damit einer relevanten aktuellen Informationsvisualisierungstechnologie im Internet. Nach Bearbeitung des Kurses sollten die besprochenen Konzepte und Technologien gründlich bekannt sein. Einfache Informationsvisualisierungen sollten in X3D

erstellt werden können. Eine Übersicht über die zur Verfügung stehenden Modelle, Methoden und Vorgehensweisen für die Entwicklung von Informationsvisualisierungssoftware sollte bekannt sein und mit einer wesentlichen von diesen Technologien sollten auch praktische Erfahrung gesammelt werden. Der Kurs soll dazu befähigen, Projekte mit zu konzipieren, technisch zu betreuen und durchzuführen, die die Erstellung und Evaluation von Informatiosvisualisierungssystemen im Internet zum Ziel haben. Ein weiteres sehr wichtiges erstes Lernziel dieses Kurses betrifft das Referenzmodell der Informationsvisualisierung. Das Modell soll verinnerlicht und seine Bedeutung im Kontext der Informationsgesellschaft und der automatischen Informationsverarbeitung beurteilt werden können. Nach dem Durcharbeiten des Kurses sollten Sie wissen, dass Informationsvisualisierungen innerhalb von unterschiedlichsten Anwendungssystemen automatisiert erstellt und bearbeitet werden können. Es soll darüber hinaus vermittelt werden, wie Internettechnologien im Bereich der Visualisierung von Information das Potential, welches im Referenzmodell der Informationsvisualisierung steckt, realisieren und wie diese Erkenntnisse von Ihnen auch praxisbezogen angewendet werden können. Zu den vorgestellten Thematiken und Inhalten ist jeweils eine systematische und grundlegende Darstellung vorgesehen, die bei besonders zentralen Themen um Übersichtstabellen ergänzt wird. Daneben wird auf die Originalspezifikationen des W3C sowie auf reichlich vorhandenes tutorielles Material im Internet selbst verwiesen. Die im Kurs eingeführten Informationsvisualisierungsmethoden und -technologien werden im Text ausführlich durch Beispiele illustriert. Jedes Beispiel ist für sich lauffähig. Der Code wird in elektronischer Form zur Verfügung gestellt, sodass dieser ausprobiert und auch selbst modifiziert werden kann. Darüber hinaus kann der Lernfortschritt fortlaufend anhand von in den Text eingestreuten Selbsttest-aufgaben überprüft werden. Formalia Um die Praxisteile dieses Kurses bearbeiten zu können, wird ein Arbeitsplatzrechner mit Internetzugang benötigt. Darüber hinaus benötigen Sie Grundkenntnisse im Umgang mit einem Betriebssystem und Sie sollten die Möglichkeit haben, mit einem Texteditor einfache X3D-kodierte Textdokumente im ASCIIFormat zu erstellen bzw. zu bearbeiten und abzuspeichern. Als Texteditoren kommen Programme wie Notepad, vi, Edit oder Emacs in Frage. Bitte aktualisieren Sie auch Ihren Internetbrowser. Der Umgang mit Navigation und Suche im Internet wird als bekannt vorausgesetzt.

2. Klassifizierung von Evaluationsmethoden Die Kurseinheit erläutert die Grundlagen und den derzeitigen Stand der Methodik zu Evaluation von Benutzungsschnittstellen zu Informationssystemen und darin wiederum speziell auch von Informations‐ visualisierungstechniken innerhalb solcher grafischer Benutzungsoberflächen entsprechend des aktuellen Standes der Literatur. Für die Evaluation interaktiver Informationsvisualisierungen in grafischen Benutzungsoberflächen werden Evaluationsmethoden und Evaluationsmodelle unterschieden. Evaluationsmethoden (auch Evaluationstechniken) sind Analysewerkzeuge bzw. Verfahren zur Erhebung und Auswertung von Daten. Evaluationsmodelle sind Orientierungssysteme zur Planung und Durchführung von Evaluationen. Sie sind ausformuliert, theoretisch begründet und durch praktische Evaluationserfahrungen untermauert. Evaluationsmodelle sind idealtypische Anleitungen für die Durchführung von Evaluationen unter Verwendung von Evaluationsmethoden. Im Hinblick auf die Definition eines Evaluationsmodells im Rahmen dieser Kurseinheit werden in diesem Abschnitt zunächst Evaluationsmethoden klassifiziert und wichtige allgemeine Evaluationsmethoden und deren Anwendung im Bereich der Informationsvisualisierung vorgestellt. Abschließend werden speziell für die Informationsvisualisierung entwickelte Evaluationsmodelle vorgestellt. Evaluationsmethoden werden in formative und summative sowie qualitative und quantitative Methoden eingeteilt. Evaluationsmethoden, die während der Designphase angewandt werden, sind formative Methoden. Sie sollen initiale Fehler oder prinzipielle Ungereimtheiten aufdecken, die die Entwickler selbst möglicherweise übersehen - außenstehende Personen jedoch direkt bemerken. Formative Evaluationen werden in der Regel mit wenigen Personen und qualitativen Methoden durchgeführt. Summative Methoden werden nach der Fertigstellung einer Applikation verwendet, um die generelle Effektivität und Effizienz eines Informationssystems festzustellen. Daher werden summative Evaluationen in der Regel mit quantitativen Methoden ausgeführt. Das symbolische Zitat von Robert Stakes aus [Scr91] beschreibt den Unterschied plastisch: „When the cook tastes the soup, that’s formative; when the guests taste the soup, that’s summative.“

Ausgehend vom Aspekt der Zielstellung von Evaluationen führen Ellis und Dix [Ell06] aus, dass formative und summative Evaluationen prinzipiell „nur“ zur Bestätigung von Designideen oder implementierten Designs dienen. Um explizit neue Ideen und Konzepte zu oder aus Designs zu entwickeln, schlagen sie die Gruppe der explorativen Evaluation vor. Die Zielstellung, neues Wissen zu entwickeln, ist vor allem im wissenschaftlichen Kontext ein wichtiger Aspekt und sollte daher entsprechend klassifiziert sein. Prinzipiell werden für diese Klasse keine grundsätzlich anderen Methoden verwendet und oft sogar bestehende Ergebnisse lediglich anders interpretiert. Eine Möglichkeit könnte z. B. sein, ein absichtlich schlechtes Design zu verwenden, um das Benutzerverhalten in Extremsituationen zu beobachten.

formative Methoden summative Methoden quantitative Methoden qualitative Methoden

explorativen Evaluation

Evaluationsmethoden werden weiterhin in analytische und empirische Methoden eingeteilt, wobei formative Evaluationen in der Regel mit analytischen und summative mit empirischen Methoden durchgeführt werden. Allgemein ist keine scharfe Abgrenzung zwischen den Klassifikationen mög‐ lich. Die Verwendung der Begriffe ist immer kontextabhängig.

analytische Methoden empirische Methoden

Empirische Methoden (griechisch empireia: Erfahrung, Erfahrungswissen) sammeln Informationen durch Beobachten und messen Daten über das Verhalten von Benutzern mit Prototypen oder implementierten Informationssystemen. Die am häufigsten verwendeten empirischen Methoden sind beobachtende Evaluationen, kontrollierte Experimente, Feldstudien und Fragetechniken (Interviews, Fragebögen). Empirische Methoden sind die am häufigsten verwendeten Methoden im Bereich Visualisierung und grafische Benutzungsoberflächen zu Informationssystemen. Häufig auftretende Probleme dieser Methoden sind künstliche Parameter, einfache Aufgaben und dass der Fokus hauptsächlich auf visuellen Repräsen‐ tationen und weniger auf der Benutzererfahrung liegt. Ein weiterer Nachteil ist, dass die Methoden sehr oft erst an fertigen Implementierungen angewendet werden und nicht mit analytischen Methoden kombiniert werden. Das kann dazu führen, dass schwerwiegende Fehler nicht ausgeglichen werden und die resultierenden Visualisierungen und korrespondierenden visuellen Benutzungsschnittstellen für den Benutzer dann in der Folge wenig Wert haben.

Selbsttestaufgabe 4.1 Arbeiten Sie die Zusammenhänge und Unterschiede zwischen den vorgestellten Klassen an Evaluationsmethoden heraus.

3. Überblick Evaluationsmethoden In den folgenden Abschnitten werden die für die Informationsvisualisierung wichtigsten Evaluationsmethoden und Beispiele für deren Anwendung vorgestellt.

3.1. Gruppeninterviews, Inspektionen und Fokusgruppen-Methode Während früherer Konzeptevaluationen werden Benutzer gefragt, ob sie ein geplantes Design für nützlich erachten, es mögen und ob sie es auch verwenden würden. Diese Evaluationen können z. B. mit der Fokusgruppen-Methode [Mor97] oder in Form von Interviews mit Fragebögen durchgeführt werden. Die Fokusgruppen-Methode ist eine Form des Gruppeninterviews, unterscheidet sich aber in der Form dadurch, dass bei Gruppeninterviews eine Anzahl von Personen zur gleichen Zeit befragt wird und der Schwerpunkt auf dem Frage-Antwort-Gespräch zwischen Entwickler und Benutzer liegt. Bei Fokusgruppen hingegen liegt der Schwerpunkt auf dem Gespräch zwischen den unterschiedlichen Gruppen basierend auf der Aufgabe, die der Entwickler dem Gespräch zu Grunde gelegt hat. Im Vergleich zu Inspektionen kann der Entwickler in kürzerer Zeit mehr Informationen erhalten. Inspektionen sind rein beobachtende Vorgehensweisen, oft ohne konkrete inhaltliche Planung oder konkrete Fragestellungen für die überwachten Benutzer. Fokusgruppen und Gruppeninterviews hingegen werden anhand eines Leitfadens durchgeführt und sind daher stark organisierte Evaluationsmethoden. Ziel der Fokusgruppen-Methode ist es, Einstellungen, Gefühle, Glauben, Erfahrung und Reaktion von Benutzern zu eruieren, was nicht mit anderen Methoden wie z. B. Fragebögen möglich wäre. Fokusgruppen-Interviews können durch einfache ggf. auch schon interakive Prototypen (so genannte Mock-ups, bei denen die Benutzungsoberfläche zwar schon gestaltet ist, aber keine Anwendungsfunktionalität in Form von Software dazu wirklich bereits entwickelt wurde, es sind also quasi Designstudien von Softwareprogrammen im Sinne von leeren Hüllen ohne tatsächliche Funktionalität) oder grafische Designskizzen unterstützt werden. Die Anzahl der Teilnehmer spielt eine untergeordnete Rolle, da es das Hauptziel ist, Feedback zu den Design-Ideen zu erhalten. Eine Studie hat jedoch festgestellt, dass eine optimale Anzahl Teilnehmer zwischen 8 und 10 liegt [Mor97]. Im Bereich der Informationsvisualisierung existiert eine aktuelle Arbeit von Mazza, der die Fokusgruppen-Methode in Ergänzung zu einem kontrollierten Experiment angewandt hat und damit Probleme aufdeckte, die durch das kontrollierte Experiment allein nicht zu Tage getreten wären [Maz06]. Weiterhin schlägt er eine grundsätzliche Vorgehensweise vor, wie die Fokusgruppen-Methode speziell für die Evaluation von Informationsvisualisierung eingesetzt werden sollte [Maz07].

FokusgruppenInterviews

3.2. Thinking-Aloud-Methode Die Methode des lauten Nachdenkens (engl. Thinking Aloud) hat ihren Ursprung in der traditionellen psychologischen Forschung und wird zunehmend zur Evaluation von Informationsvisualisierungsystemen verwendet. Der prinzipielle Ansatz ist es, Benutzer zu ermutigen, während der Ausführung von Aufgaben, die mithilfe des Informationssystems erledigt werden, laut zu denken. Dabei sollen so viel wie möglich Gedanken, Eindrücke und Emotionen wiedergegeben werden. Ein Moderator erhält einen direkten Zugang zum mentalen Denkmodell des Probanden und kann direkte Rückschlüsse ziehen, was und warum an dem jeweiligem Informationsvisualisierungssystem welche Probleme verursacht. Weiterhin besteht die Möglichkeit, Benutzer direkt nach Optimierungsmöglichkeiten zu befragen, die dann direkt in die Weiterentwicklung einfließen können [Pil05]. Die Methode wird nur mit sehr wenigen Benutzern ausgeführt, und die Benutzer sollten z. B. mit offenen Fragen immer wieder ermuntert werden laut zu denken. Jedoch sollten sich die Fragen nie auf Dinge beziehen, die die Benutzer (noch) nicht bemerkt haben.

Thinking Aloud Methode

Methoden des gedanklichen Durchgehens (engl. Cognitive Walkthroughs) von Benutzungsschnittstellen und deren Anwendungen haben das Ziel, potentielle Probleme der Gebrauchstauglichkeit (so genannte Usability-Probleme) aufzudecken und sollen insbesondere die kognitiven Aktivitäten der Benutzer während der Bedienung eines Systems über seine Benutzungsoberfläche untersuchen. Sie sind sehr oft fokussiert auf Aspekte der intuitiven Verständlichkeit, Erlernbarkeit sowie der Wahrnehmung von Systemfunktionalitäten, Systemaktivitäten und Ergebnissen von Systemaktivitäten und werden in der Regel eher früh im Entwicklungszyklus eingesetzt. Bei dieser Methodik gehen Entwickler oder Experten in Gedanken die Kernaufgaben typischer Benutzer an einem Informationssystem durch. Die Aktionen und das Feedback des Systems werden mit dem Wissen und den Zielen der Benutzer verglichen, und Diskrepanzen zwischen deren Erwartungen und den vom Informationssystem geforderten Schritten werden notiert [Jef91]. Cognitive Walkthroughs sind eine aufgabenorientierte Methodik. Die Testperson bekommt dabei eine Aufgabe gestellt und die Schritte, die zu ihrer Ausführung notwendig sind, werden anhand von Formularen evaluiert, die detaillierte Fragen hinsichtlich einer bestimmten Abfolge von Handlungen und Interaktionen mit dem System über seine Benutzungsoberfläche zur Erledigung der Aufgabe enthalten. Ein aktuelles Beispiel ist die Arbeit von Allendorfer et al. [All05], in der die Methode auf das Informationsvisualisierungssystem CiteSpace angewandt wird.

Cognitive Walkthrough

3.3. Heuristische Verfahren Allgemein sind Heuristiken in der Informatik Lösungsverfahren, die nur zum Teil auf wissenschaftlich gesicherten Erkenntnissen beruhen. Sie basieren auf Hypothesen, Analogien oder auf Erfahrungen. Aus diesem Grund ist die Güte dieser Verfahren meist nicht beweisbar, sondern wird durch wiederholte Experimente nachgewiesen. Speziell für die Evaluation von Informatio...