Visualisierung bei linguistischen Annotationswerkzeugen und Aus-wirkung auf deren Usability
Manuel Burghardt, Lehrstuhl für Medieninformatik, Universität Regensburg
Während es bereits zahlreiche Forschungsprojekte zur Visualisierung von linguistischen Treffer- bzw. Ergebnismengen gibt (vgl. etwa Wattenberg & Viégas, 2008; Culy & Lyding, 2010), so spielt Visualisierung bei der manuellen Annotation bislang allenfalls eine untergeordnete Rolle. Dabei ist die adäquate Visualisierung – sowohl der Primärdaten als auch der Annotationen – eine wich-tige Anforderung an linguistische Annotationswerkzeuge, da sie die Benutzerfreundlichkeit (Usability) der Tools erheblich beeinflusst.
Dieser Beitrag beschreibt eine Evaluationsstudie (Burghardt, 2014), bei der die Usability von elf linguistischen Annotationstools mithilfe der Inspektionsmethode des Heuristic Walkthrough (Se-ars, 1997) untersucht wurde. Die Evaluation förderte einerseits zahlreiche Usability-Probleme im Bereich des Interface-Design und der Mensch-Maschine-Interaktion zu Tage, zeigte andererseits aber auch, dass es domänenspezifische Bereiche der Visualisierung gibt, die für die Usability der Tools wichtig sind. Zu diesen Bereichen gehört etwa die (1) Visualisierung der Primärdaten, also des Texts, der annotiert werden soll, (2) die Visualisierung des Annotationsschemas bzw. des Tagsets, und vor allem auch (3) die Visualisierung von unterschiedlichen Annotationen. Ins-besondere die Visualisierung von parallelen Annotationen (Mehrebenenannotation) und von Beziehungen, wie z. B. Koreferenz-Annotation (vgl. auch Witte & Tang, 2007; Burkovski & Hei-demann 2011), bringt große Herausforderungen an die Usability von Annotationstools mit sich. In diesem Beitrag werden unterschiedliche Formen der Visualisierung vorgestellt, und aus einer Usability-Perspektive (vgl. Molich & Nielsen, 1990) diskutiert.
Quellen
Burghardt, M. (2014). Engineering annotation usability - Toward usability patterns for linguistic annotation tools. Dissertation, Universität Regensburg. Burkovski, A., & Heidemann, G. (2011). Visualization for Coreference Annotation. In G. Angelova, K. Bont-cheva, R. Mitkov, & N. Nicolov (Eds.), Proceedings of the Recent Advances in Natural Language Proces-sing, RANLP ’11 (pp. 692–697). Association for Computational Linguistics.
Culy, C., & Lyding, V. (2010). Double Tree: An Advanced KWIC Visualization for Expert Users. In E. Banis-si, S. Bertschi, R. A. Burkhard, J. Counsell, M. Dastbaz, M. J. Eppler, … T. G. Wyeld (Eds.), 14th Internatio-nal Conference Information Visualisation (pp. 98–103). Los Alamitos, CA: IEEE. Molich, R., & Nielsen, J. (1990). Improving a Human-Computer Dialogue. Communications of the ACM, 33(3), 338–348.
Sears, A. (1997). Heuristic Walkthroughs: Finding the Problems Without the Noise. International Journal of Human-Computer Interaction, 9(3), 213–234. Wattenberg, M., & Viégas, F. B. (2008). The Word Tree, an Interactive Visual Concordance. IEEE Transacti-ons on Visualization and Computer Graphics, 14(6), 1221–1228.
Witte, R., & Tang, T. (2007). Task-Dependent Visualization of Coreference Resolution Results. International Conference on Recent Advances in Natural Language Processing, RANLP ’07. Retrieved February 25, 2014, from http://www.rene-witte.net/system/files/075_witte.pdf