CHIM – Chatbot im Museum: Museumsguide der Zukunft?!

Seit Anfang 2019 Jahren arbeitet Linon Medien nun an der Entwicklung von CHIM – kurz für Chatbot im Museum. Gemeinsam mit dem DFKI erforschen wir in dem BMBF-geförderten Projekt die Möglichkeiten eines lernenden, multimodalen Dialogsystems zur Wissensvermittlung in Museen.

Die Ausgangsfrage war: Wie kann ein digitales Vermittlungssystem auf konkrete Fragen von Besucher:innen antworten? Übliche Museumsguides können das nicht. CHIM soll eine prototopische Anwendung werden, die Fragen von Besucher:innen zu Kunstwerken, Künstler:innen oder Stilrichtungen nicht nur versteht, sondern auch passende Antworten gibt – in Form von Sprachausgabe, Textausgabe, aber auch mithilfe weiterer Medien wie Audio und Video.

Eine besondere Herausforderung ist dabei unter anderem die Aufbereitung und Präsentation von semantisch sehr komplexen Informationen. Während Siri & Co. auf konkrete Fragen zu einem Kunstwerk meist nur einen Wikipedia Artikel zur jeweiligen Künstler:in anbieten, soll CHIM passende Antworten geben können, wenn etwa gefragt wird, was ein bestimmtes Bildelement bedeutet, wer die dargestellten Personen sind oder welche Entstehungsgeschichte ein bestimmtes Kunstwerk hat. Dies erfordert neben speziell angepassten NLU (Natural Language Understanding) und NLP (Natural Language Processing) Methoden auch eine Datenbasis, in der solche Antworten vorhanden sind.

Audioguidetexte - eine Goldgrube für CHIM

Glücklicherweise können wir bei Linon Medien für diese Informationen auf einen wahren Datenschatz zurückgreifen: Mehr als 700 Audioguidekommentare im Text- und Audioformat zu knapp 300 Objekten existieren für das Städel Museum, unserem Partner für Test und Evaluation des CHIM Prototyps. Diese Texte wurden von spezialisierten Autor:innen geschrieben und anschließend von den jeweiligen Fachbereichs-Kurator:innen geprüft. Die Texte sind damit inhaltlich höchst valide und auf die Ansprüche und Bedürfnisse von Besucher:innen, also das Niveau interessierter Laien, zugeschnitten. Basisinformationen und Hintergrundwissen sind leicht verständlich erläutert. Aus diesem reichen Fundus wird CHIM seine Antworten auf Besucher:innenfragen speisen. Da die Texte für das Sprechen geschrieben wurden, eignen sie sich hervorragend für die Ausgabe innerhalb eines sprachbasierten Systems. Hörtexte sind anders aufgebaut als wissenschaftliche Aufsätze oder Katalogtexte, die sich oft durch komplizierten Satzbau, unklare Bezugnahmen, Metaphern oder Mehrdeutigkeiten auszeichnen. Bei Hörtexten dagegen sind die Sätze kurz. Bezüge sind eindeutig. Auf Fachvokabular wird verzichtet. Das macht die Zuordnung von Intentionen einfacher und verbessert damit letztlich die Qualität der KI-generierten Antworten.

Fragen und Antworten für die KI

Doch gehen wir zunächst nochmal einen Schritt zurück. Um die künstliche Intelligenz von CHIM zu trainieren, brauchten wir möglichst viele Fragen potenzieller Besucher:innen. In einem ersten Schritt haben wir dafür eine Smartphone- & Desktop Anwendung konzipiert und damit im Frühjahr 2021 über 2500 Fragen zu insgesamt vierzehn Hauptwerken aus dem Städel Museum in Frankfurt a.M. gesammelt. Nutzer:innen konnten ihre Fragen per Text- oder Spracheingabe stellen, genauso, wie es später auch bei CHIM möglich sein wird.

Diese Fragen haben wir anschließend in unterschiedliche Intentionen, oder „Wissens-Absichten“ gegliedert und entsprechend annotiert: zum Beispiel Fragen zur Bedeutung eines Werkes selbst, zum historischen oder biographischen Entstehungskontext, zur stilistischen Einordnung oder zu den verwendeten Techniken. In einem weiteren Schritt haben wir das vorhandene Linon Textmaterial ebenfalls mit Annotationen versehen – also die entsprechenden Textabschnitte markiert und verschlagwortet, die Antworten auf diese Fragen enthalten.

Aufgabe der künstlichen Intelligenz bzw. der Sprachmodelle ist es nun, diese Frage-und-Antwort Paare und Kategorien zu erlernen, um so zukünftige Nutzer:innenfragen korrekt zu erkennen, einer bestimmten Intention zuzuordnen und anschließend die passende Antwort auszugeben.

Feldtest im Städel Museum im November 2021

Ende 2021 werden wir einen ersten Prototyp von CHIM im Städel Museum testen Interessierte Besucher:innen können sich mit einem Testgerät – einem regulären Smartphone, auf dem die CHIM Anwendung installiert ist – auf einen Rundgang durch das Museum machen und das Wissen und die Kommunikationsfähigkeiten des Chatbots zu ausgewählten Werken aus den Bereichen Alte Meister, Kunst der Moderne und Gegenwartskunst testen.

Die Eindrücke und Erfahrungen der Tester:innen werten wir anschließend aus – neben der Evaluation unseres Prototyps gewinnen wir so auch weitere Einblicke in die Erwartungen und Ansprüche, die Besucher:innen an digitale Wissensvermittlung in Museen heutzutage haben.

Wir sind sehr gespannt und freuen uns darauf, CHIM zum ersten Mal im Einsatz zu sehen!

Weitere beiträge