Wenn Menschen reden, sprechen die Hände und der Körper mit. Roboter oder Avatare dagegen bewegen ihre Hände oft gar nicht oder ihre Körpersprache passt nicht zu dem, was die technischen Helfer sagen. Ein Forschungsteam um Professor Dr. Stefan Kopp und Dr. Kirsten Bergmann von der Technischen Fakultät der Universität Bielefeld hat jetzt ein System entwickelt, das verbale Sprache sinnvoll mit Gesten unterstützt. Die Entwicklung ist ein Ergebnis des Sonderforschungsbereichs „Alignment in Communication“ (Ausrichtung in der Kommunikation – SFB 673) der Universität Bielefeld.

„Gesten sind wichtig für die Organisation der gesprochenen Inhalte“, erklärt Professor Kopp, der eine Forschungsgruppe im Exzellenzcluster Kognitive Interaktionstechnologie (CITEC) leitet und gleichzeitig ein Teilprojekt im SFB 637 mit verantwortet. Wenn Personen ihre Wohnung beschreiben, begleiten sie ihre Worte oft automatisch mit Gesten. So kommt es vor, dass sie mit Gesten ein vorgestelltes Rechteck aufziehen und darin zeigen, wo sich die Möbel und andere Dinge befinden. „Auch Wegbeschreibungen sind gewöhnlich zu komplex, um sie in Sprache zu bringen. Gesten unterstützen solche Beschreibungen“, sagt Kopp. „Gesten tragen oft wichtige Informationen, die nicht in der Sprache sind. Sie senken so die geistige Beanspruchung des Sprechenden.“

Die CITEC-Forscherinnen und -Forscher haben in ihrem System modelliert, welche inneren Prozesse im Kopf ablaufen, wenn Menschen sprechen und gestikulieren. „Das kognitive Modell kann vorhersagen, welche Gesten zu einer geplanten Äußerung passen“, sagt Professor Kopp. Dabei berücksichtigt die neue Software, wie Menschen unter verschiedenen Bedingungen gestikulieren. Die Sprache hat zum Beispiel Einfluss auf die Gesten: Beschreibt man etwas in einer anderen Sprache, so ändern sich mit den neuen Begriffen auch die Vorstellungen, die man im Kopf bildet – und damit ändert sich mitunter auch die Geste zum Wort. Auch Zeit spielt eine Rolle bei der Benutzung von Gesten. „Wenn wir dem System mehr Zeit zum Denken geben, dann produziert es Gesten, die besser mit der Sprache abgestimmt sind, als wenn nur wenig Zeit zur Verfügung steht.“

Das Computerprogramm beherrscht ikonische Gesten, also bildhafte Bewegungen wie Kreise, Würfel oder Linien. „Damit lässt sich ein Großteil der Sprache untermalen“, sagt Kopp. Das System eignet sich unter anderem, um Robotern Gesten „beizubringen“. Es kann auch in Avataren eingesetzt werden. Stefan Kopp und sein Team entwickeln solche virtuellen Assistenten. Gesten sollen mit dafür sorgen, dass die Kommunikation mit diesen Alltagshelfern als natürlich empfunden wird. Die Forscherinnen und Forscher haben ihr System in einer Fachpublikation vorgestellt. Für den Beitrag wurden sie im August auf der „International Conference on Intelligent Virtual Agents“ (Internationale Konferenz zu intelligenten virtuellen Avataren – IVA) im schottischen Edinburgh ausgezeichnet.

Der Sonderforschungsbereich „Alignment in Communication“ (SFB 673) der Universität Bielefeld erforscht seit 2006 Prozesse der Ausrichtung in der Kommunikation als Alternative zu bislang gängigen Theorien menschlicher Kommunikation. Im Mittelpunkt stehen die vielfältigen sprachlichen und außersprachlichen Mechanismen, die eine gegenseitige Abstimmung und gemeinsame Ausrichtung ermöglichen, wenn Menschen miteinander kommunizieren. Die Bielefelder Wissenschaftlerinnen und Wissenschaftler verfolgen einen interdisziplinären Zugang, der linguistische und technische Forschungsgruppen zusammenbringt. Die Forschungsgruppe um Stefan Kopp arbeitet im Teilprojekt „Speech-Gesture Alignment“ (Ausrichtung von Sprache und Gestik).

Quelle: Universität Bielefeld