Sprachen

BodyTalk - SS1999, WS1999/2000

Thema: 
BodyTalk - Erarbeitung gestenbasierter Methoden der Mensch-Maschine-Interaktion am Beispiel multimedialer Präsentationen.
Zeitraum: 
SS1999, WS1999/2000
Umfang: 
8 SWS pro Semester
Veranstalter: 

Jens Deponte, Informatik VII,
Otto-Hahn-Str. 16, Raum E09, Tel. 6134
Sven Schröter, Informatik VII,
Otto-Hahn-Str. 16, Raum E08, Tel. 6328

Teilnehmer: 
1. Nolte Alexandra
2. Steuer Konstantin
3. Herche Daniel
4. Scheer Birgit
5. Rosanski Thomas
6. Bönning Ralf
7. Alesker Irina
8. Pack Michael
9. Kuck Roland
10. Weitzig Björn
11. Umanskij Alexander
12. Försterling Dirk
Thematik: 

Die Ziele der PG teilen sich in zwei Bereiche. Im ersten Teil sollen Methoden entwickelt werden, die die konventionelle Mensch-Maschine-Schnittstelle (Tastatur, Maus, Bildschirm) durch intuitivere Konzepte ersetzen, die der interaktiven Durchführung multimedialer Präsentationen gerecht werden. Diese Konzepte sollen im zweiten Teil in Form eines gestengesteuerten Präsentationswerkzeugs implementiert und evaluiert werden.
Motivation - Freies multimediales Präsentieren: In heutiger Zeit tritt die Notwendigkeit der multimedialen Präsentation immer mehr in den Vordergrund. Es reicht oft nicht mehr aus, die Information mit den traditionellen (Schrift-)Medien zu vermitteln. Der Empfänger erwartet, daß Vorträge und Präsentationen mit Hilfe moderner Techniken aufgewertet werden. Damit soll erreicht werden, daß die zu vermittelnden Informationen interessanter gestaltet werden und es erleichtert wird, komplexe Sachverhalte zu verstehen. Der Vortragende wird dadurch dem Zwang ausgesetzt, sich mit der Steuerung von Präsentationswerkzeugen auseinanderzusetzen. Dies bezieht sich nicht nur auf die Erstellung der Präsentation, sondern vor allem auch auf die Steuerung des Werkzeugs während der Präsentation. Die aktuell gebräuchlichen Werkzeuge setzen voraus, daß der Vortragende sich in räumlicher Nähe zu einem Computer befindet und diesen durch Tastatur- oder Mauseingaben steuert. Alternativ kann dies durch eine weitere Person geschehen, die vom Vortragenden Kommandos in Form von Sprache oder Gesten erhält und diese umsetzt. Diese Art der Kommunikation soll auf die Mensch-Maschine-Schnittstelle abgebildet und um weitere Konzepte erweitert werden. Ziel muß es dabei sein, eine möglichst intuitive Präsentationssteuerung zu entwickeln, die dem Vortragenden maximalen Raum für die Inhalte und deren Vermittlung läßt. Durch direkte Interaktion mit der Präsentation wird die Kommunikation mit dem Präsentationswerkzeug ein Teil der Präsentation selbst und ist nicht mehr nur störendes Beiwerk.
Ansätze gestengesteuerter Präsentationssteuerung: Der Einsatz von Handgesten zur Interaktion mit Präsentationen hat schon in den 70er Jahren der Computer-Künstler Myron Krueger beschäftigt. In seinen Videoinstallationen Videodesk und Painting the town verwendet Krueger einfache Monochrom-Videotechnik um die Silhouette der Hand eines Benutzers zu erkennen und aufgrund von Zeigegesten und Handbewegungen unterschiedliche Objekte eines Bürotisches zu manipulieren oder wie im Falle von Painting the town in einer Grossleinwand-Projektion die Lichter einer Skyline ein- und auszuschalten.
Dass die Gestikerkennung nicht nur aus künstlerischer Sicht ein interessantes Interaktionsmedium ist, sondern auch für Steurungs- und Präsentationszwecke verwendet werden kann, zeigen die Anwendungen von Freeman, der die Steuerung eines Fernsehers über Gestik realisiert, und Bröckl-Fox, der einen HTML/VRML-basierten Vortrag ebenfalls mittels Gesten hält. Die Idee zur Präsentationssteuerung durch Gesten realisierten ebenfalls die Studenten der Projektgruppe ZZYKLOP in ihrem Abschlu\3vortrag am Lehrstuhl Informatik VII der Universität Dortmund. Ein während der Projektgruppe eigens entwickeltes System zur Erkennung von Handgesten wurde verwendet, um das vor- und zurückblättern von HTML-Seiten durch einen WWW-Browser zu realisieren. Als weitergehende Arbeit in Richtung einer freien Präsentationssteuerung ist eine Diplomarbeit von Carsten Kirstein am Lehrstuhl Informatik VII zu nennen, in der die Steuerung von HTML-Seiten, die auf eine Leinwand projeziert werden, durch die Bewegung eines roten Laser-Pointers realisiert wird. Hier wird die Bewegung des Mouse-Cursors durch die Bewegung des roten Laser-Pointers vorgegeben und durch längeres Verharren auf einer Stelle das Auslösen eines Mouse-Clicks erzeugt.
Über die oben genannten Möglichkeiten zur Vortragsgestaltung geht ein ebenfalls am Lehrstuhl Informatik VII entwickeltes Präsentationssystem weit hinaus, da durch dieses unterschiedliche Medien wie Text, Videound HTML miteinander verbunden werden können. Hier genügen die einfachen Ansätze zur Gestenerkennung von Krueger nicht den Ansprüchen einer intuitiven Mensch-Rechner-Schnittstelle. Es reicht auch nicht aus, wie im Falle von Freeman und Bröckl-Fox, eine einzelne Geste mit einer festgelegten Aktion fest zu verdrahten.
Als Szenario soll die klassische Situation eines Vortrages dienen, in der die Präsentation durch ein Projektionsgerät auf einer Leinwand dargestellt wird und der Vortragende sich neben der Leinwand bewegt. Durch eine geschickte Kombination der unterschiedlichen Gestenarten die durch das Gestenerkennungssystem ZYKLOP erkannt werden (semantische Handposen, Zeigegesten, Bewegtgesten, Gestenfolgen) und einer Umsetzung der Handbewegungen des Benutzers in Bewegungungen eines Werkzeuges oder eines Zeigeinstrumentes in der Präsentation, was als visuelle Rückkopplung dient, kann ein neues intuitiv benutzbares Interaktionsparadigma entwickelt werden, welches dem Benutzer die Bedienung der unterschiedlichen Medien ohne zusätzliche Hilfsmittel erlaubt.
Gelingt es, die Schnittstelle zwischen Vortragendem und Präsentation so zu gestalten, da\3 dem Zuschauer kein Bruch zwischen Intention des Vortragenden und Reaktion des Präsentationssystems auffällt, wird die Interaktion Teil der Präsentation und führt so zu einer höheren Akzeptanz und Konzentration auf die Inhalte beim Zuschauer. Dies kann noch durch die Integration des Vortragenden in die Präsentation (z.B. als Videobild) verstärkt werden, wodurch sich der Zuschauer ausschlie\3lich auf die Projektion konzentrieren kann. Das Zielsystem: Das zu entwickelnde Interaktionsparadigma soll durch ein Softwaresystem realisiert werden, welches eine flexible Anpassung der Zuordnungen zwischen Gesten und auszuführenden Aktionen in der Präsentation ermöglicht. Weiterhin soll das Softwaresystem offen für die Integration von weiteren Eingabemodalitäten, wie z.B. Sprache oder der Laser-Pointer-Steuerung sein. Ebenfalls ist eine Unabhängigkeit gegenüber dem zu steuernden Präsentationssytems erreicht werden. Weiterhin ist zu erwarten, da\3 unterschiedliche Rechnersystem für die Eingabemodalitäten und die Realisierung der Präsentation Verwendung finden.

Teilnahmevorraussetzungen:

Wissen aus möglichst vielen der folgenden Bereichen:

  • Kenntnisse aus dem Bereich Mensch-Maschine-Interaktion
  • Stammvorlesung Graphische Systeme inklusive Übungen
  • Spezialvorlesung Digitale Bildverarbeitung inklusive Übungen
  • Kenntnisse in objektorientierter Programmierung
  • Kenntnisse in C++

Minimalziele:

  • Erstellen des schriftlich dokumentierten Entwurfs.
  • Bereitstellung der Grundfunktionalität zur Steuerung von Präsentationen durch Gesten.
  • Beispielhafte Realisierung eines Interaktionsparadigmas an einzelnen ausgewählten Gesten.

Realisierung:

Die Teilnehmer erhalten in der letzten Vorlesungswoche des WS 1998/99 Themen für die Seminarvorträge. Während der Projektarbeit wird gro\3er Wert auf projektbegleitende Dokumentation gelegt.
SS 99:

1. Woche: Kompaktseminar (Einführung in Konzepte des objektorientierten Programmierens, Programmiersprache C++, Werkzeuge: RCS, ...).
2. - 3. Woche: Kennenlernen der Systemumgebung, ZYKLOP, Präsentationssysteme, Übungen mit C++.
4. - 9. Woche: Erstellung eines Interaktionsparadigmas zur Steuerung eines Präsentationssystems mittels Gesten. Entwurf des Gestenerkennungssystems und der Umsetzung der Gesten-Kommandos in Steuersignale für das Präsentationssystems.
10. Woche: Kompaktseminar (Präsentation des Entwurfs). Beginn der testweisen Implementation.
11.-13. Woche: Durchführen von evtl. notwendigen Änderungen des Entwurfs und seine schriftliche Ausarbeitung.

WS 98/99:

1. - 9. Woche: Implementierung und Test der Teilsysteme, Entwurf von möglichen Scenarios für die Überprüfung des Interaktionsparadigmas.
10.-13. Woche: Integration zu einem Gesamtsystem, Überprüfung der Ergonomie des Interaktionsparadigmas.
14. - 16. Woche: Erstellen des Abschlu\3berichts.

In der vorlesungsfreien Zeit finden keine PG-Aktivitäten statt.

Erweiterungsmöglichkeiten:

Das Interaktionsparadigma und die Kopplung von Gestenerkennung und Präsentation kann sehr gut in die am Lehrstuhl VII entwickelte Software zur verteilten multimedialen Lehre integriert werden.
Eine Erweiterungsmöglichkeit besteht darin, Präsentationen nicht nur durch Gesten, sondern auch durch Sprache zu steuern. Dies kann durch kommerziell erhälteliche Spracherkennung realisiert werden.
Desweiteren lässt sich das Interaktionsparadigma von einer 2D-Gestenerkennung auf eine 3D-Gestenerkennung erweitern und reale Objekte im Raum können durch Zeigen auf diese in die Präsentation einbezogen werden.

Ressourcen:

Die PG-Teilnehmer sollten Zugang zu grafikfähigen Sun-Workstations mit Farbbildschirm haben. Für die Gestenerkennung stehen mehrere PC-basierte Bildverarbeitungsplätze mit Video zur Verfügung. Zusätzliche Arbeitsplätze stehen in den PG-Pools durch Remote-Login zur Verfügung.

Literatur:

[SK96] M. Stark, M. Kohler Videobasierte Mensch-Maschine-Interaktion. Informationstechnik und Technische Informatik (it+ti) 38(3), 15-20, 1996
[Ki97] C. Kirstein Ein System zur Mensch-Rechner-Interaktion ueber Projektion eines videoverfolgten Lichtstiftes. Diplomarbeit, Lehrstuhl Informatik VII, Universität Dortmund, 1998
[Br98] U. Bröckl-Fox Real-Time 3-D Interaction from Monocular Video Image Flows. in Informatik '98: Informatik zwischen Bild und Sprache; Magdeburg 21.-25. September 1998, J. Dassow und R. Kruse (Hrsg.), Seiten 191-200, Springer 1998
[FW95] W. T. Freeman, C. D. Weissmann Television Control by Hand Gestures . In IEEE Intl. Wkshp. on Automatic Face and Gesture Recognition, Zurich, June, 1995
[HSO97] C.Hummels, G. Smets, K. Overbeek An Intuitive Two-Handed Gestural Interface for Computer Supportef Product Design. in I. Wachsmuth and M. Fröhlich (Eds.), Gesture and Sign Language in Human-Computer Interaction, International Gesture Workshop Bielefeld, Germany, September 1997, Proceedings, Springer