Sprachen

Verfahren und Systeme der Mensch-Maschine-Interaktion

Gegenstände des Forschungsschwerpunktes „Mensch-Maschine-Interaktion“ sind Verfahren, die auf fortgeschrittene Sensorik beziehungsweise Darstellungstechniken aufbauen. Die Schwerpunkte liegen auf den Gebieten
  • Computersehensbasierte Mensch-Maschine-Interaktion
  • Stereoskopische Darstellung
  • Haptik
Ein Anwendungsbereich, der dabei besonderes Interesse gefunden hat, ist das multimediale Konferieren und Präsentieren, insbesondere im Zusammenhang mit der universitären Lehre. Im Folgenden wird ein Überblick über diese Schwerpunkte gegeben.

Computersehensbasierte Mensch-Maschine-Interaktion

Bei der computersehensbasierten Mensch-Maschine-Interaktion werden Posturen des Benutzenden durch ein oder mehrere Videokameras erfasst. Die Posturen werden auf Rechnerseite klassifiziert, um ihnen eine Bedeutung aus Sicht des Anwendungssystems zuzuordnen, mit dem der Benutzende interagiert. Ein Beispiel ist die Aufnahme der Hand, die zu Gesten geformt wird, z.B. Faust, ausgestreckte Finger, V-förmige Anordnung von Zeige- und Mittelfinger. Handgesten waren Gegenstand des Systems Zyklop, des ersten Systems, das am Lehrstuhl Informatik VII entstanden ist. Bei Zyklop wird davon ausgegangen, dass sich die Hand innerhalb eines begrenzten Bereichs befindet. Dieser Bereich wird so von einer fest montierten Kamera erfasst. Es wird angenommen, dass die Hand in einer Größe aufgenommen wird, die die Unterscheidung der Gesten erlaubt. Ferner muss der Hintergrund statisch sein. Das Nachfolgesystem ARGUS zielt im Unterschied zu Zyklop auf die Erfassung von Gesten, die frei im Raum ausgeführt werden. Um die Hand stets in der Größe, die für eine Erkennung notwendig ist, im Bild zu halten, werden rechnersteuerbare, aktive Kameras eingesetzt. Über eine Rechnerschnittstelle kann die Kamera geneigt und geschwenkt werden und es kann der Zoom verändert werden. ARGUS ist im Wesentlichen eine Systemarchitektur, die auch prototypisch realisiert wurde. Mehr Informationen über Zyklop und ARGUS sind auf einer Projektseite sowie in der Dissertation [Diss. Kohler] zu finden. Ausgehend von den Erkenntnissen aus ARGUS wurde im Rahmen des BMBF-Leitprojektes INVITE das VTM-Basisystem konzipiert und realisiert. VTM steht für „Vision-based Tracking Module“. Es stellt Grundfunktionalitäten zur kamerabasierten Verfolgung von Benutzenden zur Verfügung, wobei auch ein sich leicht ändernder Hintergrund zulässig ist. Aufbauend auf VTM wurde ein System zur Interaktion mit einer Rückprojektionswand entworfen und realisiert. Ein besonderer Aspekt dieses Systems ist die Nutzung von Zeit- und Ansichtskohärenz zur Fehlerelimination durch Ansichtsrekonstruktion sowie Parameteradaption auf Basis des der Minimierung von auftretenden Erkennungsfehlern. Für Einzelheiten wird auf die VTM-Projektseite sowie auf die Dissertationen [Diss. Leubner] und [Diss. Brockmann] verwiesen. Neben diesen Hauptaktivitäten wurden eine Reihe weiterer Arbeiten auf diesem Gebiet initiiert oder betreut:
  • In der Dissertation Hoch [Diss. Hoch] wurde ein computersehensbasiertes System zur Gestaltung von Filmszenen für Regisseure konzipiert, realisiert und evaluiert.
  • Eine Möglichkeit zur Interaktion mit Projektionseinrichtungen ist die Verwendung der ohnehin in diesem Zusammenhang gebräuchlichen Laser-Pointer. Um die aktive Beeinflussung der zugrunde liegenden Anwendung zu ermöglichen, wird der auf der Projektionswand entstehende Lichtpunkt mittels einer Kamera aufgenommen und mit Methoden der Bildanalyse lokalisiert. Dieser Ansatz wurde in einer Diplomarbeit [DA Kirstein] sowie von einer studentischen Projektgruppe [3D-LaserNav] verfolgt.
  • Mit der Bestimmung der Kopfausrichtung beziehungsweise der Blickrichtung von Personen befassten sich die Diplomarbeiten [DA Rosanski/Scheer] und [DA Hustad].
  • Neben dem Bestreben der Interaktion ohne Verwendung von Markierungen oder Instrumenten am Benutzenden, das charakteristisch für die meisten am Lehrstuhl Informatik VII durchgeführten Projekten ist, gab es auch diesbezügliche Aktivitäten. In der Diplomarbeit [DA Kolter] wurde ein Zeigestock verwendet, dessen Lage über Kameras erfasst wurde. Die Diplomarbeit [DA Pack/Steuer] steuerte mehrgelenkige Objekte über die Bewegung von Fingern, die mit Ringmarkierern versehen waren. Die Diplomarbeit [DA Herche] befasste sich mit der Vermessung von Markierungen im Raum.
  • Die Identifikation von Interaktionsobjekten, z.B. die Hände oder der Kopf, in aufgenommenen Bildsequenzen stellt ein Kernproblem der computersehensbasierten Interaktion dar. In der Masterarbeit [MA Mujeeb] und in der Diplomarbeit [DA Fiedler] wurden farbbasierte beziehungsweise formbasierte Ansätze zur Handsegmentierung verfolgt, wobei Modellwissen zum Einsatz kam.

Projekte:

[Zyklop and ARGUS:] Computer Vision Based Human-Computer Interaction (1992-2000) [VTM:] Vision-based tracking module for human-computer interaction (1999-2003)

Publikationen (für projektbezogene Publikationen siehe entsprechende Projektseite):

Christian Leubner, Christian Brockmann, Heinrich Müller, On-line Training of the Human Body and Motor System Using Computer Vision, Proceedings of 1st International Workshop on Virtual Reality Rehabilitation (VRMHR), Lausanne, 2002

Dissertationen:

[Diss. Brockmann] Christian Brockmann, Remote Vision Based Multi Gesture Interaction in Natural Indoor Environments, 2006 [Diss. Hoch] Michael Hoch, Intuitive Schnittstelle: eine neue Computerumgebung für die Planung bildkünstlerischer Prozesse, 1999 [Diss. Kohler] Markus Kohler, New Contributions to Vision-Based Human-Computer Interaction in Local and Global Environments, 1999 [Diss. Leubner] Christian Leubner, A Framework for Segmentation and Contour Approximation in Computer-Vision Systems, 2002

Diplomarbeiten (weitere bei den Projektbeschreibungen):

Paulo Afonso, 2002, Verfolgung von bewegten Objekten mit einer rechnergesteuerten Schwenk-Neige-Kamera David Fiedler, 2007, Bildsegmentierung mit regionengesteuerten aktiven Konturen und a priori Gestaltwissen Daniel Herche, 2001, Automatisierte Kamerakalibierung für die Vermessung angebrachter Markierungsobjekte im Raum Kathrin Hustad, 2000, Entwicklung eines Verfahrens zur Blickrichtungserkennung bei Menschen Ruhr-Universität Bochum Carsten Kirstein, 1998, Ein System zur Mensch-Rechner-Interaktion über Projektion eines videoverfolgten Lichtstiftes Martin Kolter, 2000, Ein Stereo-Vision-System zur kontinuierlichen Berechnung von Position und Lage eines Stabes im Raum Christian Leifkes, 2002, Identifikation von Vordergrundobjekten durch Korrespondenzanalyse von Bildfolgen sich stark unterscheidender Ansichten Bilal Abdul Mujeeb, 2007, Camera-Based Hand Gesture Recognition in Operation Theaters Michael Pack, Konstantin Steuer, 2001, Computersehens-basierte Steuerung virtueller Manipulatoren für interaktive graphische Anwendungen Marco Perricone, 2003, Bestimmung der Kopfausrichtung durch Verfolgung von Gesichtsmerkmalen Thomas Rosanski, Birgit Scheer, 2002, Ein computersehensbasiertes System zur Analyse der Kopfausrichtung einer Person Tim Tischendorf, 2002, On-Line Parameterregelung zur Rekonstruktion von visuell erfassten Bewegungen

Projektgruppen:

[AHELP] Optischer Sensor zur Erkennung von medizinischen Notfällen im Wohnbereich [ARGUS] Ein ergonomisches Dialogsystem zur Steuerung von technischen Systemen in Wohnbereichen mittels Gestenerkennung [BodyTalk] Erarbeitung gestenbasierter Methoden der Mensch-Maschine-Interaktion am Beispiel multimedialer Präsentationen [VisionWorld] Computersehensbasierte Interaktion mit immersiven virtuellen Welten [Zyklop] Visueller Mensch-Rechner Dialog

Stereoskopische virtuelle Umgebungen

Die Aktivitäten begannen mit dem Entwurf und der Realisierung eines rückprojektionsbasierten Stereodarstellungssystems im Rahmen zweier studentischer Projektgruppen [LightWorld, LightWorld II]. Es wurde ein Basissystem zur Interaktion entwickelt. Zur Eingabe wurde ein elektromagnetischer Polhemus-Tracker eingesetzt. Eine weitere Aktivität betraf die präzise Erfassung der Kopfposition in einer geschlossenen CAVE durch optische Verfolgung. Eine CAVE ist ein üblicherweise quaderförmiges Rundumprojektionssystem, bei dem mittels Projektion von außen eine virtuelle dreidimensionale Umgebung geschaffen wird, die von dem Benutzenden im Inneren des quaderförmigen Raums wahrgenommen wird. Bei einer geschlossenen CAVE wird von allen Seiten projiziert, so dass kein Einblick von außen möglich ist. Die grundsätzliche Idee des entwickelten optischen Tracking-Systems bestand darin, mehrere Laser-Lichtquellen an einem Helm anzubringen, der vom Benutzenden im Inneren der CAVE getragen wird. Die Laser-Strahlen induzieren einzelne Lichtpunkte auf den Rückprojektionswänden der CAVE, die von außen mittels Videokameras erfasst werden. Aus der Position der Lichtpunkte wird die Lage des Helms zurückgerechnet. Weitere Information hierzu ist in den Diplomarbeiten Czkin und Günther dokumentiert. Im Rahmen der Diplomarbeit [DA Seyffarth], die am Fraunhofer-Institut für Medienkommunikation (FhG IMK) in Sankt Augustin angefertigt wurde, wurden Möglichkeiten der gestenbasierten Systemsteuerung analysiert.

Publikationen (für projektbezogene Publikationen siehe entsprechende Projektseite):

Heinrich Müller, André Hinkenjann, Roland Blach, Martin Göbel, Ulrich Lang, Stefan Müller, CAVE: Ein High-End-Konzept der audiovisuellen räumlichen Mensch-Rechner-Interaktion, "Informatik'98", J. Dassow, R. Kruse (Hrsg.), Springer-Verlag, 1998, 349-359

Diplomarbeiten:

Blasius Czink, 2004, Ein System zur Laser-basierten Positionsverfolgung in geschlossenen immersiven Projektionsumgebungen Andreas Günther, 2003, Laserbasierte Positionierung in projektionsbasierten virtuellen Umgebungen Silke Seyffarth, 2003, Gestenbasierte Systemsteuerung in virtuellen Umgebungen, angefertigt am FhG IMK, Sankt Augustin

Projektgruppen:

[LightWorld] Entwurf und Implementierung eines verteilten Basissystems für immersive virtuelle Umgebungen [LightWorld II] Entwurf und Implementierung eines verteilten Basissystems für immersive virtuelle Umgebungen II [3D-LaserNav] Laserpointer-gestützte multimodale Interaktion in einer dreidimensionalen stereoskopischen Realität

Haptik

Haptische Interaktionsgeräte sind durch die Übertragung von Kräften zum und vom Benutzenden gekennzeichnet. Weit verbreitet sind die haptischen Displays namens Phantom von SensAble Technologies (www.sensable.com). Die Interaktion geschieht über einen stiftähnlichen Griff, der an einem roboterähnlichen Arm angebracht ist, über den die Kraftübertragung erfolgt. Am Lehrstuhl Informatik VII werden haptische Displays als Komponenten in neuartigen Anwendungen eingesetzt. In dem Projekt „Ein neuer e-Learning Ansatz für Blinde und hochgradig Sehbehinderte“ geschieht dies zur Exploration geometrischer Information, insbesondere mathematische Funktionsgraphen und biologische Zellstrukturen. Diese sind virtuell als reliefartige Kurven beziehungsweise Texturen repräsentiert, die mit dem haptischen Display quasi ertastet werden können. Mehr Information ist über die Web-Seite des Projektes ein neuer e-Learning Ansatz für Blinde und hochgradig Sehbehinderte zugreifbar.

Projekte:

Ein neuer e-Learning Ansatz für Blinde und hochgradig Sehbehinderte

Multimediales Konferieren und Präsentieren

Ein Anwendungsgebiet von Mensch-Maschine-Interaktion, mit dem sich der Lehrstuhl Informatik VII gelegentlich befasst, ist das rechnerbasierte Lernen (e-learning). Gegenstand des Projektes Multimedial Conferencing and Repräsentation war der Entwurf und die Realisierung eines multimedialen Hörsaals. Ein wesentlicher Aspekt war die Kommunikation mit anderen Orten, etwa externe Hörsäle, externe Hörer oder externe Dozenten. Die Kommunikation erfolgt dabei Ton-, Bild- und textorientiert in bidirektionaler Weise. Insbesondere wurde die Verwendung einer extern steuerbaren aktiven Kamera vorgesehen und realisiert. Für mehr Information wird auf Darstellung des Projektes verwiesen. In einer Diplomarbeit [DA Kluger] wurde ein semi-automatischer Kameraassistent zur Verfolgung einer Person in einer Gruppe von Menschen mit dem Anwendungshintergrund der automatischen Mitführung einer sich frei bewegenden Lehrperson in Großaufnahme, etwa beim Mitschnitt einer Lehrveranstaltung, entwickelt. Eine weitere Aktivität betrifft den Einsatz von haptischen Displays im Unterricht von hochgradig sehbehinderten Schülern, siehe Abschnitt „Haptik“.

Projekte:

Ein neuer e-Learning Ansatz für Blinde und hochgradig Sehbehinderte Multimedial Conferencing and Representation (1995-1999)

Publikationen (für projektbezogene Publikationen siehe entsprechende Projektseite):

R. Garmann, J. Deponte, R. Mencl, Interaktive Online-Ausbildung mit Applets, it+ti 3/99, 13-20 Heinrich Müller, J. Winckler, S. Grzybek, M. Otte, B. Stoll, F. Equoy, N. Higelin, The program animation system PASTIS, The Journal of Visualization and Computer Animation 2, 1991, 26-33

Diplomarbeiten (weitere in den Projektbeschreibungen):

Martin Kluger, 2006, Partikelfilterbasierter, virtueller Kameraassistent zur Verfolgung einer Person in einer Gruppe von Menschen

Projektgruppen:

[GRAPPA] Entwurf und Implementierung einer Datentransformationsstufe für das Programmanimationssystem PASTIS [ImmPress] Ein integrierbares multimediales Präsentationssystem