Sprachen

3D-LaserNav - WS 2006/2007, SS 2007

Thema: 

Laserpointer-gestützte multimodale Interaktion in einer dreidimensionalen stereographischen Realität

Zeitraum: 

WS 2006/07, SS 2007

Umfang: 

8 SWS pro Semester

Veranstalter: 

Heinrich Müller, Informatik VII (Graphische Systeme),
OH16, R.124, Tel.:6324, E-Mail: mueller@ls7.cs.uni-dortmund.de
Frank Weichert, Informatik VII (Graphische Systeme),
OH16, R.121, Tel.:6122, E-Mail: weichert@ls7.cs.uni-dortmund.de

Einzelpräsentation: 
Donnerstag, 06.07. um 15.00, Otto-Hahn-Strasse 16 (OH16), Raum E07
Teilnehmer: 
1. Bahlmann Jan
2. Brychcy Niko
3. Endt Dennis
4. Fitzek Leschek
5. Grob Andreas
6. Heine Matthias
7. Hüfner Martin
8. Kroener Tim
9. Mark Karsten
10. Preukschat Marcel
11. Rudel Martin
12. Wang Sheng
Thematik: 

In Zusammenarbeit mit dem Lehrstuhl für Mechanische Verfahrenstechnik (Fachbereich Bio- und Chemieingenieurwesen) werden in einem aktuellen Forschungsprojekt die Ursachen der Zerfallsprozesse von Flüssigkeitslamellen bei Hohlkegeldüsen im Hinblick auf praktische Anwendungsmüglichkeiten (z.B. Motoren, medizinische Sprühgeräte, Lackspritzanlagen) untersucht [Land06]. Ein Teilaspekt dieses Projektes, die exakte dreidimensionale Visualisierung der Flüssigkeit in einer augmentierten Realität, ist das Thema der aktuellen Projektgruppe 484 am Lehrstuhl Informatik VII. Augmentierte Wirklichkeit bedeutet in diesem Zusammenhang, dass Videodaten (reale Daten) der ausströmenden Flüssigkeit mit virtuellen, rechnergenerierten Daten (z.B. Stromlinien) in einer "Welt" dargestellt werden und mit ihnen interagiert wird [Azuma97].
Obwohl es sich bei dem aufgezeigten Projekt um eine explizite Anwendung handelt, reflektiert sie doch die allgemeine Problematik, dass speziell die Visualisierung komplexer, in der Realität dreidimensionaler Versuchsszenarien, eine Kombination von immersiver, dreidimensionaler virtueller Realität (VR) mit einer multimodalen Mensch-Maschine-Interaktion erfordert [Hand97]. Hier setzt die Aufgabe der Projektgruppe an. Innerhalb dieser soll eine VR-Interaktionsschnittstelle entworfen und realisiert werden, die es auch mehreren Benutzenden gleichzeitig ermöglicht, unter Verwendung handelsüblicher Laserpointer mit einer 3D-Szene zu interagieren [Kirst98].

(a) (b)

Abbildung 1: (a) 3D-Sprühkegel. (b) Darstellung des Informatik-Hörsaals mit seiner stereographischen Projektionswand und den zugehörigen Multimediakomponenten.

Der Hörsaal innerhalb des neuen Informatikgebäudes an der OH-14 ermöglicht mittels einer modernen INFITEC-basierten stereographischen Projektion, die Integration der PG-Umsetzung in eine professionelle Multimedia-Umgebung (s. Abb. 1). Abbildung 1b zeigt das Multimediaequipment schematisch und vermittelt eine mögliche Herangehensweise zur Realisierung der Aufgabenstellung. Mittels der beiden Domkameras 1 und 2 kann der Laserpointer getrackt und seine Position im (3D-) Raum bestimmt werden. Ergänzend erlaubt Kamera 3 die Positionsdetektion des Laserpunktes auf der Projektionsfläche. In Verbindung mit den Informationen zu den räumlichen Modalitäten kann der reale Laserstrahl L1 als virtueller Suchstrahl L2 in die visualisierte stereographische Szene "verlängert" werden - zur Interaktion im virtuellen 3D-Raum. Der Prozess der Entwicklung von der Nutzung des Laserpointers zur manipulierten, erweiterten virtuellen 3D-Realität lässt sich in folgende Phasen aufteilen:

  • Akquisition: Bei einer Umsetzung innerhalb des Hörsaals kann auf die Videostreams der drei hochaufl ösenden Farb-Domkameras über die Netzwerk Remote Streamingsoftware "PView" zugegriffen werden - zu realisieren über eine entsprechende Protokollanbindung.
  • Datenaufbereitung: Trotz der initial beschriebenen hochwertigen Aufnahmemodalitäten kann es zu geometrischen Verzerrungen und Diskontinuitäten (z.B. Rauschen, Reflektionen) innerhalb einzelner Sequenzen kommen. Diese Artefakte sind durch Methoden digitaler Bildverbesserung zu beheben [Sonka99]. Zusätzlich sind Beleuchtungsveränderungen innerhalb der Videostreams zu kompensieren. Ergänzend kommt es bedingt durch die Kameraoptik zu Verzerrungen innerhalb der Aufnahmen, wodurch diese nicht direkt verwendbar sind. Unter Verwendung von eingebrachten Markierungsgittern kann zunächst eine Kalibrierung der Kameras erfolgen [Zhang98] und basierend auf diesen Daten eine Entzerrung (Dewarping) der Streamingdaten [Rupr95].
  • Segmentierung und Tracking: Um die Segmentierung des Laserpunktes auch in zeitkritischen Situationen effizient innerhalb des Videostreams von Domkamera 3 zu ermöglichen, muss der Laserpunkt automatisch mit geeigneten Algorithmen digitaler Bildverarbeitung vom Hintergrund getrennt werden, wobei auch Inhomogenitäten bzgl. Farbe und Kontrast zu berücksichtigen sind. Neben geometrischen und Farb-assoziierten Merkmalen [Gonz03], sind hierzu auch topologische Informationen über den vorhergehenden Bewegungspfad des Laserpunktes zu berücksichtigen. Ein Teilaspekt bei der Rekonstruktion des Bewegungspfades ist auch die Kompensierung des Handtremors [Elble95] — denkbar ist hierbei an eine Spline-Approximation. Zur topologischen Positionsdetektion des Laserpointers muss dieser in den korrelierenden Aufnahmen der Kamera 1 und 2 detektiert werden — bei diesem Teilaspekt kommen primär die initial beschriebenen Segmentierungsansätze zum Tragen. Um sowohl das Tracking des Laserpointers robust zu halten, als auch Probleme durch überdeckungen zu kompensieren, können modellbasierte Trackingverfahren, wie z.B. probabilistische Ansätze (Kalman-Filter oder Conditional Density Propagation), verwendet werden [Isa96].
  • Rekonstruktion der räumlichen Position des Laserpointers: Für den im vorhergehenden Schritt segmentierten Laserpointer ist nun die tatsächliche räumliche Lage zu bestimmen. Dieses ist möglich, da zu jedem Zeitpunkt zwei Aufnahmen unter einem vorgegebenen Winkel vorliegen und die korrelierenden Aufnahmen in einem geometrischen Zusammenhang (epipolare Geometrie) stehen [Zhang98]. Aus den dreidimensionalen Informationen kann die Lokalisation im Raum bestimmt werden und in Kombination mit der Position des Laserpunktes auf der Projektionswand die Orientierung des Laserstrahls.
  • 3D-VR-Interaktionsschnittstelle: Der erste Teilaspekt ist hierbei die "Simulation" der Mausinteraktion durch den Laserpointer. Da dieser prinzipiell nur die elementaren Operationen "Bewegung in x- und y-Richtung", Laserspot "Ein" oder "Aus" erlaubt, sind durch geeignete Arrangierungen dieser Elemtaroperationen Mausinteraktionen (z.B. Mausklicks) nachzubilden [Kirst98]. Zu beachten ist hierbei, dass der übergang von der 2D- zur 3D-Interaktion auch mit einer Anhebung auf sechs Freiheitsgrade (Degress of Freedom) einhergeht. Realisierbar sind diese Anforderungen durch Gesten-basierte Ansätze oder Kombinationen aus Verweilzeit und Position des Laserpointers, als auch Informationen zum Status (an/aus) [Hand97], welche nachfolgend der Interpretation, durch einen "Action Generator" für Maus-Events, konform in das (Windows-) Betriebssystem zu integrieren sind. Da eine "naive" Nachbildung der normalen PC-Maus aber primär nur eine Interaktion in der 2DEbene erlaubt, ist sie um eine Penetration des Laserpunktes in die "3D-Welt" zu erweitern ("Virtual- Point-Metapher"). Bei diesem Raycasting-Ansatz dringt von der Position des Laserpunktes auf der Projektionswand ein Sehstrahl in die virtuelle 3D-Szene ein und erlaubt aufgrund der Geometrieinformationen eine Kollisionsdetektion mit Objekten der virtuellen 3D-Welt ("Selektion von Objekten") [Foley95]. Mit der Zunahme der bereits angeführten Zunahme von Freiheitsgraden erscheint es opportun, ein erweitertes, 3D-konformes Graphical User Interface mittels 3D-Widget-Metapher zu etablieren [Kniss01]. Über diese Interaktionselemente ist auch eine Inkooperation der z-Achse, zur Handhabung der erweiterten Translations- und Rotationsbewegungen im 3D-Raum, zu realisieren.
  • Visualisierung: Konform zur gegebenen dreidimensionalen Visualisierung soll der virtuelle Laserpunkt in die 3D-Szene eingefügt und die unter Punkt (e) beschriebenen Interaktions-Modi durch prägnante Piktogramme des virtuellen Pointers symbolisiert werden. Auch sind die 3D-Widget geeignet zu generieren. Aktuelle Realisierungen der oben genannten Problematik decken jeweils nur einen Teilbereich ab oder sind auf Grund ihres Designs—vgl. [Hand97]—nicht oder nur eingeschränkt unter realen Anwendungsszenarien einsetzbar. Selbst unter Verwendung expliziter 3D-Eingabegeräte (z.B. 3D-Maus) ist vielfach keine intuitive oder kooperative Nutzung durch mehrere Personen gegeben.
(a) (b) (c)

Abbildung 2:  (a) Schamtischer Aufbau des Multimediaequipments im Informatikneubau. (b) 3D-GUI mit dem virtuellen Laserpunkt. (c) 3D-Modell zur Operationsplanung bei Lippen-Kiefer-Gaumenspalten.

Das von der Projektgruppe zu entwickelnde System soll alle Teilaspekte integriert bearbeiten und durch einen modularen Aufbau gewährleisten, dass sich zukünftige Anwendungen problemlos integrieren lassen. Daher ist auch die resultierende prototypische Umsetzung nicht auf die einleitend aufgezeigte Anwendung spezifiziert, sondern erlaubt eine generalisierte Nutzung und Erweiterung der Erkenntnisse der Projektgruppe. So findet sich das prinzipielle Anwendungsszenarium in vielfältigen Bereichen wieder, die eine virtuelle oder augmentierte 3D-Visualisierung benötigen. Sei es im Kontext einer komplexen Datenvisualisierung, 3D-Operationsplanung, bei der Visualisierung von Fräs- und Zerspanungsprozessen, zur dreidimensionalen Repräsentierung mathematischer Simulationen oder zur Einbettung innerhalb einer erweiterten multimedialen Lernumgebung.
Da die Nutzung des Systems auch von Nicht-Informatikern und ohne umfangreiche Einarbeitung erfolgen soll, ist auf eine intuitive Benutzerführung zu achten. Bei der objektorientierten Umsetzung dieser Anforderungen in ein Softwaresystem sollen die Entwurfsphasen des Software-Engineering beachtet werden [Balz99].
Obwohl die Implementierung des Systems primär unter WindowsXP erfolgen soll, ist eine mögliche Portierbarkeit auf Linux zu beachten. Das immense Datenvolumen, als auch die zeitkritischen Berechnungen in Echtzeit, können nur durch eine effiziente Software gewährleistet werden, welche sich auf Basis von C++ realisieren lässt. Die initiale Entwicklung soll sich hierbei an denMBone Videoconferencing-Tools3 und der 3D-Web GUI Vizmo4 orientieren.

Forum: 
Hier wird alles besprochen
Minimalziele: 
  • Dokumentierter Systementwurf.
  • Dokumentierte Implementierung eines Prototypen zur 3D-VR-Interaktion.
  • Demonstration der Grundfunktionalität der einzelnen Module am Beispiel einer statischen 3D-Szene im Singleuser-Mode.
Teilnahmevorraussetzungen: 
  • Eine der Vorlesungen Mensch-Maschine-Interaktion (Graphische Systeme), Softwarekonstruktion (Softwaretechnologie) oder Systemanalyse [V]
  • Spezialvorlesung Digitale Bildverarbeitung, Digitale Bilderzeugung, Geometrisches Modellieren oder Datenvisualisierung [W]
  • Kenntnisse in objektorientierter Programmierung und einer einschlägigen Programmiersprache, z.B. Java oder C++. [W]
  • Kenntnisse von einer MS Windows-Version oder Linux. [W]

Legende: [V] vorausgesetzt, [W] wünschenswert

Literatur: 

[Land06] F. Landwehr, D. Feggeler, P. Walzel, F.Weichert, N. Schröter, H. Müller, A fibre sensor based frequency analysis of surface waves at hollow cone nozzles, Experiments in Fluids, Springer, Vol 1, 1-10, 2006.
[Azuma97] R. T. Azuma, A survey of augmented reality, Presence: Teleoperators and Virtual Environments, Vol. 6, No. 4, 355-385, 1997.
[Hand97] C. Hand, A Survey of 3D Interaction Techniques, Computer Graphics Forum, Vol. 16, No. 5, pp. 269-281, 1997.
[Kirst98] C. Kirstein, H. Müller, Interaction with a Projection Screen Using a Camera-Tracked Laser Pointer, Proceedings of The International Conference on Multimedia Modeling (MMM’98), IEEE Computer Society Press, 1998.
[Sonka99] M. Sonka, V. Hlavac, R. Boyle, Image, Processing, Analysis andMachine Vision, 2nd Edition, PWS Publishing, 1999.
[Zhang98] Z. Zhang, A Flexible New Technique for Camera Calibration, Technischer Bericht MSR-TR-98-71, Microsoft Research, 1998.
[Rupr95] D. Ruprecht, H. Müller, Image Warping with Scattered Data Interpolation Methods, IEEE Computer Graphics and Applications, Volume 15 (2), 37-43, 1995.
[Gonz03] R. C. Gonzales, R. Woods, Digital Image Processing, Addison-Wesley Pub. Comp., 2. Aufl., 2003.
[Elble95] R. J. Elble, Mechanisms of Physiological Tremor and Relationship to Essential Tremor, in Handbook of Tremor Desorders, edt. Findley et al., Inc., 51-63, 1995.
[Isa96] M. Isard, A. Blake, Contour tracking by stochastic propagation of conditional density, In Proc. Eu. Conf. Computer Vision, 29(1), 343-356, 1996.
[Foley95] J. D. Foley, Computer Graphics: Principles and Practice, 2. Edt., Addison-Wesley, 1995.
[Kniss01] J. Kniss et al., Interactive Volume Rendering Using Multi-Dimensional Transfer Functions and Direct Manipulation Widgets, IEEE Comp. Graph. App., 21(4), 52-61, 2001.
[Balz99] H. Balzert, Lehrbuch der Software-Technik, Spektrum Verlag, 1999.

Rechtliche Hinweise: 
Die Ergebnisse der Projektarbeit inklusive der dabei erstellten Software sollen der Fakultät für Informatik uneingeschränkt zur freien Forschung zur Verfügung stehen. Darüber hinaus sind keine Einschränkungen der Verwertungsrechte an den Ergebnissen der Projektgruppe und keine Vertraulichkeitsvereinbarungen vorgesehen.