Sprachen

FlyCam - WS 2008/2009, SS 2009

Thema: 
Oberflächenerfassung mit ferngesteuerten kamerabestückten Flugobjekten
Zeitraum: 
WS 2008/2009, SS 2009
Umfang: 
8 SWS pro Semester
Veranstalter: 

Prof. Dr. Heinrich Müller, Informatik VII (Graphische Systeme),
OH16, R.124, Tel.:6324, E-Mail: mueller@ls7.cz.uni-dortmund.de
Dipl.-Inf. David Fiedler, Informatik VII (Graphische Systeme),
OH16, R.102, Tel.: 6344, E-Mail: fiedler@ls7.cs.uni-dortmund.de
Dipl.-Inf. Thomas Wiederkehr, Informatik VII (Graphische Systeme),
OH16, R.120, Tel.: 6328, E-Mail: wiederkehr@ls7.cs.uni-dortmund.de

Einzelpräsentation: 
Mittwoch, den 7. Mai 2008 um 12:15 Uhr, OH16 Raum 205
Materialien: 

PG-Antrag im PDF-Format (aktiv nach der PG-Vorstellung)
PG-Präsentation im PDF-Format (aktiv nach der PG-Vorstellung)

Thematik: 

a) Motivation: Modellhubschrauber finden nicht nur im Hobbybereich ihre Verwendung, sondern werden zunehmend kommerziell eingesetzt. Mit Kameras ausgerüstete unbemannte Flugobjekte (unmanned aerial vehicles - UAVs) werden bereits erfolgreich im Bereich der Immobilien- und Architekturfotografie (Abb. 1(a)) verwendet [FW02]. Weitere potentielle Anwendungsgebiete für den Einsatz von unbemannten Flugobjekten sind die Erfassung von Katastrophengebieten zur Planung von Rettungs- und Hilfsmaßnahmen, die systematische Luftbild-Kartografierung von archäologischen Ausgrabungsstätten (Abb. 1(b)) [ELS+05] sowie die Landschaftsplanung.

(a) (b) (c)

Abbildung 1: (a) Luftaufnahme von Grundmauern eines Klosters für die archäologische Forschung (Microdrones GmbH). (b) Luftaufnahme der Burg "Kasteel van Laarne", Belgien (J. Bonne, www.eurotronics.com). (c) Satellitenbild des Audimax der TU Dortmund (Google Earth).

In diesen Bereichen wird nach wie vor fast ausschließlich auf aufwendige und kostspielige Luftaufnahmen aus bemannten Flugzeugen oder Helikoptern bzw. Satellitenbilder zurückgegriffen. Im Gegensatz dazu bietet die Nutzung von UAVs in Kombination mit dem geplanten Software-System folgende Vorteile:

  • Die Kosten sind gegenüber dem Einsatz von Satelliten oder bemannten Flugzeugen bzw. Hubschraubern deutlich geringer.
  • Durch die Möglichkeit des Einsatzes in geringer Flughöhe sind hohe Auflösungen der Oberfläche möglich.
  • Der Pilot des UAVs bekommt zur Flugzeit Feedback über noch nicht erfasste Gebietsteile und kann diese gezielt anfliegen.

Die Generierung von hoch aufgelösten Oberflächenkarten aus einer geringen Höhe ist zum Beispiel für Systeme wie Google Earth (Abb. 1(c)) oder Microsoft Virtual Earth von großem Interesse. Für archäologische Ausgrabungen bietet sich auch die Möglichkeit, relevante Bereiche aus einer beliebig geringen Flughöhe aufzuzeichnen und somit auch Details nahtlos zu dokumentieren.

 

b) Aufgabenbeschreibung: Das Ziel der Projektgruppe besteht in der Erstellung eines Software-Systems zur automatischen Generierung und Darstellung von Landschaftskarten auf Basis von Videodaten. Die Videodaten werden dabei von einer an einem RC-Helikopter montierten Funkkamera gewonnen (Abb. 2). Ferner soll die Flugbahn des Helikopters sowie zusätzliche Informationen wie zum Beispiel Position und Geschwindigkeit ermittelt und visualisiert werden. Der Softwareentwurf soll objektorientiert erfolgen.

i image023

Abbildung 2: Der Einsatz einer Mini-Funkkamera in einem ferngesteuerten Modellhubschrauber.

Die Kartengenerierung stellt eine besondere Herausforderung dar, da nicht nur Merkmale in aufeinander folgenden Bildern der Videosequenz bei der Positionsbestimmung des aktuellen Bildes beachtet werden müssen, sondern auch Bilddaten, die durch frühere Überflüge desselben Gebietes entstanden sind (Abb. 3). Nur so kann garantiert werden, dass die entstehende Karte insgesamt konsistent ist. Ferner soll bereits während des Fluges online der aktuelle Fortschritt bei der Aufzeichnung eines Gebietes angezeigt werden, um auf diese Weise eine Überdeckung zu erzielen und eine redundante Mehrfacherfassung zu vermeiden. Im Einzelnen stellen sich die Aufgaben wie folgt dar:

  • Bilderfassung und Vorverarbeitung : Der erste Schwerpunkt liegt in der Erfassung des Videomaterials mit Hilfe der am Helikopter montierten Funkkamera. Der analoge Videostream wird zunächst digitalisiert und für die Weiterverarbeitung aufbereitet.
    • Kamerakalibrierung: Zur Umrechnung von Längen zwischen dem Kamerabild und der realen Welt ist es erforderlich, die intrinsischen Kameraparameter sowie die durch die Linse hervorgerufenen Verzerrungen zu bestimmen. Ein weit verbreiteter Ansatz ist die Kamerakalibrierung nach Zhang [Zha00].
    • Bildrestauration: Mit Hilfe der bei der Kalibrierung gewonnenen Daten werden die Einzelbilder des Videostreams entzerrt. Sofern erforderlich können anschließend weitere Filter zur Entfernung von Bildstörungen angewendet werden [GW02].
  • Generierung von Oberflächenkarten : In diesem Arbeitspunkt sollen die Bilder aus dem Videostream zu einer Oberflächenkarte verknüpft und in einer geeigneten Datenstruktur abgelegt werden.
    • Merkmalsextraktion:
    • Zur Verknüpfung der aufgenommenen Bilder zu einer Karte sollen geeignete Merkmale aus den Einzelbildern extrahiert und über mehrere Bilder verfolgt werden. Ein bekannter Algorithmus zum Finden und Verfolgen von Merkmalen ist zum Beispiel der KLT Feature Tracker [KGF+07, TK91].
    • Zusammensetzen der Karte:In diesem Schritt werden die Einzelbilder der Bildfolge zu einer Karte zusammengesetzt. Dabei werden Bilder so skaliert, rotiert und verschoben, dass die verfolgten Merkmale in den Bildern möglichst deckungsgleich übereinander liegen. Neben den verfolgten Merkmalen kann auch die Textur der Bilder zur Feinausrichtung ausgenutzt werden [SBJ04, SNP+05].
  • Bestimmung der Kamerabewegung: In diesem Schritt wird die Flugbahn des Helikopters bzw. der Kamera berechnet. Einmal erstellt, kann diese nicht nur zur Visualisierung verwendet werden, sondern auch zur Verbesserung der Merkmalsverfolgung. Bestehende Methoden zur Ermittlung der Kamerabewegung aus Videosequenzen finden sich z.B. in [PKG99], [PNF+08] und [PVC+01].
    • Flugbahnbestimmung: Aus den in 2. berechneten Translationen und Rotationen zwischen den Einzelbildern kann die Position und Ausrichtung der Kamera über der Ebene bestimmt werden. Aus den bei der Zusammensetzung der Karte ermittelten Skalierungsfaktoren kann auf die Flughöhe der Kamera geschlossen werden.
    • Rückkopplung: Aus den vergangenen Kamerapositionen wird die voraussichtliche Folgeposition der Kamera extrapoliert [AMG+02]. Diese Information soll zur Suchraumeinschränkung beim Verfolgen der Merkmale genutzt werden.
  • 3D-Visualisierung: Die Darstellung der Ergebnisse soll in einer 3D-Szene erfolgen, in der die zusammengesetzte Karte sowie die dreidimensionale Flugbahn des Hubschraubers visualisiert werden. Weitere Informationen wie Flughöhe und Geschwindigkeit sollen in geeigneter Form ebenfalls dargestellt werden. In der Darstellung der Karte sollen Lücken und eventuell zu niedrig aufgelöste Bereiche hervorgehoben werden. Eine echtzeitnahe Darstellung wird angestrebt.

Bei der Softwareentwicklung sollen die Entwurfsphasen des Software-Engineering beachtet und adäquate Werkzeuge (Quellcodeverwaltung, Wiki, Bugtracking) eingesetzt werden. Ferner soll auf eine modulare Programmstruktur geachtet werden, um eine spätere Erweiterung des Systems zu ermöglichen.

Abbildung 3: testAbbildung 3: Zusammensetzen einer Bildfolge entlang der Flugbahn (f) zu einer Karte. Die verfolgten Merkmale (x) im Ü berlappungsbereich (A) zwischen Folgebildern werden zur Ausrichtung der Bilder verwendet. Aufsummierte Fehler beim Zusammensetzen der Bilder können im Bereich (B) zu Inkonsistenzen führen.

[AMG+02] M. Sanjeev Arulampalam, Simon Maskell, Neil Gordon, Tim Clapp. A Tutorial on Particle Filters for Online Nonlinear/Non-Gaussian Bayesian Tracking. IEEE Transactions on Signal Processing, Vol. 50, NO. 2, 2002.
[ELS+05] H. Eisenbeiss, K. Lambers, M. Sauerbier, Z. Li. Photogrammetric Documentation of an Archaeological Site (Palpa, Peru) Using An Autonomous Model Helicopter. CIPA XX International Symposium, 2005.
[FW02] O. Fischli, N. Wertenbroek. ImmoCam - Architectural Photography. http://www.immo-cam.ch/is/ , 2002.
[GW02] R. C. Gonzalez, R. E. Woods. Digital Image Processing. 2nd Edition, Prentice Hall, 2002.
[KGF+07] S.J. Kim, D. Gallup, J.-M. Frahm, A. Akbarzadeh, Q. Yang, R. Yang, D. Nist´er, M. Pollefeys. Gain adaptive real-time stereo streaming. In Int. Conf. on Vision Systems, 2007.
[LH96] M. Levoy, P. Hanrahan. Light Field Rendering. Proceedings of ACM SIGGRAPH, pp. 31-42, 1996.
[PKG99] M. Pollefeys, R. Koch, L. Van Gool. Self-Calibration and Metric Reconstruction in spite of Varying and Unknown Internal Camera Parameters. International Journal of Computer Vision, 32(1), 7-25, 1999.
[PNF+08] M. Pollefeys, D. Nist´er, J.-M. Frahm et al. Detailed Real-Time Urban 3D Reconstruction from Video. International Journal of Computer Vision, Volume 78, Issue 2, pp. 143-167, 2008.
[PVC+01] M. Pollefeys, M. Vergauwen, K. Cornelis, J. Tops, F. Verbiest, L. Van Gool. Structure and motion from image sequences. Proc. Conference on Optical 3-D Measurement Techniques V, Gruen, Kahmen (Eds.), Vienna, pp. 251-258, 2001.
[SBJ04] R. Szeliski, D. Blackmore K. Joy. Image Alignment and Stitching: A Tutorial. Microsoft Research Technical Report, One Microsoft Way, http://research.microsoft.com/, Redmond, WA98052, 2004.
[SNP+05] P.Saravanan, Narayanan C.K., P.V.S.S Prakash, and Prabhakara Rao. Techniques for Video Mosaicing Proceedings of World Academy of Science, Engineering and Technology, Volume 5, ISSN 1307-6884, 2005.
[TK91] C. Tomasi, T. Kanade. Detection and Tracking of Point Features. Technical Report CMU-CS-91-132, Carnegie Mellon University, 1991.
[Zha00] Z. Zhang. A flexible new technique for camera calibration. IEEE Transactionson Pattern Analysis and Machine Intelligence, Vol. 22, No. 11, pp. 1330-1334, 2000.

Minimalziele: 
Minimalziel ist die Implementierung eines Softwaresystems, welches Videodaten einliest, aufarbeitet und daraus eine aus den Einzelbildern zusammengesetzte Karte generiert. Die Karte sowie der Bewegungspfad der Kamera sollen in geeigneter Weise visualisiert werden. Diese Funktionalität soll an mindestens einem Beispiel demonstriert werden. Der Softwareentwurf, die umgesetzte Implementierung und die Ergebnisse sind zu dokumentieren.
Teilnahmevorraussetzungen: 
  • Kenntnisse einer objektorientierten Programmiersprache. [V]
  • Eine der Vorlesungen Mensch-Maschine-Interaktion, Digitale Bildverarbeitung oder Darstellung, Verarbeitung und Erwerb von Wissen [V]
  • Softwaretechnologie [W]
  • Kenntnisse in OpenGL-Programmierung. [W]

Legende: [V] vorausgesetzt, [W] wünschenswert

Literatur: 

[AMG+02] M. Sanjeev Arulampalam, Simon Maskell, Neil Gordon, Tim Clapp. A Tutorial on Particle Filters for Online Nonlinear/Non-Gaussian Bayesian Tracking. IEEE Transactions on Signal Processing, Vol. 50, NO. 2, 2002.
[ELS+05] H. Eisenbeiss, K. Lambers, M. Sauerbier, Z. Li. Photogrammetric Documentation of an Archaeological Site (Palpa, Peru) Using An Autonomous Model Helicopter. CIPA XX International Symposium, 2005.
[FW02] O. Fischli, N. Wertenbroek. ImmoCam - Architectural Photography. http://www.immo-cam.ch/is/ , 2002.
[GW02] R. C. Gonzalez, R. E. Woods. Digital Image Processing. 2nd Edition, Prentice Hall, 2002.
[KGF+07] S.J. Kim, D. Gallup, J.-M. Frahm, A. Akbarzadeh, Q. Yang, R. Yang, D. Nist´er, M. Pollefeys. Gain adaptive real-time stereo streaming. In Int. Conf. on Vision Systems, 2007.
[LH96] M. Levoy, P. Hanrahan. Light Field Rendering. Proceedings of ACM SIGGRAPH, pp. 31-42, 1996.
[PKG99] M. Pollefeys, R. Koch, L. Van Gool. Self-Calibration and Metric Reconstruction in spite of Varying and Unknown Internal Camera Parameters. International Journal of Computer Vision, 32(1), 7-25, 1999.
[PNF+08] M. Pollefeys, D. Nist´er, J.-M. Frahm et al. Detailed Real-Time Urban 3D Reconstruction from Video. International Journal of Computer Vision, Volume 78, Issue 2, pp. 143-167, 2008.
[PVC+01] M. Pollefeys, M. Vergauwen, K. Cornelis, J. Tops, F. Verbiest, L. Van Gool. Structure and motion from image sequences. Proc. Conference on Optical 3-D Measurement Techniques V, Gruen, Kahmen (Eds.), Vienna, pp. 251-258, 2001.
[SBJ04] R. Szeliski, D. Blackmore K. Joy. Image Alignment and Stitching: A Tutorial. Microsoft Research Technical Report, One Microsoft Way, http://research.microsoft.com/, Redmond, WA98052, 2004.
[SNP+05] P.Saravanan, Narayanan C.K., P.V.S.S Prakash, and Prabhakara Rao. Techniques for Video Mosaicing Proceedings of World Academy of Science, Engineering and Technology, Volume 5, ISSN 1307-6884, 2005.
[TK91] C. Tomasi, T. Kanade. Detection and Tracking of Point Features. Technical Report CMU-CS-91-132, Carnegie Mellon University, 1991.
[Zha00] Z. Zhang. A flexible new technique for camera calibration. IEEE Transactionson Pattern Analysis and Machine Intelligence, Vol. 22, No. 11, pp. 1330-1334, 2000.

Rechtliche Hinweise: 
Die Ergebnisse der Projektarbeit inklusive der dabei erstellten Software sollen der Fakultät für Informatik uneingeschränkt zur freien Forschung zur Verfügung stehen. Darüber hinaus sind keine Einschränkungen der Verwertungsrechte an den Ergebnissen der Projektgruppe und keine Vertraulichkeitsvereinbarungen vorgesehen.