Sprachen

NetSensLog - SS 2011, WS 2011/2012

Thema: 

NetSensLog -- Netzwerkbasierte Sensorfusion für einen Fahrzeugschwarm in der Intralogistik

Zeitraum: 

SS 2011, WS 2011/2012

Umfang: 

8 SWS pro Semester

Veranstalter: 

Dr. Frank Weichert, Informatik VII (Graphische Systeme),
OH16, R.121, Tel.: 6122, E-Mail: frank.weichert@tu-dortmund.de

Constantin Timm, Informatik XII (Entwurfsautomatisierung Eingebetteter Systeme),
OH16, R.105, Tel.: 6144, E-Mail: constantin.timm@cs.uni-dortmund.de

Andreas Kamagaew, Fraunhofer-Institut für Materialfluss und Logistik,
Joseph-von-Fraunhofer-Str. 2-4, Tel.: 9743-127, E-Mail: andreas.kamagaew@iml.fraunhofer.de

Einzelpräsentation: 

Mittwoch, den 24.11. um 12.15 Uhr in der OH14, Raum E04

Materialien: 

Folien der Projektgruppenvorstellung im pdf-Format: PG_NetSensLog_Vorstellung.pdf (0.8 MB)

Thematik: 

a) Motivation: In Logistik-/Distributionszentren und Lagereinrichtungen kommen zunehmend Fahrerlose Transportsysteme (FTS) zum Einsatz [10]. Eine große Herausforderung innerhalb einer solchen logistischen Einheit ist es, dass gleichzeitig möglichst viele Transportsysteme aktiv sein können und diese Fahrzeuge (s. Abb. 1a zudem möglichst autonom arbeiten, um den Zeitaufwand und die Kosten erheblich zu reduzieren. Das zugrundeliegende Konzept, bei dem ein sogenannter Schwarm von autonomen Transportfahrzeugen tätig ist (s. Abb. 1b), wird als Zellulare Fördertechnik bezeichnet und ist Gegenstand aktueller Forschung [9]. Ein Hauptkriterium zum nachhaltigen Einsatz ist die Güte der vorhandenen Sensorik. Deshalb arbeiten die Lehrstühle Informatik VII und XII und das Fraunhofer-Institut für Materialfluss und Logistik (IML) gemeinsam an einem Projekt zur Optimierung und Verbesserung der vorhandenen Technik. Zurzeit werden Kollisionsvermeidung, Lokalisation und Navigation mit einem hybriden Sensorikkonzept, bestehend aus Laserscanner, Odometriedaten und einer Funkortung durchgeführt. Mithilfe der Funkortung und der Odometrie erfolgt eine grobe Lokalisation auf der Lagerfläche, mit dem Einsatz des Laserscanners sind präzise Andockmanöver an Übergabestationen, den sogenannten Kommissionierplätzen, möglich (s. Abb. 1b). Durch die Verfügbarkeit neuer Sensortechnologien, wie z.B. PMD-Kameras (Photonic Mixer Device - eine 3D-Kamera), auch Time-of-Flight-Kamera genannt [3], besteht die Möglichkeit, die sensorischen Einheiten der Fahrzeuge zu erweitern, um die Umgebung und damit auch die Lokalisation und Kollisionsvermeidung jetzt auch in drei Dimensionen durchzuführen.

Abbildung 1: (a) Foto eines Fahrerlosen Transportsystems und (b) virtuelle Darstellung eines exemplarischen Szenarios für ein KommissioniersystemAbbildung 1: (a) Foto eines Fahrerlosen Transportsystems und (b) virtuelle Darstellung eines exemplarischen Szenarios für ein Kommissioniersystem

Ausgehend von dieser Problemstellung ist die Zielsetzung dieser Projektgruppe der Entwurf und die Implementierung einer netzwerkbasierten Vision-System-Lösung für die neuartige PMD-Technologie zur 3D-Lokalisation und Kollisionsvermeidung und der Einsatz dieses Systems auf mehreren autonomen Fahrzeugen. Zur weiteren Steigerung der Messgüte ist zudem die Fusion von PMD-Messungen mit den Bilddaten einer 2D-CCD-Kamera zu realisieren. Die Fusion der Bilddaten der 2D- und 3D-Kameras wird zunächst auf einem Industrie-PC durchgeführt, der mittels Grafikkarte für eine echtzeitfähige Bildverarbeitung erweitert wurde. Anschließend sollen die fusionierten Sensorinformationen im Netzwerk des Fahrzeugschwarms in abstrahierter Form genutzt werden, um die Qualität der Sensormessungen und damit die Genauigkeit der Lokalisation zu verbessern und die Sicherheit der Kollisionsvermeidung zu erhöhen. Parallel dazu sollen die mit diesem Vision-System ausgestatteten Fahrzeuge durch ein geeignetes Kommunikationskonzept mit einem synchronen deterministischen Zeitverhalten zu einem verteilten Sensornetzwerk verbunden werden. Hierfür kann eine am Fraunhofer IML entwickelte Middleware zur Bereitstellung von heterogenen Sensordaten verwendet werden, die um eine effiziente Fahrzeug-zu-Fahrzeug-Kommunikation (F2F-Kommunikation) zu erweitern ist. Eine Möglichkeit zur F2F-Kommunikation ist die Nutzung einer Peer-to-Peer-Middleware (P2P) [8]. Peer-to-Peer-Netzwerke erlauben den Aufbau von verteilten Anwendungen ohne Nutzung von bei Client-Server-Architekturen üblichen zentralen Servern und erlaubt es den einzelnen Teilnehmern (Schwarmfahrzeug) dieses Netzwerks (Peers) direkt miteinander zu kommunizieren. Der zentrale Unterschied zu den "Client/Server"-Architekturen ist daher, dass jedes Schwarmfahrzeug somit als sogenannter Servant agiert, d.h. er ist Server und Client in einem. Die so zur Verfügung stehenden Sensordaten werden in einer späteren Projektphase zur Entwicklung von Algorithmen zur Objekterkennung und Kollisionsvermeidung auf der Fahrzeughardware eingesetzt. Die Ergebnisse dieser Arbeitspakete sollen zu einer netzwerkbasierten Vision-System-Lösung kombiniert und zur Verifikation auch visualisiert werden.

Abbildung 2: Schematische Darstellung der ProjektgruppenaufgabenAbbildung 2: Schematische Darstellung der Projektgruppenaufgaben

a) Motivation: Aus Sicht der Informatik umfasst das Gesamtkonzept der Projektgruppe (s. Abb. 2) zwei wesentliche Aufgabengebiete, die in einem Optimierungs- und Validierungszyklus eingebunden sind. Ein Teilgebiet fokussiert sich dabei auf die digitale Bildverarbeitung und bildbasierte Mustererkennung, das zweite beinhaltet den Entwurf und die Implementierung von Konzepten Eingebetteter Systeme. Dabei werden die verschiedenen Aufgabengebiete während der gesamten Projektgruppe parallel bearbeitet. Für die digitale Bildverarbeitung sind folgende Verarbeitungsschritte angedacht:

  • Kamerakalibrierung: Neben der klassischen photogrammetrischen Kalibrierung von RGB-Kameras zur Bestimmung von Kameraparametern ist ein zusätzlicher Kalibrierungsschritt zur Korrektur systematischer, PMD-typischer wie z.B. sogenannten Flying Pixeln (Objektgrenzen innerhalb eines Pixels) notwendig. Ansätze zur Korrektur sind u.a. die Verwendung von Lookup-Tabellen oder B-Spline basierten Korrekturfunktionen [4].
  • Vorverarbeitung der Messdaten: Die Kompensierung von Artefakten in der Distanzmessung, beispielsweise Ausreißer bei räumlichen Diskontinuitäten (Flying Pixel), ist Thema dieses Arbeitspakets. Ansätze hierzu sind u.a. Non-Local-Means (NLM)-Filter oder die Aufskalierung der Entfernungsdaten [6].
  • Sensordatenfusion: Teilaspekte sind die Kombination von Tiefeninformationen und Grauwertdaten einer PMD-Kamera und die Kombination mit Daten einer zusätzlichen RGB-Kamera. Realisierungsmöglichkeiten bestehen in der Projektion der kalibrierten PMD-Daten auf eine 2D-Bildebene [5] oder im Hochskalieren des Tiefenbilds mithilfe von bilateralen Filtern auf die Ortsauflösung des RGB-Bildes [11].
  • Mustererkennung und Klassifikation: Ausgehend von den vorverarbeiteten Sensordaten ist es die Intention, die verschiedenen Fahrzeuge, deren Beladungszustand und die Übergabestationen automatisch zu erkennen. Dies könnte durch unüberwachte als auch überwachte Klassifikationsverfahren geschehen, welche auf Merkmalen arbeiten, die durch Methoden der Mustererkennung, wie z.B. "Pattern-Matching", aus den Sensordaten extrahiert werden [7].
  • Visualisierung: Die multiplen Daten der Sensoren und dessen Detektionsergebnisse sollen visualisiert werden -- unter Beachtung des Projektfortschritts eventuell auch als interaktives 3D Visualisierungssystem.
Das zweite Teilgebiet der Projektgruppe geht von den o.g. Bildverarbeitungsalgorithmen aus und zielt auf eine effiziente Realisierung dieser Methoden auf Eingebetteten Systemen und auf eine performante Kommunikation zwischen den Fahrzeugen ab. Hierzu sind folgende Arbeitspunkte umzusetzen:
Multicore-Programmierung für Eingebettete Systeme:
  • Grafikkartenimplementierung: Um eine echtzeitfähige Verarbeitung der Bildverarbeitungsalgorithmen zu garantieren und möglichst flexible Verarbeitungsplattformen verfügbar zu haben, sind die Sensordaten der verschiedenen Kamerasysteme mittels GPGPU-Programmierung (General Purpose Computing on GPUs) zu analysieren. Dazu soll OpenCL, eine Programmiersprache für sowohl Grafikkarten bzw. auch homogene Multicoresysteme eingesetzt werden [2].
  • OpenCL-Programmierung: Zur Vereinfachung der OpenCL-Programmierung soll ein Source-to-Source-Compiler angepasst und zusätzlich das OpenCL Embedded Profile für die ausgewählte Plattform auf dem Schwarmfahrzeug umgesetzt werden, um OpenCL-Kernel vor der Ausführung zu kompilieren.
Effiziente Kommunikation: Zur Abstraktion der eigentlichen Netzwerkstruktur und zur Kommunikation der Fahrzeuge untereinander (Aufbau des Sensornetzwerks), soll eine Middleware auf den Fahrzeugen bereitgestellt werden [8], die folgende Aspekte berücksichtigt:
  • Direkte und transparente Kommunikation zwischen den Fahrzeugen mit einem deterministischem Zeitverhalten ohne zentrale Kontrolle
  • Gruppenkommunikation: Bildung und Kommunikation innerhalb einer Adhoc-Gruppe. Diese Funktionalität ermöglicht beispielsweise beim Umfahren eines möglichen Kollisionspunktes, Fahrzeuge im Umfeld zu benachrichtigen.
  • Abstraktion der Kommunikationsschnittstelle: Für die Kommunikation mit den Fahrzeugen stehen mehrere Funkschnittstellen zur Verfügung. Diese sollen über eine vereinheitliche Schnittstelle erreichbar sein.
Bei der Umsetzung dieser Anforderungen in ein Softwaresystem sollen verschiedene Entwurfsphasen beachtet werden [1] und adäquate Werkzeuge (Quellcodeverwaltung, Wiki-System, Bugtracking) eingesetzt werden. Dieses geht mit der angestrebten modularen Umsetzung einher, welche eine spätere einfache Erweiterung des Systems erlaubt, beispielsweise zur globalen Lokalisierung der Fahrzeuge und zur Erstellung einer Umgebungskarte verwendet. %Die Erkenntnisse der Projektgruppe fließen zudem in das Konzept der nächsten Fahrzeuggeneration mit ein. Das gewählte Thema gibt einen engen thematischen Anschluss zu verschiedenen Forschungsarbeiten in Richtung digitale Bildverarbeitung/Mustererkennung am LS VII, Softwareentwicklung für Eingebettete Systeme am LS XII und hoch aktuellen Fragestellungen im Kontext des IMLs und erlaubt damit den Teilnehmenden, sich für eine Reihe von möglichen Diplomarbeiten an den Lehrstühlen zu qualifizieren.

Teilnahmevoraussetzungen:

  • Eine der Vorlesungen Mensch-Maschine-Interaktion (Graphische Systeme) [M], Digitale Bildverarbeitung [M], Graphische Datenverarbeitung [M], Eingebettete Systeme [M], Rechnergestützter Entwurf von Mikroelektronik [M] oder Rechnerarchitektur [M]
  • Kenntnisse in einer Programmiersprache, z.B. Java, C++ oder C [V]

Legende: [V] vorausgesetzt, [M] mindestens eine

Minimalziele:

  • Implementierung eines echtzeitfähigen Bildverarbeitungssystems zur Fahrzeugdetektion und Kollisionsvermeidung
  • Implementierung einer Middleware für den Fahrzeugschwarm

Literatur:

[1] H. Balzert. Lehrbuch der Software-Technik. Spektrum Akademischer Verlag, 1997.
[2] Khronos OpenCL Working Group. The OpenCL Specification, 2008.
[3] A. Kolb, E. Barth, R. Koch, and R. Larsen. Time-of-flight sensors on computer graphics. Proc. Eurographics (State-of-the-Art Report), 2009.
[4] M. Lindner and A. Kolb. Calibration of the Intensity-Related Distance Error of the PMD TOFCamera. SPIE: Intelligent Robots and Computer Vision XXV, 6764:6764–6835, 2007.
[5] M. Lindner and A. Kolb. Data-Fusion of PMD-Based Distance-Information and High-Resolution RGB-Images. volume 1, pages 121–124, 2007.
[6] M. Lindner, M. Lambers, and A. Kolb. Sub-Pixel Data Fusion and Edge-Enhanced Distance Refinement for 2D/3D Images. Dynamic 3D Imaging Workshop, 2007.
[7] H. Niemann. Klassifikation von Mustern. 2. edition, 2003.
[8] J. Schmutzler, S. Rohde, and C. Wietfeld. Integration of Wireless Peer-to-Peer Sensor Networks with Embedded Web Services. In 14. ITG Fachtagung -Mobilkommunikation, volume 215, pages 47–52, Osnabrück, Germany, May 2009. VDE.
[9] M. ten Hompel and L. Nagel. Zellulare Transportsysteme: Den Dingen Beine machen im "Internet der Dinge". Information Technology, it 50, Nr.1:pp. 59–65, 2008.
[10] M. ten Hompel and T. Schmidt. Warehouse management. Springer-Verlag, Berlin Heidelberg New York, 2008.
[11] Q. Yang, R. Yang, J. Davis, and D. Nister. Spatial-Depth Super Resolution for Range Images. IEEE Computer Vision and Pattern Recognition, pages 1–8, 2007.

Rechtliche Hinweise:

Die Ergebnisse der Projektarbeit inklusive der dabei erstellten Software sollen der Fakultät für Informatik uneingeschränkt zur freien Forschung und Lehre zur Verfügung stehen. Darüber hinaus sind keine Einschränkungen der Verwertungsrechte an den Ergebnissen der Projektgruppe und keine Vertraulichkeitsvereinbarungen vorgesehen.