Sprachen

DynOLog - SS 2013, WS 2013/2014

Thema: 

DynOLog - Dynamische Detektion von Objekten im Kontext von logistischen Anwendungsfällen

Zeitraum: 

SS 2013, WS 2013/2014

Umfang: 

8 SWS pro Semester

Veranstalter: 

Dr. Frank Weichert, Informatik VII (Graphische Systeme),
OH16, R.121, Tel.: 755 - 6122, E-Mail: frank.weichert@tu-dortmund.de

Pascal Libuschewski, Informatik XII (Entwurfsautomatisierung Eingebetteter Systeme),
OH16, R.101, Tel.: 755 - 6125, E-Mail: pascal.libuschewski@tu-dortmund.dee

Andreas Kamagaew, Fraunhofer-Institut für Materialfluss und Logistik,
Joseph-von-Fraunhofer-Str. 2-4, Tel.: 9743-127, E-Mail: andreas.kamagaew@iml.fraunhofer.de

Adrian Schyja, Lehrstuhl für Industrielle Robotik und Produktionsautomatisierung,
Leonhard-Euler-Str. 2, Tel.: 755 - 5617, E-Mail: adrian.schyja@tu-dortmund.de

Einzelpräsentation: 

Mittwoch, den 28.11. um 12.15 Uhr in der OH14, Raum E04

Materialien: 

Folien der Projektgruppenvorstellung im pdf-Format: PG-Praesentation_DynOLog.pdf (0.8 MB)

Thematik: 

a) Motivation: Für den Materialtransport in Logistik-/Distributionszentren oder Lagereinrichtungen werden zunehmend „Fahrerlose Transportsysteme“ (FTS) eingesetzt [10]. Die Navigation der automatisch gesteuerten Fördersysteme erfolgt dabei völlig autonom. Um einen adäquaten Durchsatz bzw. eine hohe Leistung zu erreichen, sind in der Regel möglichst viele Transportfahrzeuge innerhalb eines solchen logistischen Systems aktiv. Während die automatisierte Entnahme von Stückgut zur Beladung von Transportsystemen Stand der Technik ist, stellt eine automatisierte Lösung der Entladung der Transportfahrzeuge an Übergabestationen, die bisher überwiegend manuell erfolgt, eine Herausforderung dar, insbesondere dann wenn sich die Fahrzeuge in Bewegung befinden. Die hier anvisierte Lösung zur automatisierten Entladung der Transportsysteme sieht den Einsatz eines Industrieroboters vor. Aus Gründen der Energieeffizienz und der Durchsatzleistung sollen die vorbeifahrenden Fahrzeuge nicht abbremsen, sondern während der Fahrt über den Roboter, der sich der Bewegung und Beladung anpasst, entladen werden. Das Prinzip einer Roboterzelle, die eine solche Aufgabe erfüllen könnte, ist in Abbildung 1 dargestellt. Das Versuchs-Setup ist am Fraunhofer-Institut für Materialfluss und Logistik (IML) installiert und kann für die Evaluation genutzt werden.

Roboterzelle als Zwischenstation
Abbildung 1: Roboterzelle als Zwischenstation für das „Fahrerlose Transportsystem“: (a) Virtuelle Darstellung und (b) Foto des Roboters mit der am Sauggreifer befestigten Kinect-Kamera.
Fahrerloses Transportfahrzeugs (FTF)
Abbildung 2: Darstellung eines Fahrerlosen Transportfahrzeugs (FTF) mit Beladung: (a) Foto und (b) mittels PMD-Kamera generierte Punktewolke (farbkodierte interpolierte Fläche)

Ausgehend von dieser Problemstellung ist die Zielsetzung dieser Projektgruppe der Entwurf und die Implementierung eines Systems zur Lokalisierung und Klassifizierung von sich in Bewegung befindenden Fahrerlosen Transportfahrzeugen (s. Abbildung 2(a)) und deren Ladungsobjekten sowie die dynamische Bewegungsplanung eines Roboters. Hierzu soll eine exakte Lokalisation der Fahrzeuge und der transportierten Kisten mit Stückgut über eine bildbasierte Sensorik erfolgen, während sich das Fahrzeug der Entladestation nähert. Vorgesehen ist dabei sowohl ein Einsatz von optischen 2D- und insbesondere 3D-Sensoren (s. Abbildung 2), wie PMD-Kameras (Photonic Mixer Device), die zu den 3D-Time-of-Flight-Kameras [4] zählen, sowie Kinect- bzw. Xtion-3D-Kameras (Prinzip des strukturierten Lichts) [9]. Zur weiteren Steigerung der Messgüte ist zudem die Fusion von 2D- und 3D-Sensoren zu realisieren. Im Hinblick auf die echtzeitfähige Bildverarbeitung soll die Umsetzung dabei unter Einsatz der Grafikkarte erfolgen. Für den nachgeschalteten Prozess des Entladens, der thematisch dem Bereich des Bin-Picking [6] zugeordnet wird, ist eine exakte Analyse der erfassten und vorverarbeiteten optischen Sensordaten notwendig. Dies ist die Grundlage für den nachfolgend umzusetzenden Schritt der Generierung kollisionsfreier Roboterbahnen. Nur durch eine adäquate Roboterbewegung ist es möglich, das Stückgut sicher aus der sich bewegenden Transportkiste zu greifen. Die Entnahme der Ladungsobjekte aus den FTF soll dabei vor dem eigentlichen Griff in einer Simulation virtuell berechnet werden, um die bestmögliche Roboterbewegung zu gewährleisten. Hierzu ermittelt das zu entwickelnde Bildverarbeitungssystem Informationen über Geschwindigkeit und Position aus den akquirierten Kameradaten.

b) Aufgabenbeschreibung: Aus Sicht der Informatik umfasst das Gesamtkonzept der Projektgruppe (s. Abbildung 3) zwei wesentliche Aufgabengebiete, die in einem Optimierungs- und Validierungszyklus eingebunden sind. Ein Teilgebiet fokussiert sich dabei auf die bildbasierte Objekterkennung und -Klassifikation sowie die Planung und Simulation der Roboterbewegung. Das zweite Teilgebiet beinhaltet die Multicore-Programmierung für Eingebettete Systeme mit dem Ziel der Abbildung der im ersten Teilgebiet erarbeiteten Algorithmen auf Grafikkarten bzw. homogene Multicoresysteme. Dabei werden die verschiedenen Aufgabengebiete während der gesamten Projektgruppe parallel bearbeitet. Das erste Teilgebiet umfasst folgende Arbeitspunkte:

  • Sensorkalibrierung: Ausgehend von einer initial durchzuführenden Auswahl der geeigneten optischen Sensorik, auf Basis der spezifizierenden Anforderungen an die Berechnungszeit und Genauigkeit des Gesamtsystems, ist eine intrinsische sowie extrinsische Kalibrierung durchzuführen. Während die Kompensierung der sensortypischen Artefakte, wie z.B. des „Wiggling-Erros“ bei PMD-Kameras [4], das Ziel der intrinsischen Kalibrierung bildet, stellt die extrinsische Kalibrierung einen Bezug der Koordinatensysteme der einzelnen Sensoren zueinander sowie zum Koordinatensystem des Roboters her.
  • Vorverarbeitung der optischen Sensordaten: Gegenstand der Vorverarbeitung ist u.a. sowohl die Kompensierung nicht-systematischer Sensorfehler, wie beispielsweise die bei PMD-Kameras an Objekträndern entstehenden „Flying Pixel“ [4] als auch die Reduktion der 3D-Daten (z.B. über ein „Voxelgrid“ [7]) und die Fusion multipler Sensordaten [5].
    Schematische Darstellung der Projektgruppenaufgaben
    Abbildung 3: Schematische Darstellung der Projektgruppenaufgaben im Gesamtkontext
  • Lokalisierung und Klassifizierung von Fahrzeug- und Ladungstyp: Das Konzept der Lokalisierung der FTF samt Beladung soll einem zweistufigen hierarchischen Ansatz folgen. Auf einer übergeordneten makroskopischen Ebene werden zunächst die FTF samt Beladung
    erkannt, während im folgenden Verfeinerungsschritt auf mikroskopischer Ebene die Position und Ausrichtung der Beladung innerhalb des FTF erkannt werden soll. Im weiteren Verarbeitungsschritt erfolgt die Klassifizierung von Fahrzeug- und Ladungstyp. Mögliche Lösungen für das Problem der Lokalisierung und Klassifizierung in Verbindung mit den 3D-Sensordaten bilden hierbei z.B. die normalenbasierten Ansätze [7].
  • Planung und Simulation der Roboterbewegung: Ausgehend von der Lokalisation der zu greifenden Stückgutpositionen soll eine kollisionsfreie Bewegungsbahn für den Roboter geplant werden – dies unter den Aspekten der Effizienz und Sicherheit. Die Planung und Generierung der Bewegungsbahn für den Roboter erfolgt mittels der nativen Roboterprogrammiersprache KRL (KUKA Robot Language), wobei initial eine Simulation erfolgen soll.
  • Visualisierung: Die multiplen Daten der Sensoren, die Ergebnisse der Lokalisierung sowie die simulierte Roboterbewegung sollen in einem interaktiven 3D-Visualisierungssystem dargestellt werden.

Das zweite Teilgebiet der Projektgruppe geht von den o.g. Bildverarbeitungs- und Bahnplanungsalgorithmen aus und zielt auf eine effiziente Realisierung dieser Methoden auf Eingebetteten Systemen. Hierzu sind folgende Arbeitspunkte umzusetzen:

  • Multicore-Programmierung für Eingebettete Systeme:Um eine echtzeitfähige Verarbeitung der Bildverarbeitungsalgorithmen zu garantieren und möglichst flexible Verarbeitungsplattformen verfügbar zu haben, sind die Sensordaten der verschiedenen Kamerasysteme mittels GPGPU-Programmierung (General Purpose Computing on GPUs) zu analysieren. Dazu soll entweder CUDA (Compute Unified Device Architecture) [8], eine Programmiersprache für Grafikkarten, oder OpenCL (Open Computing Language), eine Programmiersprache für sowohl Grafikkarten bzw. auch homogene Multicoresysteme eingesetzt werden [3].
  • Effiziente Kommunikation:Zur Kommunikation der Sensoren (Kameras) und Aktoren (Roboter) - Aufbau des Sensor-Aktor-Netzwerks [2]) - soll eine ressourceneffiziente, dienstbasierte Middleware bereitgestellt werden, welche eine direkte und transparente Kommunikation als auch eine Gruppenkommunikation der Einheiten erlaubt.

Bei der Umsetzung dieser Anforderungen in ein Softwaresystem sollen verschiedene Entwurfsphasen beachtet werden [1] und adäquate Werkzeuge (Quellcodeverwaltung, Wiki-System, Bugtracking) eingesetzt werden. Dieses geht mit der angestrebten modularen Umsetzung einher, welche eine spätere einfache Erweiterung des Systems erlaubt, beispielsweise zur parallelen Entladung durch mehrere Fahrzeuge und/oder Roboter. Neben der Roboterstelle am IML steht zudem für Vorversuche auch die mobile Roboterplattform „youBot“ der Firma KUKA am Institut für Produktionssysteme zur Verfügung. Das gewählte Thema gibt einen engen thematischen Anschluss zu verschiedenen Forschungsarbeiten in Richtung digitale Bildverarbeitung/Mustererkennung am LS VII, Softwareentwicklung für Eingebettete Systeme am LS XII und hoch aktuellen Fragestellungen im Kontext der Robotik und Logistik und erlaubt damit den Teilnehmenden, sich für eine Reihe von möglichen Abschlussarbeiten an den Lehrstühlen zu qualifizieren.

Wünschenswerte Kenntnisse:

  • Eine der Vorlesungen Mensch-Maschine-Interaktion (Graphische Systeme), Digitale Bildverarbeitung, Graphische Datenverarbeitung, Eingebettete Systeme, Rechnergestützter Entwurf von Mikroelektronik, Rechnerarchitektur, Mustererkennung bzw. Computer Vision oder zu den Vorlesungen äquivalente Kenntnisse [vorausgesetzt]
  • Kenntnisse in einer Programmiersprache, z.B. Java, C++ oder C [vorausgesetzt]

Minimalziele:

Implementierung eines echtzeitfähigen Bildverarbeitungssystems zum Tracking der bewegten FTF sowie zur Klassifikation des Fahrzeug- und Ladungstyps.

Literatur:

[1] H. Balzert. Lehrbuch der Software-Technik. Spektrum Akademischer Verlag, 1997.
[2] R. Brooks and S. S. Iyengar. Multi-sensor fusion: fundamentals and applications with software. Prentice-Hall, Inc., 1998.
[3] Khronos OpenCL Working Group. The OpenCL Specification, 2008.
[4] A. Kolb, E. Barth, R. Koch, and R. Larsen. Time-of-Flight Sensors on Computer Graphics. Proc. Eurographics (State-of-the-Art Report), 2009.
[5] K.-D. Kuhnert and M. Stommel. Fusion of stereo-camera and pmd-camera data for real-time suited precise 3d environment reconstruction. In Intelligent Robots and Systems, 2006 IEEE/RSJ International Conference on, pages 4780 –4785, oct. 2006.
[6] A. Pochyly, T. Kubela, M. Kozak, and P. Cihak. Robotic vision for bin-picking applications of various objects. 41st Int. Symp. and 6th German Conf. on Robotics, pages 1 –5, june 2010.
[7] R.B. Rusu. Semantic 3D Object Maps for Everyday Manipulation in Human Living Environments. PhD thesis, Computer Science department, Technische Universität Müchen, Germany, 2009.
[8] J. Sanders and E. Kandrot. CUDA by Example: An Introduction to General-Purpose GPU Programming. Addison-Wesley Professional, 1 edition, July 2010.
[9] N. Silberman and R. Fergus. Indoor scene segmentation using a structured light sensor. In 2011 IEEE Int. Conf. on Computer Vision Workshops, pages 601 –608, nov. 2011.
[10] M. ten Hompel and L. Nagel. Zellulare Transportsysteme: Den Dingen Beine machen im "Internet der Dinge". Information Technology, it 50, Nr.1:pp. 59–65, 2008.

Rechtliche Hinweise:

Die Ergebnisse der Projektarbeit inklusive der dabei erstellten Software sollen der Fakultät für Informatik, dem Fraunhofer-Institut für Materialfluss und Logistik sowie dem Institut für Produktionssysteme uneingeschränkt zur freien Forschung und Lehre zur Verfügung stehen. Darüber hinaus sind keine Einschränkungen der Verwertungsrechte an den Ergebnissen der Projektgruppe und keine Vertraulichkeitsvereinbarungen vorgesehen.