Über die Herausforderungen der Objektdetektion und Objektklassifizierung für hochautomatisierte Arbeitsmaschinen

In den vergangenen Monaten habe ich immer wieder interessante Diskussionen rund um die Themen Objektdetektion und Objektklassifizierung geführt und nachverfolgt. Diese beiden Themen sind meiner Meinung nach die zentralen und mit entsprechender Technologie in Zukunft eindeutig zu lösenden Aspekte für die Hochautomatisierung von Fahr- und Arbeitsprozessen von mobilen Arbeitsmaschinen.

Dies erschließt sich aus der der Tatsache, dass eine Arbeitsmaschine, die (teil)autonome Aktivitäten wie beispielsweise eine Zubringerfahrt für Produktionsmaterial oder das automatisierte Mähen einer Grünfläche durchführen soll, ihre Umgebung und die darin befindlichen Objekte kennen MUSS. Erst durch diese Kenntnis wird eine Interaktion mit der Umgebung möglich, was ja erklärtes Ziel solcher (teil)autonomen Maschinen ist. Der dabei wohl wichtigste Einflussfaktor auf das Verhalten der Maschine ist die Absicherung beziehungsweise die Gefahrenfreiheit der sie umgebenden Objekte – beispielsweise der Menschen und Tiere.

Wird die Kenntnis der umgebenden Objekte nicht durch externe Sensorik und Überwachungssysteme gelöst – wie das zum Beispiel im Outdoor-Einsatz auf dem Feld der Fall ist – so stellt das die Maschine vor enorme Herausforderungen, da sie diese Informationen selbst erzeugen muss. Die Folge ist ein massives Aufgebot an Sensoren, Sensordatenverarbeitung und zusätzlichen Methoden und Verfahren, welche für die Navigation und Interaktionsableitung benötigt werden. Und hier kommen wir zum Kern der Sache: Ohne eine Detektion und Klassifikation der Objekte kann die Maschine in einem offenen Umfeld kaum entscheiden, wie sie mit einem entsprechenden Hindernis umzugehen hat. Warum ist das so wichtig?

Die Antwort möchte ich an einem konkreten Beispiel ableiten: Ein Feldroboter fährt gerade aus, erkennt beispielsweise mit einem Lidar ein Hindernis vor sich und muss nun entscheiden, wie er damit umgeht. Wichtige Informationen für den Feldroboter sind dann beispielsweise die Objektdimensionen, Objektform, Eigenbewegung des Objektes, Oberflächenbeschaffenheit oder auch Materialeigenschaften. Alle diese Informationen und viele mehr werden benötigt, um eine kontextgerechte Entscheidung darüber treffen zu können, ob das Objekt umfahren werden kann oder gegebenenfalls sogar überfahren werden darf. Dies wirkt sich direkt auf die Arbeitseffizienz der Maschine aus! Wer möchte einen Feldroboter einsetzen, der bei jedem Hindernis stehen bleibt und um Assistenz durch den Menschen bittet? Das führt die Idee der Robotikanwendung ad absurdum.

In diesem Kontext ergeben sich sowohl auf der sensorischen (Hardware) als auch auf der sensordatenverarbeitenden (Algorithmik) Seite wichtige Fragen, wie beispielsweise:

  •   Wie kann sichergestellt werden, dass alle relevanten Objekte (zum Beispiel Menschen in der direkten Nähe zum Feldroboter) zuverlässig detektiert werden?
  •   Welche Rolle spielen Umgebungsverhältnisse wie zum Beispiel Regen, Rauch und Staub?
  •   Wie wird eine Klassifizierungsleistung zur Unterscheidung von Objekten erreicht, die vergleichbar mit der von Menschen ist?

Diese Fragen lassen sich ohne einen konkreten Applikations- bzw. Maschinenkontext kaum beantworten und sind seit Jahren Gegenstand der Forschung und Entwicklung. Dazu lassen sich jedoch auch eindeutige Entwicklungen erkennen und bereits verfügbare Produkte finden, die sich in Schlagworten wie Sensordatenfusion und Convolutional Neural Networks (CNNs) widerspiegeln und die Realisierbarkeit von hochautomatisierten Anwendungen unter kontrollierten Bedingungen bereits ermöglichen.

Pauschal lässt sich sagen, dass es nicht den Einen Sensor für alle Applikationen gibt, da die jeweiligen Vor- und Nachteile der verschiedenen Sensorarten mit der konkreten Applikation korreliert werden müssen. Ein sehr beliebter, bereits etablierter und auch erfolgversprechender Ansatz ist die kontextbezogene Implementierung von mehreren Sensoren mit unterschiedlichen Messverfahren und elektromagnetischen Spektralbereichen, um die jeweiligen Nachteile wie Sensibilität gegenüber direkter Sonneneinstrahlung oder gegenüber größeren Partikeln in der Luft wie bei Regen durch die positiven Eigenschaften der anderen Sensoren zu lösen.

Für den zuvor genannten Feldroboter könnte eine Kombination aus Stereokamera als dreidimensional abbildendem Sensor und gleichzeitig bildgebender Digitalkamera, jeweils dreidimensional abbildendem Lidar und Radar und einem abbildenden Infrarotsensor die Lösung sein. Jede dieser Sensorarten hat ihre ganz eigenen Vor- und Nachteile, die in der Kombination dazu führen, dass das zuvor beschriebene Szenario beherrschbar wird. Jedoch liegt ein Nachteil ganz klar auf der Hand: Um alle Eventualitäten im Alltag des Feldroboters sensorisch lösen zu können, bedarf es eines enormen Hardware-Aufwandes, der sich natürlich auch im Preis eines solchen Sensorsystems widerspiegelt.

Daher stellt sich direkt die Frage, ob die Entwicklung solcher Sensorsysteme für die Anwendung auf mobilen Arbeitsmaschinen zielführend ist. Diese Frage möchte ich mit Ja beantworten, wenn es um einen zielgerichteten Einsatz der Sensorsysteme geht, die für einen ganz bestimmten Zweck spezifisch für eine Maschine entwickelt wurden. Und das wiederum zeigt ein Dilemma, mit dem sich jeder Hersteller einer mobilen Maschine auseinandersetzen muss: Jede Maschine hat ihre eigenen Dimensionen, eigenen Formen und Aufbauten und natürlich eine eigene, spezifische Applikation und weist somit wichtige Unterscheidungsmerkmale zu anderen Maschinen auf, die bei der Auslegung und Montage der Sensorik berücksichtigt werden müssen.

Neben der zuverlässigen Detektion von Objekten ist auch deren Klassifikation ein wesentlicher Erfolgsfaktor für den Aufbau einer hochautomatisierten Arbeitsmaschine. Hier kann man klassische Verfahren wie Kantendetektoren in Kombination mit Merkmalslogik aber auch moderne Verfahren wie CNN implementieren. Betrachten wir die Leistungsfähigkeit der beiden Ansätze beispielsweise in Bezug auf ihre Detektionsfähigkeit in kamerabasierten Assistenzsystemen, so muss ganz deutlich gesagt werden: die Zukunft der Objektdetektion und Objektklassifizierung gehört den CNN-basierten Verfahren.

Wenn wir in die Welt der CNNs hineinblicken, so sehen wir einige bereits etablierte Frameworks, die ihre eigenen Vor- und Nachteile und unterschiedliche Leistungsfähigkeit mit sich bringen. Beim Design der CNNs ist zudem die zu Grunde liegende Sensorinformation sehr wichtig. Handelt es sich um Graustufen-Bilder oder RGB-Bilder? Ist eine Tiefeninformation verfügbar und wie wird diese berücksichtigt? Auf Basis welcher Sensordatenbank wird das CNN trainiert? Wir müssen uns also schon in einem sehr frühen Stadium mit wegweisenden Entscheidungen für die Weiterentwicklung und Implementierung dieser Technologie auseinandersetzen.

Ein Manko der CNNs ist zurzeit noch die hohe notwendige Rechenleistung. Viele Maschinen haben (wenn überhaupt) nur elektronische Steuerungen an Bord, die heute bei weitem nicht genügend Performanz für die Implementierung der komplexen CNNs bieten. Allerdings entstehen hier durch das große Interesse immer neue CNN-Ansätze, die bei vergleichbarer Detektions- oder Klassifizierungsleistung wesentlich schlanker ausfallen und überschaubare Ansprüche an die Performanz stellen.

Es gibt mittlerweile einige Hersteller im Automotive-Bereich, die mit Hochdruck daran arbeiten, solche CNNs in konkreten Produkten zu implementieren und verfügbar zu machen. Jedoch sind das Design dieser CNNs und der Aufwand für Datenbeschaffung und -aufbereitung enorm und ohne eine nennenswerte Anzahl an Softwareingenieuren nicht beherrschbar. Zudem ist fraglich, ob die für den Automotive-Bereich designten CNNs trotz der unterschiedlichen Betriebslogik auch auf mobilen Arbeitsmaschinen angewendet werden können.

Betrachten wir die Herausforderungen der zuvor skizzierten Welten der Sensorik und der angeschlossenen Datenverarbeitung, so erklärt dies einen leicht zu beobachtenden Trend: Eine Flut junger Unternehmen, die sich auf Sensorik, Sensordatenfusion und Objekterkennung mit zugehörigen komplexen Softwaremethoden und -Verfahren spezialisiert haben, um etablierte Maschinenhersteller bei der richtigen Auslegung ihrer zukünftig hochautomatisiert agierenden Arbeitsmaschinen zu unterstützen. Der Markt erlebt also gerade einen Wandel hin zur Hochtechnologie-Dienstleistung, was wiederum auch die Hersteller zum Umdenken anregt: Weg vom aufwändigen, eigenen Expertise-Aufbau und Expertise-Haushalten ­– Hin zur Inanspruchnahme von externer Expertise für die Begleitung der Hochautomatisierung eigener Maschinen.

Inwieweit dies tatsächlich unsere breit gefächerte Landschaft an Herstellern von Arbeitsmaschinen in Deutschland nachhaltig zur Hochautomation befruchtet, werden uns die nächsten Jahre zeigen. Es bleibt spannend!

Autoren

Stefan A. Lang, Gesa Landsgesell, Kai-Daniel Niestroj (Sensor-Technik Wiedemann GmbH)

Diese Veranstaltungen könnten Sie auch interessieren

Seminar
© Norman Chan - fotolia.com
Ansammlung von Sensoren
  • 12.11. - 13.11.2019 in Nürtingen bei Stuttgart
  • 17.03. - 18.03.2020 in Frankfurt am Main

Das Seminar "Intelligente Sensoren" macht Sie damit vertraut, welche Rolle Sensorik bei der digitalen Transformation spielt. Werden Sie zum Sensorexperten im Bereich Internet of...

Informieren & Buchen

Konferenz
3. VDI-Fachkonferenz Sensoren für mobile Maschinen 2019

04.12. - 05.12.2019
Ulm

Die VDI-Konferenz „Sensoren für mobile Maschinen“ gibt Ihnen einen umfassenden Überblick über die neuesten Entwicklungen im Bereich der Sensortechnik.

Informieren & Buchen

Der für Sie ausgewählte Bereich

  • Automation