Hochauflösende 3D-PMD-Kamera zur Gefahrenerkennung in der Kraftfahrzeugtechnik

High resolution 3D PMD camera for assistance on mobile machines

Kurzfassung

Für die Fahrerassistenz bieten photonic mixing device (PMD)-Kameras ein großes Einsatzpotenzial, da sie die Aufnahme dreidimensionaler Objekte in Echtzeit erlauben. Eine große Limitierung stellt jedoch ihre geringe Sensorauflösung dar. Zur Auflösungssteigerung eignen sich ganz besonders Multiframe-Superresolution (SR)-Verfahren, welche die laterale Sensorauflösung virtuell erhöhen. Aus der Überlagerung von Mehrfachaufnahmen resultiert eine gesteigerte Informationsdichte im Ergebnisbild. In vorliegender Arbeit werden 4 SR-Algorithmen aus dem Ortsbereich miteinander verglichen und im Kontext der Objekterkennung für Fahrerassistenzsysteme bewertet.

Abstract

PMD cameras offer a great application potential for driver’s assistance on mobile machines because they enable reconstruction of three-dimensional surfaces in real time. However, a great limitation is their low sensor resolution. For increasing spatial resolution so-called multi-frame super-resolution (SR) methods are well suited. These methods overlaps several low-resolution images to increase spatial resolution of an optical system virtually. This work compares and evaluates 4 spatial domain SR algorithms in the context of object detection for driver’s assistance.

1. Einführung

Die Objekterkennung stellt für viele Anwendungen in der Kraftfahrzeugtechnik eine Schlüsselanforderung dar. Je genauer Objekte erkannt und klassifiziert werden, desto zuverlässiger arbeiten Fahrerassistenzsysteme.
Ein großes Einsatzpotenzial bieten PMD-Kameras. Diese lichtlaufzeitmessenden Kameras erlauben die Objekterfassung dreidimensionaler Oberflächen in Echtzeit. Dabei generieren sie gleichzeitig ein Amplituden- und Entfernungsbild der Objektszene. Das gegenwärtige Problem stellt jedoch die geringe laterale Auflösung der PMD-Sensoren dar. Gerade für Anwendungen im Außenbereich sind große Pixelabmessungen mit hoher Empfindlichkeit notwendig, um das Nutzsignal vom umgebenden solaren Spektrum zuverlässig trennen zu können. Dort sind mit
Stand der Technik Auflösungen im 1k-Bereich erhältlich, womit sie eher einem Sensor als einer bildgebenden Kamera gleichen. Zwar lassen sich damit Objekte zuverlässig erkennen, jedoch ist eine Objektklassifizierung nur bedingt möglich. Auflösungssteigernde Verfahren, ohne Modifikation sensorspezifischer Eigenschaften, sind bereits aus der zweidimensionalen Bilderfassung bekannt. Sie lassen sich unter dem Begriff „Superresolution“ zusammenfassen und erhöhen die laterale Abtastrate durch Einbringen zusätzlicher Stützstellen.
Einführend werden die theoretischen Grundlagen zum Funktionsprinzip von PMD-Kameras erläutert und Verfahren zur Auflösungssteigerung durch Superresolution (SR) vorgestellt. Im Anschluss wird das Potenzial einer auflösungsgesteigerten PMD-Kamera für die Kraftfahrzeugtechnik erörtert. Darauf folgt die Auswertung von SR-Ergebnissen, die im Kontext der Fahrerassistenz bewertet werden. Abschließend erfolgt eine Zusammenfassung der Arbeit.

PMD-Kamera

Die Entfernungsmessung bei PMD-Kameras (photonic mixing device, Photomischdetektor) erfolgt über Laufzeitmessungen des Lichts. Üblicherweise emittiert die aktive Beleuchtungseinheit der PMD-Kamera ein periodisch moduliertes Signal, das von der Objektoberfläche reflektiert wird. Aus der Phasendifferenz des emittierten und reflektierten Signals wird der entsprechende Entfernungswert berechnet. Weit verbreitet ist der Einsatz mehrerer IR LEDs, die in den Halbraum strahlen. Aus dem Ein- und Ausschaltverhalten von LEDs lässt sich ein sinusförmiges Modulationssignal annähern. Durch optische Verluste (Absorption, Streuung, usw.) ist das reflektierte Signal in seiner Amplitude verkleinert, wie in Bild 1 illustriert. Abhängig von der Objektentfernung variiert die Phasendifferenz, da sich die Laufzeit des Lichts ändert. Nach [1] und [2] ergibt sich die Objektentfernung d in Abhängigkeit der Phasendifferenz φd, konstanter Lichtgeschwindigkeit c und definierter Modulationsfrequenz fmod zu Gleichung 1:

Zur schnellen und zuverlässigen Rekonstruktion des reflektierten Signals eignet sich die sogenannte 4-Phasen-Messung. Mit Kenntnis über ein periodisches (hier sinusförmiges) Modulationssignal und vier äquidistanten Einzelmessungen (sampling point), lässt sich das reflektierte Signal eindeutig rekonstruieren (siehe Bild 1). Da jede Einzelmessung (sampling point) einer Bildaufnahme in voller Pixelauflösung entspricht, wird diese in der Literatur oftmals als Phasenbild bezeichnet. Die Amplitudenwerte im SR-Ergebnis ergeben sich durch Summation der Intensitätswerte aller vier Phasenbilder [3].

Bild 1: Abhängig von der Objektentfernung ändert sich die Phasendifferenz zwischen emittiertem und reflektiertem Modulationssignal. Optische Verluste verkleinern die Amplitude des reflektierten Signals.

Superresolution

Eine Auflösungssteigerung der PMD-Sensoren durch Verkleinerung der Pixelflächen ist ungeeignet, weil dadurch weniger Licht auf einzelne Pixel fällt und das Signal-Rausch-Verhältnis abnimmt. Als Folge kann das Nutzsignal vom Umgebungslicht nicht unterschieden werden. Eine Vergrößerung der Sensorfläche führt zu einem Kostenanstieg, da die abbildende Optik entsprechend skaliert werden muss.
Eine kostengünstige Lösung bietet die virtuelle Auflösungserhöhung durch den Einsatz von SR-Algorithmen. Diese erhöhen die laterale Abtastrate durch Einbringen zusätzlicher Stützstellen. Während Singleframeverfahren diese Stützstellen lediglich interpolieren, erzeugen Multiframeverfahren zusätzliche „reale“ Stützstellen durch sequentielle Mehrfachaufnahmen. Jede Einzelaufnahme einer Bildfolge ist dabei um einen Bruchteil der Pixelabmessung relativ zueinander verschoben. Die ortsgenaue Überlagerung dieser Einzelaufnahmen erhöht die Informationsdichte im SR-Ergebnis.
Multiframeverfahren können in zwei Ansätze unterteilt werden: bekannter und unbekannter Subpixelversatz. Methoden, die nach einem willkürlichen Subpixelversatz arbeiten, benötigen einen zusätzlichen Algorithmus zur Abschätzung des Versatzes. Beim bekannten Subpixelversatz werden in der Regel bessere SR-Ergebnisse erzielt, da der Versatz genauer bekannt ist. Nach Vandewalle [4] führt die Interpolation eines niedrig aufgelösten Bildes zu besseren Ergebnissen als die SR-Überlagerung einer Bildfolge mit ungenauen Bewegungsparametern.

2. Bedeutung der Auflösungssteigerung für die Fahrzeugtechnik

Bei der Fahrerassistenz spielt die Objekterkennung eine wesentliche Rolle. Umfeldsensoren wie Radar oder Ultraschall überwachen den Sicherheitsabstand zum Vorherfahrenden und erleichtern das Einparken. Zusätzliche optische Systeme erkennen Verkehrszeichen oder Objekte, die sich im Bewegungsradius des Fahrzeugs befinden. Einen Schritt weiter geht das autonome Fahren, das ein Fahrzeug ohne menschlichen Einfluss sicher im Straßenverkehr bewegt. Hierzu sind hohe Anforderungen an die Umgebungsüberwachung gestellt und oftmals bilden optische Systeme Schlüsseltechnologien dafür.
PMD-Kameras bieten ein großes Einsatzpotenzial, da sie mehrere Assistenzsysteme vereinen können. Neben der Reflektanz unterschiedlicher Objektoberflächen, messen sie zusätzlich deren Entfernung zum Fahrzeug pixelweise. Als Ausgabedaten ergeben sich Intensitäts- oder Amplitudenbilder und Entfernungsbilder. Wegen der Nutzung einer aktiven Beleuchtung im nahen IR, sind Messungen bei Tag und Nacht gleichermaßen möglich. Mit einer erhöhten lateralen Auflösung, lassen sich Objekte besser klassifizieren und es erschließen sich neue Anwendungsbereiche für PMD-Kameras bei der Überwachung des Fahrzeugumfeldes.
Eine sicherheitsrelevante Fahrerassistenz ist die Kollisionsvermeidung. Objekte, die sich im Bewegungsradius des Fahrzeugs befinden, können eine Kollisionsgefahr darstellen. Abhängig von Größe und Beschaffenheit des Objekts variiert das Gefahrenpotenzial für Fahrzeug und Insassen. Eine präzise Bestimmung von dessen räumlicher Ausdehnung, Bewegungsrichtung und -geschwindigkeit ist für die Ermittlung des Gefahrenpotenzials entscheidend. Nur für eindeutig erkannte Objekte ist eine Klassifizierung möglich. Liegen Objektgrößen unterhalb der Auflösungsgrenze des optischen Systems, werden diese nicht oder zu spät erkannt.
Die Verkehrszeichenerkennung erhöht sowohl die Sicherheit als auch den Fahrkomfort. Hier sind die Amplitudendaten von übergeordneter Bedeutung. Sie resultieren aus dem Reflexionsverhalten der Objektoberfläche und können beispielsweise Auskunft über Form und Beschriftung eines Verkehrszeichens geben. Mit Größenordnungen um die 50 cm sind die Objektabmessungen von Verkehrszeichen eher gering. Darin enthaltene Buchstaben und Symbole sind nochmals bedeutend kleiner, so dass hohe Anforderungen an das Auflösungsvermögen der Kamera gestellt sind.

3. Methoden

Die vorliegende Arbeit vergleicht 4 aus der zweidimensionalen Bilderfassung bekannte SR-Algorithmen hinsichtlich einem Einsatz in der Fahrzeugtechnik. Wie bereits in der Einführung erläutert, lässt sich das Auflösungsvermögen eines optischen Systems durch Anwendung von SR-Algorithmen erhöhen. In [5] werden 9 niedrig aufgelöste Amplitudenbilder, nach dem
Multiframeverfahren mit bekanntem Subpixel-Versatz, zu einem hochaufgelösten SR-Bild überlagert. Bei der verwendeten PMD-Kamera handelt es sich um den Mobile-3D-Sensor „O3M150“ von der ifm electronics GmbH. Folgende SR-Algorithmen werden in [5] hinsichtlich Auflösungssteigerung und Qualität der SR-Ergebnisse untersucht:

- Bikubische Interpolation (Int)
- Iterated back projection (IBP), nach Irani et al. [6]
- Robust SR (RSR), nach Zomet et al. [7]
- Structure adaptive normalized convolution (StrAdNC), nach Pham et al. [8]

Das Auflösungsvermögen in LP/mm dient als Grundlage für die nachfolgenden Untersuchungen.
Ermittlung auflösbarer Objektgrößen
Zur Bestimmung der minimalen Gegenstandsgröße wird angenommen, dass ein Objekt zuverlässig erkannt wird, sobald es einen Pixel vollständig abdeckt. Des Weiteren wird die geometrische Sensorauflösung als Auflösungsgrenze des gesamten optischen Systems angenommen. Anhand der Pixelbreite erfolgt die Ermittlung der kleinstmöglich auflösbaren Objektbreite in 50 m Entfernung.
Die theoretische, räumliche Auflösungsgrenze fgrenz eines digitalen Bildsensors in horizontaler Richtung steht in direktem Zusammenhang zur Pixelbreite b, wie Gleichung 2 aufzeigt:

Der Faktor 2 ergibt sich aus der Angabe des Auflösungsvermögens in Linienpaaren pro Millimeter (LP/mm). Ein Linienpaar besteht aus einer schwarzen und einer weißen Linie, die jeweils eine Pixelreihe oder -spalte vollständig abdeckt. Folglich entspricht die Pixelbreite b einer Linie oder einem halben Linienpaar. Aus Gleichung 2 lässt sich mit bekanntem Auflösungsvermögen in LP/mm die zugehörige, theoretische Pixelgröße berechnen.
Durch Projektion lässt sich aus der Bildgröße y' (entspricht Pixelbreite b) in der Bildebene und dem Abbildungsmaßstab β' der Optik die zugehörige Objektgröße y (entspricht Objektgröße B) in der Gegenstandsebene bestimmen.

Die in die Objektebene projizierte Gegenstandsgröße y (Pixelbreite B) ergibt sich nach Gleichung 4 aus der Bildgröße y‘ und dem Abbildungsmaßstab β‘ zu:

Für sämtliche Berechnungen sind die Vorzeichenkonventionen der geometrischen Optik zu beachten.

4. Daten

Bild 2: Amplitudenbilder der Objektszene. 1) Ursprungsbild, keine SR; 2) bikubische Interpolation; 3) iterated back projection; 4) robust SR und 5) structure adaptive normalized convolution.

Tabelle 1: Vergleich der SR-Algorithmen hinsichtlich ihres Auflösungsvermögens, ihrer theoretischen Pixelbreite b und der projizierten Pixelbreite B in 50 m Entfernung.

5. Ergebnisse

Die Gegenüberstellung der Amplitudenbilder in Bild 2 zeigt für alle vier SR-Algorithmen eine deutliche Auflösungssteigerung. Erscheint die schräge Kante im ursprünglichen LR-Bild noch stark stufenförmig, verläuft sie in den SR-Ergebnissen deutlich schärfer abgegrenzt. Wie bereits in [5] beschrieben, werden mittelwertbildende und kantenverstärkende SR-Algorithmen unterschieden. Mittelwertbildende Algorithmen (Int und StrAdNC) führen zu einem homogeneren Gesamteindruck, allerdings erscheinen Kontrastübergänge verwaschen. Kantenverstärkende Algorithmen (IBP und RSR) bilden Kontrastübergänge schärfer ab, erzeugen jedoch Artefakte im SR-Ergebnis.
Tabelle 1 stellt die räumliche Frequenzantwort (SFR), die theoretische Pixelbreite b und die projizierte Pixelbreite B in 50 m Entfernung gegenüber. Der objektive Vergleich aus Tabelle 1 bestätigt den subjektiven Eindruck aus Bild 2. Das Auflösungsvermögen einer PMD-Kamera lässt sich mit Hilfe von SR-Algorithmen erhöhen. Das Auflösungsvermögen steigt von ursprünglichen 2,3 LP/mm auf maximal 8,7 LP/mm für den RSR-Algorithmus. Damit kann das ursprüngliche System in 50 m Entfernung Objekte mit einer Breite von 1,31 m auflösen. Nach Anwendung des RSR-Algorithmus schrumpft diese auf 0,35 m. Dies entspricht einer Verkleinerung der physikalisch vorgegebenen Pixelgröße von 218 μm auf eine virtuelle Pixelgröße von 58 μm.

6. Diskussion

Die Auflösungssteigerung verbessert die Objekterkennung signifikant. Das ursprüngliche Kamera-Setup kann in 50 m Entfernung Objekte in der Größenordnung von PKW klassifizieren. Nach Anwendung der RSR können auch schmale Objekte in der Größenordnung von Fahrrädern und Personen detektiert werden. Für die Verkehrszeichenerkennung ist das erzielte Auflösungsvermögen jedoch noch nicht ausreichend. Im besten Fall lässt sich die Form des Verkehrszeichens ermitteln, darin enthaltene Symbole oder Schriften können jedoch nicht aufgelöst werden.
Die Ergebnisse kantenverstärkender SR-Algorithmen zeigen deutlich ausgeprägte Artefakte, die während dem SR-Prozess entstehen. Für die Objekterkennung stellt das vermutlich kein Problem dar, da Kanten dennoch deutlich zu erkennen sind. Die glättende Wirkung der mittelwertbildenden Algorithmen ergibt für das menschliche Auge ein angenehmeres Ergebnis, jedoch werden Kanten verbreitert und die Auflösungssteigerung fällt geringer aus. Daher eignen sich für die Objekterkennung kantenverstärkende SR-Algorithmen besser.

7. Zusammenfassung

Mit der Adaption von, aus der zweidimensionalen Bilderfassung bekannten, SR-Algorithmen lässt sich auch das laterale Auflösungsvermögen von PMD-Kameras deutlich steigern. Der Vergleich von 4 SR-Algorithmen aus dem Ortsbereich zeigt für die robust SR nach Zomet et al. die besten Ergebnisse. Mit Überlagerung von 9 Einzelbildern lassen sich um den Faktor 3,8 kleinere Objekte auflösen. Das bedeutet, dass sich in 50 m Entfernung Objekte mit einer Breite von 0,35 m erfassen lassen können. Dies verbessert die Objekterkennung signifikant und eröffnet neue Möglichkeiten bei der Objektklassifizierung.
Die Ergebnisse dieser Arbeit entstanden innerhalb des Forschungsprojekts „Superresolution 3D-Kamera“, das im Rahmen der innovativen Projekte vom Land Baden-Württemberg gefördert wird. Es beinhaltet Untersuchungen zur Auflösungssteigerung von PMD-Kameras durch den Einsatz von Superresolution-Algorithmen.

8. Literaturangaben

[1] Heinol, H. G.: Untersuchung und Entwicklung von modulationslaufzeitbasierten 3D-Sichtsystemen,” Universität Siegen Diss. 2001
[2] Schmidt, M.: Analysis, Modeling and Dynamic Optimization of 3D Time-of-Flight Imaging Systems. University Heidelberg Diss. 2011
[3] Lange, R.: 3D Time-of-flight distance measurement with custom solid-state image sensors in CMOS/CCD-technology. Universität Siegen Diss. 2000
[4] Vandewalle, P, Süsstrunk, S. u. Vetterli, M.: A frequency domain approach to registration of aliased images with application to super-resolution. EURASIP Journal on Applied Signal Processing (2006) S. 1-14
[5] Lietz, H. u. Eberhardt, J.: Super-resolution PMD camera for applied metrology. Proc. SPIE 9751 (bevorstehende Veröffentlichung 2016)
[6] Irani, M. u. Peleg, S.: Improving Resolution by Image Registration. CVGIP: Graphical Models and Image Processing 53 (1991) S. 231-239
[7] Zomet, A., Rav-Acha, A. u. Peleg, S.: Robust Super-Resolution. Proceedings of the 2001 IEEE Computer Society Conference 1 (2001) S. 645-650
[8] Pham, T. Q., van Vliet, L. J. u. Schutte, K.: Robust Fusion of Irregularly Sampled Data Using Adaptive Normalized Convolution. EURASIP Journal on Applied Signal Processing (2006) S. 1-12
[9] Schröder, G.: Technische Optik. Würzburg: Vogel 1990

Autor des Artikels:

M.Sc. H. Lietz, Hochschule Ravensburg-Weingarten, Weingarten