Freiraumerkennung - Ein Grundstein des autonomen Fahrens

Kurzfassung

In diesem Beitrag präsentieren wir ein zur Serienreife entwickeltes System zur Freiraumerkennung, das auf einer Stereokamera basiert. Neben Spurmarkierungs- und Objektdaten bildet der Freiraum eine dritte Säule des Umfeldmodells. Dadurch können Fahrerassistenzfunktionen sicherer gestaltet und ein höherer Automatisierungsgrad erreicht werden. Wir skizzieren unterschiedliche Anwendungsfälle und die damit einhergehenden Anforderungen an die Erkennungsleistung. Des Weiteren stellen wir ein semi-automatisches Verfahren zur Absicherung der Freiraumerkennung in realen Umgebungen vor.

Abstract 

We present a free space detection system based on stereo vision ready to use in series production vehicles. Free space can be seen as a third pillar of an environment model next to the detection of lane markings and objects. This allows for advanced driver assistance systems with increased safety and higher degrees of automation. We outline various use-cases of free space detection and highlight their resulting requirements. Moreover, we present a semi-automatic method for the validation of the free space detection in real world driving scenarios.

1. Einleitung

Die meisten strategischen Roadmaps für das autonome Fahren basieren auf einem Übergang von Fahrerassistenzsystemen (FAS) wie dem Abstandsregeltempomat (ACC) über höher integrierte Systeme z.B. Stauassistent bis hin zu hochautomatisierten und betriebssicheren Fahrmaschinen. Letztere befreien den Fahrer vollständig von seiner Fahraufgabe und erlauben ihm, seine Fahrzeit für beliebige Zwecke zu nutzen. Zwischen den Anforderungen an hochautomatisierten Fahrfunktionen und der Erkennungsleistung typischer FAS-Sensorik, wie Kameras und Radare, besteht jedoch eine signifikante Diskrepanz. In der Regel erkennen solche Sensoren zwar Verkehrsteilnehmer und Spurmarkierungen, können aber zwei wichtige Fragen bei einem geplanten automatisierten Fahrmanöver nicht beantworten:

  1. Entsteht durch das Manöver ein Sicherheitsrisiko?
  2. Sind alle relevanten physikalischen Entitäten des Umfelds bekannt?

Beispielsweise entsteht diese Situation, wenn das ACC-System im Stop-and-go-Verkehr wieder anfährt, nachdem es durch ein Vorderfahrzeug zum Stehen gebracht wurde. Kann man ausschließen, dass in der Zwischenzeit keine Person den Bereich zwischen den Fahrzeugen betreten hat? Gilt das auch für kleine Kinder und Tiere?

Als Antwort auf dieses grundlegende Problem haben BMW und Continental in Kooperation eine Freiraumerkennung (FRE) zur Serienreife entwickelt. Diese Funktion erkennt hindernisfreie Bereiche vor dem Fahrzeug und arbeitet dabei modellfrei. Sie basiert auf einer Stereokamera und Radarsensorik, wobei der optischen Komponente aufgrund der hochauflösenden Reflektanz- und Tiefenmessung besondere Bedeutung zukommt.

Forschungsarbeiten im Bereich der FRE basieren meist auf Kameras [1,2,3,4], aber auch radarbasierte Verfahren [5] oder Fusionssysteme von Kamera und Radar/Lidar wurden vorgeschlagen [6,7]. Der Großteil der kamerabasierten Verfahren rekonstruiert die Szene aus der Disparitätsinformation einer Stereokamera und passt ein Modell in die resultierende 3D-Punktewolke ein. Dies können einfache Ebenen [2] oder mächtigere Modelle sein, die auch Krümmungen zulassen, dadurch aber auch eine höhere Berechnungskomplexität besitzen [4]. Alternativ kann FRE auch als Problem in Pixelkoordinaten angesehen werden, d.h. Freiraumgrenzen werden dort als 2D-Polygone im Bild ausgegeben [3]. Das Problem kann sogar als Klassifikationsaufgabe aufgefasst werden, bei der Pixel als Hindernis oder Freiraum (oder potentiell weitere Klassen) gelabelt werden. Dabei werden Intensitäts-, Homogenitäts- oder Disparitätsmerkmale zur Klassifikation eingesetzt – allerdings mit dem Nachteil, dass so nur begrenzt 3D-Informationen über den Freiraum verfügbar sind. Diese Ansätze beziehen sich daher hauptsächlich auf spezifische Szenarien oder Anwendungen. Ziel des hier vorgestellten Ansatzes ist eine generische FRE, die für alle Arten von Umgebungen wie Autobahnen, Landstraßen und städtische Gebiete funktioniert.

Zusätzlich muss das Verfahren auch bei wechselnden Lichtverhältnissen oder Wetterbedingungen zuverlässig arbeiten. Es muss weiterhin in Echtzeit auf dem eingebetteten Kameraprozessor laufen, d.h. Speicherbedarf und Berechnungszeiten müssen einen strengen Rahmen einhalten.

2. Algorithmik der Freiraumerkennung

Das Ziel der kamerabasierten FRE ist es, befahrbare Bereiche vor dem Fahrzeug zu bestimmen. Diese sind dadurch gekennzeichnet, dass sie keine Hindernisse enthalten, mit denen es zu einer Kollision kommen könnte oder die das Fahrzeug in seiner Bewegung hindern würden. In diesem Sinne stellen nicht nur andere Verkehrsteilnehmer wie Fahrzeuge und Fußgänger Hindernisse dar, sondern auch statische Objekte wie Leitplanken, Schilder oder hohe Bordsteine. Im Gegensatz dazu zählen befahrbare Rampen, Steigungen und abgesenkte Bordsteine als Freiraum. Auch ein flaches, der Straße angrenzendes Feld ist in diesem Kontext als Freiraum zu werten, da das Fahrzeug im Notfall dorthin ausweichen kann.  

Als Basis für die Freiraumberechnung dienen Disparitätsinformationen aus einer hinter der Windschutzscheibe des Fahrzeugs verbauten Stereokamera. Damit kann für jedes Pixel des Kamerabildes die korrespondierende Tiefe geschätzt und damit eine dichte 3D-Karte gebildet werden. Die Berechnung des Tiefenbildes erfolgt durch einen auf Semi-Global-Matching (SGM) [8] basierenden Ansatz, der in Echtzeit auf der Kamera-Hardware läuft. Um das Rauschen der Tiefenmessungen zu reduzieren und die Messgenauigkeit zu erhöhen, wird zusätzlich ein Super-Pixel-Ansatz verwendet. Dabei wird die Tiefeninformation mehrerer Pixel in einer Nachbarschaft als gewichteter Mittelwert zusammengefasst.

2.1 Freiraumrepräsentation

Um den gewünschten Fahrfunktionen einen möglichst effizienten Zugriff auf den befahrbaren Bereich vor dem Fahrzeug zu erlauben, bedarf es einer passenden Repräsentation. Zum einen sollte der Freiraum beliebig formbar sein, um alle relevanten Fahrszenarien abzudecken. Zum anderen sollte die Repräsentation speichereffizient sein, um die Schnittstellen zwischen den einzelnen Funktionskomponenten möglichst schlank zu halten. Aus diesem Grund wird in diesem Ansatz eine polare Darstellung des Freiraumes

Bild 1: Auf der Stereokamera berechneter Freiraum, dargestellt mit farbigen Segmenten.
Rot: bewegtes Hindernis, Blau: statisches Hindernis, Grün: kein Hindernis.

verwendet, die weiterhin eine unkomplizierte Fusion mit anderen polaren Datenquellen wie z.B. Radar oder Lidar erlaubt.

Der Freiraum vor dem Fahrzeug wird hierbei in 70 polar beschriebene Segmente mit identischer Winkelauflösung unterteilt, mit ihrem Ursprung in der Mitte der Hinterachse. Jedes dieser Segmente ist mit Attributen versehen, die den Freiraum des jeweiligen Segmentes und die Freiraumgrenze charakterisieren. Die Freiraumgrenze ist als der Punkt definiert, an dem der Freiraum durch ein potentielles Hindernis unterbrochen wird. Das wichtigste dieser Segmentattribute ist dementsprechend die Distanz des Hindernisses, das dem Fahrzeug am nächsten ist. Für den Fall, dass sich kein Hindernis in einem Segment befindet, wird als entsprechende Hindernisdistanz die maximale Sichtweite des Systems ausgegeben.

Zusätzlich zur Distanz werden noch weitere Segmentattribute verwendet, um eine Freiraumgrenze zu beschreiben. Basierend auf der Anzahl und Güte der Tiefenmessungen sowie einer Schätzung der Straßenwahrscheinlichkeit wird jedes Segment mit einer Hinderniskonfidenz versehen. Jedes erkannte Hindernis wird weiterhin bzgl. seiner Eigenbewegung klassifiziert, um zwischen statischen und dynamischen Hindernissen unterscheiden zu können. In einem zusätzlichen Attribut wird die Höhe eines Hindernisses relativ zu einer geschätzten Fahrfläche ausgegeben. Bild 1 zeigt zwei Beispielszenen, für die der Freiraum berechnet wurde. Blaue und rote Segmente geben jeweils statische und bewegte Hindernisse an, während Segmente ohne Hindernisse in grün gezeichnet sind.

2.2 Schätzung der Bodenfläche

Für die Unterscheidung zwischen Freiraum und Hindernissen ist es zuerst notwendig, eine 3D-Bodenfläche vor dem Fahrzeug zu bestimmen, die für die Berechnung von Hindernishöhen als Bezugsfläche benötigt wird. Die Schätzung der Bodenfläche erfolgt durch ein Polynom-Modell, das in die 3D-Messung des SGM-Algorithmus eingepasst wird. Das Modell ist in mehrere Regionen mit jeweils einem Satz von Koeffizienten unterteilt, die die Position der Bodenfläche relativ zum Fahrzeugkoordinatensystem bestimmen. Näher am Fahrzeug gelegene Modellregionen werden durch Polynome höheren Grades beschrieben, so dass eine stärkere Krümmung in vertikaler als auch in horizontaler Richtung möglich ist. Aufgrund der reduzierten Genauigkeit und Anzahl der Messungen in größeren Distanzen werden entferntere Regionen mit nur einem linearen Term in longitudinaler und lateraler Richtung beschrieben. Die Konsistenz zwischen dem Polynom-Modell und der Messung wird verwendet, um die Maximaldistanz für die geschätzte Bodenfläche zu berechnen.

2.3 Höhenkarte

Die Höhenwerte relativ zur Bodenfläche werden in eine Höhenkarte eingetragen und zeitlich getrackt – ein häufig verwendeter Ansatz für die Umgebungsrepräsentation im Kontext von Stereokameras [9]. Die Hauptvorteile dieses Ansatzes sind die Robustheit gegenüber Rauschen und fehlenden Messungen sowie die einfache zeitliche Integration der Messungen. Jede Zelle innerhalb der Höhenkarte beinhaltet eine Höhe relativ zur Bodenfläche. Dabei wird ein polares Gitter mit 70 Winkelsegmenten für die Höhenkarte verwendet, das mit den Freiraumsegmenten übereinstimmt. Die Höhenkarte erstreckt sich über Distanzen zwischen 1,5m und 50m, wobei die Länge einer einzelnen Zelle proportional mit dem Quadrat ihrer Distanz anwächst. Die wichtigsten Berechnungsschritte sind:

  1. Verarbeitung der aktuellen Messung und Erzeugung einer darauf basierenden Höhenkarte für diesen Zeitschritt (Messkarte)
  2. Prädiktion der bis zu diesem Zeitpunkt integrierten Höhenkarte mittels der Eigenbewegungsinformation des Fahrzeuges (prädizierte Karte)
  3. Fusion der prädizierten Karte und der Messkarte

Für die Berechnung der Höhenwerte basierend auf dem aktuellen Zeitschritt werden alle 3D-Punkte ihrer korrespondierenden Zelle zugewiesen. Das Maximum der Höhenwerte dieser 3D-Punkte ergibt den resultierenden Zellwert. Im Prädiktionsschritt wird zunächst die Eigenbewegung des Fahrzeugs seit dem letzten Zeitschritt mit Hilfe der Gierrate und der Geschwindigkeit berechnet. Mit der so gewonnenen Transformation wird jeder Zelle in der aktuellen Karte die entsprechende Position im vorherigen Zeitschritt zugeordnet. Einen herausfordernden Fall im Prädiktionsschritt bilden dynamische Objekte. Dabei wird die Bewegungsinformation aus dem optischen Fluss und zusätzlich aus einem separaten Objektdetektor entnommen und damit jede Zelle als dynamisch oder statisch klassifiziert. Dynamische Zellen werden dann vom Prädiktionsschritt ausgeschlossen.

Bild 2: Kamerabild (links) und zugehörige Höhenkarte (rechts). Rot- und Gelbtöne repräsentieren eine hohe bzw. niedrige Fehlervarianz. Durch die Projektion erscheint die im Grunde polare Repräsentation hier kartesisch.

Im letzten Schritt werden die prädizierten Höhenwerte mit den aktuellen Höhenwerten für jede Zelle über einen Kalman Filter fusioniert. Mit diesem Filteralgorithmus können Ungenauigkeiten einzelner Messungen (z.B. Anzahl der 3D-Punkte für einen Höhenwert) berücksichtigt werden und Schätzungen werden bei ähnlichen Höhenwerten über mehrere Zeitschritte sicherer. Umgekehrt können Zellen mit hoher Unsicherheit oder bei fehlenden Messwerten ungültig werden. In Bild 2 ist ein Beispiel der berechneten Höhenkarte abgebildet.

2.4 Straßenwahrscheinlichkeit

Bis zu diesem Punkt wurde die Höhenkarte ausschließlich aus den Disparitätswerten berechnet. Um auch die Grauwertinformation der Kamera im Kartierungsprozess nutzen zu können und die Robustheit der Funktion zu erhöhen, wird eine Straßenwahrscheinlichkeit berechnet. Diese ist ein Maß für die Wahrscheinlichkeit jeder Zelle, dass sie die Bodenfläche repräsentiert und verschiedene Merkmale tragen zur ihrer Berechnung bei:

  • Ein Höhenhistogramm erlaubt es, Zellen zu identifizieren, die zu Hindernissen gehören. Die vertikale Struktur eines Objekts führt zur Anhäufung von Disparitäten in den Höhenintervallen des Histogramms solcher Zellen. 
  • Die homogene Straßenoberfläche ist typischerweise durch geringe Kontrastwerte charakterisiert im Gegensatz zu den strukturierteren und eher inhomogenen Objekten. Eine geringe Varianz der Bildgrauwerte eines Superpixels ist daher ein Indikator dafür, dass die Zelle zur Straße gehört.
  • Die Straßenwahrscheinlichkeit ist umso höher, je weniger Superpixel über einer bestimmten Höhenschwelle vorhanden sind.

Diese Merkmale werden in jedem Einzelzeitschritt berechnet und für eine höhere Robustheit zeitlich integriert, siehe Bild 3.

Bild 3: Darstellung der Straßenwahrscheinlichkeit von Bild 2. Je heller die Zelle, desto höher ist ihre Straßenwahrscheinlichkeit.

Im letzten Schritt der Freiraumberechnung wird das Distanzattribut jedes polaren Segments berechnet. Hierbei spielt die Straßenwahrscheinlichkeit eine entscheidende Rolle. Jedes Segment wird ausgehend vom Ursprung der Kamera in Längsrichtung durchlaufen und auf Freiraum oder Hindernis getestet. Eine gültige Freiraumbegrenzung liegt vor, wenn die relative Höhe der aktuellen Zelle einen Schwellwert überschreitet und zusätzlich die Straßenwahrscheinlichkeit gering ist. Wurde kein Hindernis identifiziert, so wird die maximale geschätzte Sichtweite ausgegeben, die hier auf 50m begrenzt wurde.

3. Absicherung

Die FRE stellt zwei enorme Herausforderung an die Absicherung. Erstens entsteht eine sehr große Datenmenge, da jedes Frame bereits 70 Einzelmessungen aufweist. In einer Stunde Videomaterial entstehen so knapp 4 Millionen zu validierende Segmente. Damit ist ein rein manuelles Verfahren zur Absicherung sehr arbeitsaufwändig und praktisch kaum durchführbar. Das zweite Problem ist das Fehlen von geeigneten Referenzdaten in Realweltszenarios. Während es nicht besonders schwierig ist, die FRE auf einem Testgelände mit Referenzkörpern bekannter Größe, Position und Lage auszuwerten, kann dieser Ansatz nur ergänzend genutzt werden, da die Performanz der FRE stark den Umweltfaktoren wie Witterung und Beleuchtung unterliegt und von der Textur der Hindernisse und der Fahrbahn abhängt. Darüber hinaus können die Objekte beliebige Formen aufweisen, und in manchen Fällen, wie beispielsweise Böschungen, ist eine Aussage darüber, wo die Bodenebene aufhört und das Hindernis beginnt, nicht eindeutig zu treffen.

Um diese beiden Probleme zu lösen, wurde eine neue hybride Absicherungskette aufgebaut. Sie basiert auf einem Velodyne HDL-64E Laserscanner, automatisierter Freiraumberechnung und manueller Validierung. Schritt 1 ist das Aufnehmen eines Szenenkatalogs mit simultaner Aufzeichnung von Kamera, Velodyne und Inertialsensorik (OXTS RT-2002). Im zweiten Schritt wird ein Referenzfreiraum auf Basis der Laserscanner- und Intertialdaten berechnet, der genau in der gleichen geometrischen Schnittstelle wie der Kamerafreiraum ausgegeben wird. Da bei diesem vollautomatisierten Verfahren Schätzfehler nicht ausgeschlossen werden können und unklare Szeneninhalte aus den Referenzdaten ausgeschlossen werden müssen, erfolgt ein dritter Schritt in der Absicherungskette: der Referenzfreiraum wird in das Kamerabild projiziert und manuell überprüft. Passen die berechneten Freiraumgrenzen nicht mit den visuell wahrgenommenen zusammen, wird die Referenzmessung verworfen. Das Ergebnis ist ein validierter Referenzfreiraum, der für Performanzanalysen genutzt werden kann.

Im letzten Schritt der Validierungskette wird der von der Kamera gelieferte Freiraum mit den manuell verifizierten Segmenten des Laserscanner-Freiraumes verglichen. Ziel hiervon ist es, die Leistungsfähigkeit des entwickelten Freiraum-Algorithmus auszuwerten, sowohl bzgl. Hindernis-Detektionsrate als auch der Genauigkeit der Distanzschätzung. Der Freiraumalgorithmus auf Basis der Stereodaten wird auf einem hochperformanten Rechencluster berechnet. Die Ergebnisse der dabei verwendeten Implementierung sind binär identisch zu dem auf der Kamera laufenden Algorithmus. Mit diesem Ansatz können die Auswirkungen von algorithmischen Veränderungen automatisiert und zeitnah ausgewertet werden. Um zuverlässige statistische Ergebnisse zu erhalten, wird eine umfangreiche Szenendatenbank verwendet, die Beispiele von verschiedensten Fahrszenarien, Wetter- und Beleuchtungsbedingungen enthalten.
Für die statistische Auswertung wird jedes Referenzsegment einem Segment aus der kamerabasierten FRE zugeordnet und wird wie folgt klassifiziert: Richtigpositiv (RP), wenn eine Hindernisgrenze korrekt erkannt wird, Falschpositiv (FP) im Falle einer Erkennung bei nicht vorhandenem Hindernis, Richtignegativ (RN), wenn bei leerer Fahrbahn korrekterweise keine Freiraumgrenze gemeldet wird, und Falschnegativ (FN) im Falle eines übersehenen Hindernisses (siehe Beispiele in Bild 4).

Die Ergebnisse unserer Auswertung zeigen eine sehr gute Performanz der FRE bei Tageslicht mit niedrigen FP- und FN-Raten. Beeinträchtigend auf die Erkennungsleistung wirken sich vor allem schlechte Lichtbedingungen, Regen und Lichtreflektionen auf nasser Fahrbahn aus. Die eingeschränkte Qualität in diesen Szenarien ist auf den Stereoalgorithmus zurückzuführen. In einer ungenügend beleuchteten Szene ist vor allem die korrekte Disparitätsberechnung mitunter sehr schwierig. Ähnlich können Regen und Spiegelungen durch ungleiche Bildstrukturen im rechten und linken Kamerabild zu Fehlern in der Disparitätskarte führen. Bei der Betrachtung der Erkennungsleistung im Kontext von FAS-Funktionen sind FP- und FN-Raten aussagekräftige Performanzkennzahlen. Dagegen

Bild 4: Beispiele aus der Validierungskette. Hindernisdistanzen von Kamera und Laser sind jeweils in weiß und gelb eingezeichnet. Bedeutung der Segmentfarben: RP und RN sind in grün, FP in rot und FN in magenta dargestellt.

führen hohe FP-Raten je nach Applikation zu unplausiblen Aktionen oder übervorsichtiger Aktivierung von Sicherheitsfunktionen (siehe Kapitel 4). Die FN-Rate spiegelt dagegen die Effektivität der Funktion wieder. Je geringer die FN-Rate, desto kleiner die Zahl der übersehenen Hindernisse und desto höher die Sicherheit bei automatisierten Fahrmanövern. Ein wichtiges Ergebnis unserer Entwicklung ist, dass die richtige Balance zwischen FP- und FR-Rate stark von den Anwendungsfällen der jeweiligen Kundenfunktion abhängt.

4. Anwendung

Die FRE kann neben der Objekt- und Spurmarkierungserkennung als dritte Säule des Umfeldmodells betrachtet werden. Indem sie Informationen über statische Hindernisse und  Sichtweite bereitstellt, werden FAS-Funktionen mit höherem Automatisierungsgrad ermöglicht. Im Folgenden werden einige Anwendungsfälle nach ihrer Relevanz sortiert skizziert.

Bild 5: Fünf Anwendungsfälle der Freiraumerkennung

4.1 Anwendungsfall A

Die Hauptanwendung der FRE ist die der Kollisionsprüfung. Hier wird ermittelt, ob eine geplante Trajektorie zu einer Kollision mit einem statischen Hindernis führen würde. Bild 5A illustriert eine Situation, die entstehen kann, wenn ein Fahrzeug die Spur verlässt und ein Spurhalteassistent eine Rückführung initiieren würde. Diese Aktion wird von der FRE unterdrückt, weil die Spur im weiteren Verlauf durch Pylonen gesperrt ist. Damit wird die Fahrerintention verstanden und ein Spurwechsel zugelassen, ohne dass der Fahrer blinken muss. Bei diesem Anwendungsfall ist vor allem die Minimierung von FN wichtig, was sich wiederum in einer geringen Falschaktivierungsrate der Kundenfunktion niederschlägt. FP können zu einer nicht erfolgten Aktivierung führen, werden aber aus Kundensicht weniger kritisch bewertet. Die FP-Rate muss jedoch ausreichend gering sein, damit das System wertvoll und für den Fahrer nachvollziehbar bleibt. Das Verhältnis von FP- zu FN-Rate kann durch Schwellwerte auf dem Konfidenzattribut der Freiraumgrenzen gesteuert werden. Die Konfidenz drückt die Erkennungssicherheit aus und wird vom Algorithmus für jede Detektion einzeln berechnet (s. Kapitel 2). Eine hohe Sensitivität für Hindernisse und somit eine geringe FN-Rate kann erreicht werden, indem ein entsprechend niedriger Schwellwert gewählt wird.

4.2 Anwendungsfall B

Der zweite Anwendungsfall der FRE ist die Aktivierung einer Sicherheitsfunktion. Bild 5B zeigt eine drohende Kollision mit einer Randbebauung, die als Freiraumgrenze erkannt wird. Um einen Unfall zu vermeiden lenkt eine Sicherheitsfunktion das Fahrzeug zurück in die Spur, falls sich dort keine Hindernisse befinden (s. Fall A). Bei diesem Szenario müssen Falschauslösungen minimiert werden, was eine geringe FP-Rate der FRE erfordert. Die hier geforderte geringere Sensitivität gegenüber Hindernissen kann mit einem höheren Schwellwert auf dem Konfidenzattribut erzielt werden. Die Anwendungsfälle A und B zeigen den Nutzen des Konfidenzattributs in der Schnittstelle zu den Kundenfunktionen. Durch die Wahl eines geeigneten Schwellwertes kann jede Funktion individuell bestimmen, wie die Gewichtung von FP zu FN für ihre Anwendung ausfallen muss. Die Durchführung einer statistischen Auswertung mit verschiedenen Schwellwerten über einen größeren Szenenkatalog (s. Kapitel 3) erlaubt eine Feinabstimmung der Konfidenzschätzung selbst, sowie die Wahl der geeigneten Schwellwerte für die einzelnen Kundenfunktionen.

4.3. Anwendungsfall C

Während die Fälle A und B im Kontext von Sicherheitsfunktionen zu sehen sind, geht es im dritten Anwendungsfall um die Fahrzeugführung in Abwesenheit von Spurmarkierungen sowie Vorderfahrzeugen. Bei dieser Komfortfunktion wird der Fahrer über einen längeren Zeitraum von der Bedienung von Lenkrad und Gaspedal befreit. In der in Bild 5C dargestellten Baustelle sind die Markierungen durch Pylonen ersetzt. Hier bietet die FRE eine zur Objekt- und Spurdetektion ergänzende Datengrundlage für die Trajektorienplanung an. Für diesen Anwendungsfall wird eine sensitive Freiraumauslegung wie in Fall A genutzt werden.

4.4 Anwendungsfall D

Im vierten Anwendungsfall wird die Sichtweite für die Geschwindigkeitsregelung herangezogen (Bild 5D). Die Nutzung der noch sichtbaren Distanz in der FRE ist ein wichtiger Schritt hin zu höheren Automatisierungsgraden. Die Sichtweite ermöglicht es, die eigenen Perzeptionsgrenzen bei der Berechnung von Trajektorie und Geschwindigkeitsprofil zu berücksichtigen. Eine hochautomatisierte Fahrfunktion beschränkt die Geschwindigkeit derart, dass ein Anhalten vor möglichen Hindernissen hinter der Sichtweite jederzeit möglich ist [10]. Wie beim menschlichen Fahren erlaubt eine höhere Sichtweite ein sicheres Fahren mit höherer Geschwindigkeit. Analog zu Anwendungsfall C stellt Fall D ein weiteres Beispiel für eine sensitive Auslegung der FRE dar, mit Priorität auf der Minimierung von FN.

4.5 Anwendungsfall E

Im letzten Anwendungsfall wird die FRE indirekt für FAS-Funktionen genutzt, indem sie zur Verbesserung von digitalen Karten beiträgt. Automatisierte Fahrfunktionen profitieren massiv von hochgenauen Karten, die Informationen über Randbebauung zur Verfügung stellen. Die Nützlichkeit von solchen Karten beruht hauptsächlich auf ihrer Genauigkeit und eine große Herausforderung besteht darin, sie möglichst aktuell zu halten. Die FRE kann genutzt werden, um eine veränderte Randbebauung im Vergleich zur Karte zu erkennen (Bild 5E). Es ist sogar vorstellbar, dass die FRE in der nicht allzu fernen Zukunft als eine Grundlage zur Erstellung von hochgenaue Karten genutzt wird.

5. Zusammenfassung

In diesem Beitrag haben wir eine industrialisierte Freiraumerkennung demonstriert, die auf einer Stereokamera basiert. Das System läuft in Echtzeit auf Embedded-Hardware zusammen mit anderen Detektoren für u.a. Spurmarkierungen, Objekten und Schildern. Die FRE kann als dritte Säule des Umfeldmodells gesehen werden, das die Informationen mit denen anderer Sensoren fusioniert. Die Anwendungsfälle reichen von der Unterdrückung sowie Aktivierung von automatisierten Manövern bei Sicherheitsfunktionen, über Trajektorienplanung bis hin zur Erstellung von hochgenauen Karten. Da verschiedene Kundenfunktionen unterschiedliche Anforderungen an die Perzeption haben, ist die Möglichkeit einer funktionsspezifischen Applikation auf Basis einer Detektionskonfidenz entscheidend. Darüber hinaus wurde ein teilautomatisiertes Verfahren zur Bewertung des Systems vorgestellt. Der Kamerafreiraum wird mit dem eines Laserscanners verglichen, um Qualitätsmaße für eine größere Szenendatenbank mit Alltagsbeispielen zu ermitteln. 

6. Literaturangaben

[1] Haltakov, V., Belzner, H., Ilic, S.: Scene Understanding from a Moving Camera for
Object Detection and Free Space Estimation. IEEE Intelligent Vehicles Symposium, 2012, 105–110
[2] Vestri, D., Tsishkou, D., Abad, F., Wybo, S., Bougnoux, S., Bendahan R.: Vision-based Safe Maneuvers with Detection of 10cm Height Obstacles. Proceedings ITS World Congress, 2010
[3] Suhr, J., Jung, H.: Noise-resilient Road Surface and Free Space Estimation Using Dense Stereo. IEEE Intelligent Vehicles Symposium, 2013, 461–466
[4] Oniga, F., Nedevschi, S.: Processing Dense Stereo Data Using Elevation Maps.
IEEE Transactions on Vehicular Technology, 2010, 1172–1182
[5] Schreier, M., Willert V.: Robust Free Space Detection in Occupancy Grid Maps by Methods of Image Analysis and Dynamic B-Spline Contour Tracking.
 IEEE Conference on Intelligent Transportation Systems, 2012, 514–521
[6] Fernandez, C., Gavilan, M., Llorca, D.F., Parra, I., Quintero, R., Lorente, A. G., Vlacic, Lj., Sotelo, M.A.: Free Space and Speed Humps Detection using Lidar and Vision for Urban Autonomous Navigation. IEEE Intelligent Vehicles Symposium, 2012, 698–703
[7] Lundquist, C., Schön, T.B.: Estimation of the Free Space in Front of a Moving Vehicle. SAE Technical Paper, 2009
[8] Hirschmüller, H.: Stereo Processing by Semiglobal Matching and Mutual Information. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2008, 328–341
[9] Souza, A., Goncalves, L.: 2.5-Dimensional Grid Mapping from Stereo Vision for Robotic Navigation. Brazilian Robotics Symposium and Latin American Robotics Symposium, 2012, 39–44
[10] Vanholme, B., Gruyer, D., Glaser,S., Mammar, S.: A Legal Safety Concept for Highly Automated Driving on Highways. IEEE Intelligent Vehicles Symposium, 2011, 563–570

Autoren des Artikels

Dr. rer. nat. L. Neumann, Dr. Ing. B. Vanholme, BMW Group, München;
Dr. rer. nat. M. Gressmann, Dr. Ing.  A. Bachmann, M.Sc. L. Kählke,
Dipl. Inf. F. Schüle, ADC Automotive Distance Control Systems GmbH, Lindau