Herausforderungen, Migrationspfade und Zukunftstechnologien auf dem Weg hin zum vollautomatisierten Fahren

Kurzfassung

Der Übergang vom assistierten zum vollautomatisierten Fahren wird in der Automobilindustrie und den sich gerade bildenden neuen Märkten sehr kontrovers diskutiert. Vom stetigen, evolutionären Übergang der bereits existierenden Fahrerassistenzsysteme bis hin zum disruptiven, komplett revolutionären Wechsel auf autonom fahrende Fahrzeuge in den nächsten Jahren scheint alles möglich zu sein. Sich ändernde Geschäftsmodelle (wie carsharing) und neue Kundenansprüche (wie ständige Vernetzung und neues Mobilitätsverständnis der Kunden) werden bei der zukünftigen Fahrzeugentwicklung und dem geforderten Automatisierungsgrad eine entscheidende Rolle spielen.
In diesem Vortrag werden aus der Sichtweise von bestehenden Entwicklungen auf dem Gebiet der Automobilradare die technologischen und funktionalen Fortschritte der kommenden Jahre aufgezeigt und detaillierter beschrieben. Mit Blick auf neuartige Fahrfunktionen bis hin zum vollautomatisierten Fahren werden die notwendigen Anforderungen an die Radarsensorik definiert und mögliche Realisierungsformen aufgezeigt.
Ausgehend von den bereits existierenden Fahrerassistenzfunktionen werden aus den bestehenden Anforderungen die entsprechenden Rückschlüsse für zukünftige hochautomatisierte Fahrfunktionen gezogen.
Auf die in jüngster Zeit sich etablierten Verfahren der Radarsignalauswertung mittels MikroDoppler wird speziell eingegangen und auf das bisher ungehobene Potenzial für eine wesentlich bessere Umfeld-Wahrnehmung und Situationsinterpretation hingewiesen. In Messergebnissen und Beispielen zur Mikro-Dopplerauswertung unter verschiedenen Verkehrsszenarien mit diversen Verkehrsteilnehmern (Personen, Radfahrer, Autos und Lkws) wird das Potenzial zur Objektklassifikation eindrucksvoll demonstriert. Diese wird neben der notwendigen, noch besseren Winkeltrennfähigkeit und Objektseparationsgüte eine der Hauptvoraussetzungen für das erfolgreiche autonome Fahren sein.
Die nicht weniger wichtigen Aspekte und Herausforderungen der Entwicklung von hochkomplexen Radarsensoren mit speziellen Prototypen-Werkzeugen werden zum Abschluss diskutiert. Das konventionelle Entwickeln auf PC oder Laptop ist wegen der rechenintensiven und immer komplexer werdenden Algorithmen nur noch bedingt möglich. Ein Ausblick des zukünftigen Zusammenspiels der für die Radarentwicklung grundlegenden Technologiedomänen und den Produktzyklen, die zeitlich sehr stark unterschiedlich sein können rundet den Vortrag ab.

Abstract

The transition towards fully automated driving is currently in deep discussion between the automotive industry and new emerging markets. Everything seems to be possible from a steady, evolutionary changeover up to a revolutionary and very abrupt switchover. New business models like car-sharing and changing customer needs will play an important role in the development of future automation levels.
This paper describes current status and future potential of vehicular radar systems with focus on new driving features and the thereof resulting ambitious specifications. Recently investigated new method like Micro-Doppler analysis are addressed and improvements in environmental perception are shown by evaluating object signature characteristics for road user classification (i.e. pedestrian, bicyclist, car or truck).
To reach this demanding goals new development concepts and prototyping tools are presented. This paper ends with a coarse forecast how long-lasting technology developments can be streamlined into the multi-generation production process.

1. Einleitung

Die erste funktionierende Ultraschall-Einparkhilfe wurde im Jahr 1982 in der Mittelklasselimousine Toyota Corona auf dem Heimatmarkt Japan unter der Bezeichnung Back Sonar zur Marktreife gebracht [1] und gilt als erstes aktives Fahrerassistenzsysteme mit rudimentärer Umfeld-Erkennung. 77 GHz Radarsensoren wurden erstmals 1999 unter dem Namen Distronic in der Mercedes Benz S-Klasse für die Funktion Abstandsregeltempomat [2] verbaut und eröffneten ein sich rasant entwickelndes Marktsegment im Automobilbereich, das in nicht zu ferner Zukunft in ein voll automatisiertes und unfallfreies Fahren münden wird. Während das etablierte Sensortechnologie-Portfolio für die Umfelderkennung mit den vier Domänen Video, Radar, Lidar und Ultraschall noch sehr überschaubar ist, gestaltet sich sowohl die Anzahl der potentiellen Anbieter für automatisierte Fahrfunktionen als auch die verschiedenen Niveaus des automatisierten Fahrens noch unübersichtlich. Erste Ansätze, die verschiedenen Ausprägungsstufen des automatisierten Fahrens besser einzuordnen, sind in Bild 1 dargestellt [3], [4], [5], [6], [7].

Bild 1: Einteilung der Fahrautomatisierung in bis zu sechs verschiedene Stufen

Auch wenn die einzelnen Bezeichner und Stufen bei den verschiedenen Organisationen noch geringfügig variieren und eine weltweit standardisierte Klassifizierung noch aussteht, so ist dennoch erkennbar, dass die aktuell im Markt existierenden Assistenzsysteme sich typisch in der Stufe zwei bis drei befinden und der Fahrer bei kritischen Ereignissen kurzfristig das automatisierte System übersteuern muss.
Wie sich der Übergang zum vollautomatisierten Fahren in der Zukunft weiterentwickeln wird ist noch offen und wird hauptsächlich durch die beiden konkurrierenden Lager, den etablierten Automobilherstellern und den hochinnovativen High-Tech und IT-Unternehmen wie Google, Apple, Baidu und Faraday Future, geprägt werden. Während die OEMs auf eine evolutionäre Weiterentwicklung von ADAS (Advanced Driver Assistance System) hin zum automatisierten Fahren setzen, versuchen sich die Internetfirmen im direkten, revolutionären Weg mit disruptiven Technologieansätzen. Unabhängig wie sich die Zielerreichung des vollautomatisierten Fahrens gestalten wird sind seitens der Umfeldperzeption noch signifikante Anstrengungen notwendig, um die Herausforderungen bezüglich Objekterkennung und Situationsinterpretation erfolgreich zu meistern.

Bild 2: Migrationspfade zum automatisierten Fahren (revolutionär = gestrichelt, evolutionär = durchgezogen) [8]

In den folgenden Kapiteln werden diese Herausforderungen aus der Sicht von Automobilradaren eingehender adressiert.

2. State-of-the-Art: Radar-basierte Fahrerassistenzsysteme im Markt

Das Applikationsportfolio von 77 GHz Radarsensoren hat sich in den vergangenen 17 Jahren seit der Markteinführung von ACC Systemen beträchtlich erweitert. In Bild 3 sind bereits im Markt eingeführte Fahrerassistenzsysteme, bei denen Radarsysteme zum Einsatz kommen, aufgelistet.

Bild 3: Radarbasierte Fahrerassistenzsysteme in Serienfahrzeugen

Viele dieser Applikationen verwenden entweder einen einzelnen Radarsensor oder einen Cluster aus mehreren Radaren, um den notwendigen Beobachtungsbereich erfassen zu können. Erste Fusionsansätze zwischen Radar und Videosensoren auf Objektebene führen entweder zu einer verbesserten Bereichsabdeckung (komplementäre Fusion) oder zu einer höheren Zuverlässigkeit und Robustheit des Gesamtsystems (redundantes Fusionskonzept), wie in Bild 4 dargestellt.
Mit zunehmendem Automatisierungsgrad wird sich der Schwerpunkt der Sensordatenfusion von komplementären hin zu redundanten Fusionskonzepten verschieben mit nachhaltigen Auswirkungen auf die einzelnen Sensortechnologien und deren Weiterentwicklung. Alle Radarapplikationen in Bild 3 liefern als primäre Umgebungsinformation den Abstand (Radius und Winkel bzw. x- und y-Ablage) und die relative Geschwindigkeit (radial oder in x/y Komponenten) von den detektierten Objekten. Der Rückstreuquerschnitt (RCS – Radar Cross Section) und in jüngerer Zeit auch der Mikro-Doppler (siehe Kapitel 4.1) sind weitere Parameter, die zu einer verbesserten Interpretation des Verkehrsgeschehens führen.
Die laterale Objektseparation im Bereich von einigen Winkelgraden und der Beobachtungsbereich zwischen ± 20° bis max. ± 45° sind für automatisierte Fahrsituationen der Stufe 2 ausreichend, genügen den Anforderungen der höheren Automatisierungsstufen aber bei Weitem noch nicht.

Bild 4: Komplementäres und redundantes Sensorfusionskonzept

Sowohl bei den Radarsensoren als auch bei Video-, Lidar- und Ultraschallsystemen sind für hochautomatisierte Fahrfunktionen noch erhebliche Weiterentwicklungen notwendig um die geforderte Perzeptionsleistung liefern zu können. Wie für die Radartechnik eine EntwicklungsRoadmap mit den entsprechenden Migrationspfaden aussehen könnte, wird in den folgenden Kapiteln genauer beleuchtet.

3. Neue Anforderungen für hoch- und vollautomatisierte Fahrfunktionen

Die Anforderungen an die sich im Serieneinsatz befindenden Radarsysteme sind auf einfache kinematische Messaufgaben und rudimentäre Situations-Erkennung (z.B. unvermeidbare Kollisionsdetektion) zugeschnitten, was für direkte Fahrzeug-Regeleingriffe in Form von z.B. intelligenter Tempomat (ACC) oder Notbremsassistenz auch ausreichend ist. In gleicher Weise wird die Erkennung von Straßenlinien mit Videokameras zur Querführung des Fahrzeugs herangezogen. Fehlen die Markierungslinien, dann versagt der Spurhalteassistent seinen Dienst ohne Rückfall-Lösung (fail-operational) oder durch Ersatz von anderen Alternativen zur Spurführung (Redundanz). Mit dem Übergang zum hoch- und vollautomatisierten Fahren nehmen auch die Anforderungen und Aufgaben an die Sensorsysteme zu, wie für den Radar in Bild 5 gezeigt.

Bild 5: Radar Anforderungen für verschiedene Automatisierungsstufen

Analog zu den höheren Anforderungen an die Perzeptionsleistung wird auch aus der einfachen Fahrzeuglängs- bzw. querregelung ein hochkomplexes, mehrstufiges Entscheidungssystem, das in der Endausbaustufe des vollautomatisierten Fahrens mit jeder erdenklichen Verkehrssituation zurechtkommen wird. In Bild 6 ist die Grundstruktur des automatisierten Fahrens in seinem prinzipiellen Ablauf dargestellt.

Bild 6: Strukturplan des automatisierten Fahrens [9]

Die mittlere Säule in Bild 6 ersetzt dabei die Expertise und den Erfahrungshorizont des Fahrers beim sicheren und unfallfreien Führen des Fahrzeugs und ist, wie der Mensch auch, auf eine fehlerfreie und detailgetreue Wiedergabe des Fahrzeugumfelds angewiesen. Zur Bewältigung der (unendlichen) Vielzahl an Verkehrssituationen werden aktuell moderne Formen des Maschinenlernens (Deep Learning) mit CNN (Convolutional Neural Network) verwendet, die auch bei der Radar-Signalverarbeitung [10] zum Einsatz kommen. Sind die Eingangsdaten aus der Perzeptions- und Kommunikationseinheit mangelhaft oder unvollständig, dann wird auch die beste Planungs- und Steuerungseinheit versagen. Ein Großteil der „normalen“ Fahraufgaben können die aktuellen Systeme in Form eines intelligenten Fahrassistenten bereits heute zu 100% übernehmen, solange noch ein Fahrer hinter dem Steuer sitzt und bei kritischen Situationen eingreifen kann. Obwohl die Zeitdauer dieser Eingriffsvorgänge verschwindend klein im Vergleich zur gesamten Fahrzeit ist, ist der Aufwand für den Ersatz des Menschen in seiner Funktion als “System-Überwacher“ extrem hoch und kompliziert. Dieser Effekt wird in Bild 7 anhand der wichtigsten Einflussfaktoren beschrieben.

Bild 7: Wichtige Einflussfaktoren und Hürden hin zum vollautomatisierten

Fahren Die Auswirkungen und Konsequenzen dieser essentiellen Faktoren wie Redundanz, Ausfallsicherheit und ASIL Sicherheitsgrad werden bezüglich Aufwand und tatsächlichem Reifegrad oftmals unterschätzt und führen zu falschen Erwartungshaltungen, bis wann und in welcher Ausprägungsform das vollautomatisierte Fahren eingeführt werden kann [11] - [15]. Vollautomatisiertes Fahren nur bei schönem Wetter oder nur auf speziellen Fahrspuren mit der notwendigen Infrastruktur ist genauso unrealistisch wie der unmittelbare Wechsel auf nur noch fahrerlose Fahrzeuge ohne eine (lange) Übergangszeit mit gemischtem fahrer- und fahrerlosem Betrieb. In Bild 8 sind die geschätzten Reifegrade der für das vollautonome Fahren notwendigen Komponenten dargestellt. In Sachen Robustheit sind die Radarsysteme bereits sehr gut unterwegs, für eine effiziente Sensordatenfusion und realitätsnahen Situationsanalyse sind jedoch noch umfangreiche Verbesserungsmaßnahmen unabdingbar.

Bild 8: Abschätzung des Reifegrads für vollautomatisiertes Fahren (Bewertung nach Meinung der Autoren)

4. Innovationen und Zukunftspotenziale beim Automobilradar

Signifikante Leistungssteigerungen beim Automobilradar sind in den nächsten Jahren in zwei Domänen erkennbar, erstens – der noch besseren Ausnutzung des Mikro-Doppler Effekts, und zweitens – der massiven Auflösungssteigerung in allen drei Raumrichtungen.

4.1 Mikro-Doppler zur besseren Umfeldwahrnehmung und Szenarieninterpretation

In den letzten Jahren hat sich der Einsatz der hochauflösenden Mikro-Doppler Auswertung bei allen kommerziell verfügbaren Automobilradaren durch Einführung des schnellen ChirpSequence Verfahrens schlagartig durchgesetzt. Mit der dadurch möglich gewordenen Objektseparation sowohl im Entfernungs- als auch Geschwindigkeitsraum, die beide zusammen als Range-Doppler Matrix bezeichnet werden, wurde der Bereich der Klassifikation und Merkmalsextraktion erschlossen. Viele der aus der Bildverarbeitung bekannten Erkennungsalgorithmen können mit geringfügigen Modifikationen auch auf die Signaturen der Range-Doppler Matrix angewandt werden. Damit ist, wie in Bild 9 ersichtlich, eine Unterscheidung zwischen verschiedenen Verkehrsteilnehmern möglich.

Bild 9: Range-Doppler Profile verschiedener Verkehrsteilnehmer

Durch zeitliche Analyse der Mikro-Doppler Signaturen über mehrere Messzyklen können die spezifischen Bewegungsmuster von Fußgängern oder Radfahrern erkannt und zur Objektklassifizierung verwendet werden [16], [17]. Bei optimaler Messauswertung mit einer FPGA-basierten Echtzeitplattform [18] sind hochaufgelöste, detailgetreue Range-Doppler Signaturen von Verkehrsobjekten erzielbar, die pro Objekt leicht über 100 Einzeldetektionen enthalten können, wie in Bild 10 zu sehen ist.

Bild 10: Range-Doppler Profile verschiedener Verkehrsteilnehmer

Durch das hohe Auflösungsvermögen im Geschwindigkeitsraum erleichtert sich die Bestimmung der Winkelablage im X-Y Koordinatensystem wesentlich, da sich die normalerweise in der gleichen Entfernungszelle befindenden Reflektionspunkte wieder trennen lassen.

4.2 Massive Auflösungssteigerung durch MIMO Antennenkonzepte

Die im Mobilfunk verwendeten MIMO (multiple input, multiple output) Antennenkonzepte fanden ebenfalls in den letzten Jahren ihre Verwendung im Automobilsektor, wobei die Beweggründe jedoch mehr in der Reduktion von Hardware und der verkleinerten Apertur durch Faltung der Empfangsantennen lagen. Das Grundprinzip von MIMO Antennen ist in Bild 11 gezeigt

Bild 11: Grundprinzip von MIMO Antennen (Faltungsoperation im Empfangsbereich)

Mit der Anzahl der virtuellen Empfangsantennen steigt die Antennenapertur und damit auch das Auflösungsvermögen zwischen zwei Objekten (i.e. die Trennfähigkeit). Es ist daher wünschenswert, die Antennenapertur möglichst groß zu wählen und durch die Verwendung von vielen Sendeantennen den Hardwareaufwand auf der Empfangsseite niedrig zu halten. Der begrenzte Einbauraum im Fahrzeug limitiert per se die maximal mögliche Ausdehnung des MIMO Radars. Zudem treten unerwünschte Nebeneffekte auf, wie „Range Migration“ oder Doppler Phasenverschiebung, die die erwartete Granularität in Form eines bildgebenden Radars verschlechtern und nachfolgend kurz erläutert werden.
Das Abwandern von Objektdetektionen in benachbarte Zellen während der Entfernungs-FFT aufgrund der bestehenden Dimensionen im Antennenarray (d.h. die Annahme einer Punktquelle als Sender ist nicht mehr gültig) kann durch entsprechende Korrekturalgorithmen (z.B. Keystone Transformation [19]) wieder kompensiert werden.
Das Ansteuern der Sendeantennen kann nur sequentiell erfolgen, da sonst eine Zuordnung zu den einzelnen Sendeantennen im Empfangsraum nicht mehr möglich ist. Durch den zeitlichen Sendeversatz bildet sich bei bewegten Zielen eine zusätzliche Phasendrehung aus, die wieder eliminiert werden muss (sogenannte Motion Compensation). Auch hier sind verschiedene Korrekturverfahren bekannt [20], wobei die eleganteste, aber auch Hardwareintensivste Methode das Senden in unterschiedliche Frequenzbereiche (i.e. FrequenzMultiplexing) ist (siehe hierzu auch die Radar Modulation-Roadmap in Bild 13).
In Bild 12 ist das „Radarbild“ einer Raumdecke, aufgenommen mit 15 (SIMO: 1TX/15 RX) und 120 (8TX/15 RX)virtuellen Empfangskanälen, dargestellt.

Bild 12: Bildgebendes Radar mit 120 virtuellen MIMO Empfangskanälen

5. Migrationspfade und Technologie-Roadmaps

Eine Verbesserung und Leistungssteigerung bei den Automobilradaren wird sich sehr stark an der Weiterentwicklung von relevanten Kerntechnologien orientieren, die erst den Zugriff auf neue, technisch verfügbaren und marktwirtschaftlich bezahlbaren Basiskomponenten ermöglicht.
In Bild 13 ist die Evolution der verwendeten Radar-Modulationsverfahren über der Zeit dargestellt.

Bild 13: Roadmap der Radar Modulationsverfahren

Die Jahreszahlen für den Übergang zur nächsten Modulationsart dienen nur zur groben zeitlichen Orientierung und werden vom Reifegrad anderer Technologiedomänen beeinflusst und gesteuert.
Eine in dieser Hinsicht entscheidende Technologiedomäne zur Fertigung von MMICs in den verschiedenen nm-Knoten ist in Bild 14 gezeigt.

Bild 14: Roadmap der Radar MMICs (Monolithic Microwave Integrated Circuit)

Erst wenn die für den FDM bzw. OFDM/PCM notwendigen „Betriebs“-Komponenten in den jeweiligen MMIC Technologieknoten realisiert worden sind, ist ein Übergang zur nächsten Modulationsart möglich.

6. Ausblick - Neue Entwicklungsmethoden für hochauflösende Radarsysteme

Zur Bewältigung der steigenden Komplexität und der riesigen Datenmengen reichen die konventionellen Entwicklungsmethoden (z.B. nur PC-basiert) bei Weitem nicht mehr aus. Der Einsatz von entsprechenden Hardware-Beschleunigern in Form von FPGAs oder ASICBausteinen der Vorgänger-Produktgeneration, wie in Bild 15 angedeutet, wird sich bei der zu künftigen Produktentwicklung immer mehr durchsetzen.

Bild 15: Zukünftiger Entwicklungsprozess für komplexe Fahrerassistenzsysteme [21]

Damit die Entwicklungszeit nicht zu sehr von den Technologiereifezyklen abhängt, werden deren Innovationen nur bei rechtzeitiger Verfügbarkeit, wie in Bild 16 gezeigt, in die aktuellen Produkte einfließen.

Bild 16: Übernahme von Technologiesprüngen im Produktentwicklungszyklus

Danksagung:
Diese Arbeiten wurden von der EU im Verbundprojekt PROSPECT (Grant: 634149) gefördert.

Literaturverzeichnis:
[1] Auto, Motor & Sport, Heft 11/1982, Seite 62 - "Nachrichten - Das Neueste aus der Technik"
[2] David und die Goliaths, Automobil-Entwicklung, Januar 1999 url: www.neue-verpackung.de/ai/resources/09530d02ae4.pdf
[3] OICA, Def. for Levels of Automation, Informal document No. WP.29-162-20, 3/2014
[4] NHTSA Levels of Automation, U.S. DOT press release on May 30, 2013
[5] New SAE international standard J3016 on automated driving
[6] URL: www.bast.de/DE/Publikationen/Foko/Downloads/2012-11.pdf
[7] URL: www.vda.de/dam/vda/publications/2015/automatisierung.pdf
[8] Demand Side Requirements for Autonomous Vehicles, B. Müller, EPoSS 2015
[9] DESERVE EU Projekt GA. Nr. 295364 – Deliverable D22.1, Seite 12-Figur 1
[10] J. Dickmann, Development needs on radar for autonomous Driving, IEEE Radar Conference, Philadelphia, United States, 2 - 6 May 2016
[11] URL: www.valuewalk.com/2015/05/self-driving-cars-2017/
[12] URL: tech.firstpost.com/news-analysis/chinas-baidu-to-launch-self-driving-carlater-this-year-report-270195.html
[13] URL: www.digitaltrends.com/cars/apple-targeting-2019-for-electric-car-launch/
[14] URL: www.car-it.com/mehrheit-erwartet-autonome-autos-bis-2030/id-0043916
[15] URL: www.entrepreneur.com/article/253468
[16] E. Schubert, F. Meinl, M. Kunert, W. Menzel: High Resolution Automotive Radar Measurements of Vulnerable Road User – Pedestrians &Cyclists, International Conference on Microwaves for Intelligent Mobility(ICMIM), 27 bis 29 April 2015, Karlsruhe/Deutschland
[17] E. Schubert, F. Meinl, M. Kunert, W. Menzel: Clustering of High Resolution Automotive Radar Detections and Subsequent Feature Extraction for Classification of Road Users, 16th International Radar Symposium (IRS) , 24 bis 26 Juni 2015, Dresden/Deutschland
[18] F. Meinl, E. Schubert, M. Kunert, H. Blume: Realtime FPGA-based Processing Unit for a High-Resolution Automotive MIMO Radar Platform, EuMW2015 – European Microwave Week 2015, 9 bis 11 September 2015, Paris/Frankreich
[19] S. Zhaoqiang: Research on application of Keystone transform in radar, Synthetic Aperture Radar, 2009 - APSAR 2009 2nd Asian-Pacific Conference
[20] C. Schmid, R. Feger, C. Pfeffer, A. Stelzer: Motion compensation and efficient array design for TDMA FMCW MIMO radar systems, 6th European Conference on Antennas and Propagation (EUCAP), 26-30 March 2012
[21] DESERVE EU Projekt GA. Nr. 295364 – Deliverable D25.8 – The DESERVE Platform

Diese Veranstaltungen könnten Sie auch interessieren

Seminar
© Norman Chan - fotolia.com
Intelligente Sensoren in der industriellen Anwendung
  • 19.03. - 20.03.2019 in Nürnberg
  • 02.07. - 03.07.2019 in Düsseldorf
  • 12.11. - 13.11.2019 in Nürtingen bei Stuttgart

Das Seminar "Intelligente Sensoren" macht Sie damit vertraut, welche Rolle Sensorik bei der digitalen Transformation spielt. Werden Sie zum Sensorexperten im Bereich Internet of...

Informieren & Buchen

Der für Sie ausgewählte Bereich

  • Automation