Steuerung eines autonomen Fahrzeugs durch Deep Reinforcement Learning
von: Andreas Folkers
Springer Spektrum, 2019
ISBN: 9783658288860
Sprache: Deutsch
96 Seiten, Download: 5111 KB
Format: PDF, auch als Online-Lesen
geeignet für:
| Inhaltsverzeichnis | 6 | ||
| Abbildungsverzeichnis | 8 | ||
| Tabellenverzeichnis | 10 | ||
| Kurzzusammenfassung | 11 | ||
| Abstract | 12 | ||
| 1 Einführung | 14 | ||
| 2 Grundlagen des Deep Learning | 16 | ||
| 2.1 Künstliche Neuronale Netze | 16 | ||
| 2.1.1 Definition und Approximationseigenschaft Neuronaler Netze | 17 | ||
| 2.1.2 Faltungsbasierte Netze | 19 | ||
| 2.1.3 Lokale Translationsinvarianz | 21 | ||
| 2.2 Training Neuronaler Netze | 21 | ||
| 2.2.1 Stochastische Parameteroptimierung | 22 | ||
| 2.2.2 Backpropagation | 24 | ||
| 3 Deep Reinforcement Learning | 27 | ||
| 3.1 Charakteristiken des Reinforcement Learning | 28 | ||
| 3.1.1 Annahmen an die Umwelt | 29 | ||
| 3.1.2 Beschreibung des Agenten | 30 | ||
| 3.2 Lernverfahren | 33 | ||
| 3.2.1 Actor-Critic-Methoden | 33 | ||
| 3.2.2 Verallgemeinerte Approximation der Advantage | 34 | ||
| 3.2.3 Monotone Policy Verbesserung | 36 | ||
| 3.2.4 Proximal-Policy-Optimierung | 40 | ||
| 4 Deep Controller für autonomes Fahren | 44 | ||
| 4.1 Problemstellung | 44 | ||
| 4.2 Regelungsverfahren | 46 | ||
| 4.2.1 Modellbasierte Ansätze | 46 | ||
| 4.2.2 Deep Controller | 47 | ||
| 4.3 Umsetzung | 48 | ||
| 4.3.1 Die Fahrzeugbewegung als Einspurmodell | 48 | ||
| 4.3.2 Simulierte Regelung auf einem Parkplatz | 50 | ||
| 4.3.3 Definition des Agenten | 52 | ||
| 4.3.4 Definition der Belohnungsfunktion | 54 | ||
| 5 Training und Auswertung | 58 | ||
| 5.1 Auswertung des Trainings | 58 | ||
| 5.1.1 Verlauf des Trainings für verschiedene Probleme | 59 | ||
| 5.1.2 Variation von Hyperparametern des Lernverfahrens | 61 | ||
| 5.2 Evaluierung in der Simulation | 62 | ||
| 5.2.1 Numerische Stabilitätsanalyse der Koordinaten | 64 | ||
| 5.2.2 Numerische Stabilitätsanalyse der Wahrnehmungskarte | 66 | ||
| 5.2.3 Aufmerksamkeit in der Wahrnehmungskarte | 68 | ||
| 5.2.4 Leistungsfähigkeit von trainierten Agenten | 69 | ||
| 5.3 Evaluierung mit einem Testfahrzeug | 72 | ||
| 5.3.1 Der Deep Controller im Projekt AO-Car | 73 | ||
| 5.3.2 Der Versuchsparkplatz | 74 | ||
| 5.3.3 Analyse der Umsetzung | 75 | ||
| 6 Resümee | 81 | ||
| 6.1 Zusammenfassung | 81 | ||
| 6.2 Diskussion | 83 | ||
| Literaturverzeichnis | 86 | ||
| A Verwendete Hyperparameter | 95 |