Eine K.I. lernt Auto fahren in GTA V

Siehe Titel…, aber seht selbst…

https://www.twitch.tv/sentdex

Tausende Crashs, Verfolgungsjagden mit der Polizei…, das ist die Zukunft… :smiley:

Mfg.

7 „Gefällt mir“

Seit wann läuft der Stream?

  1. Mai
    "Charles says: Hello World!

This stream will be an ongoing display of Charles’ progress as an artificially “intelligent” driver. At the moment, he’s a convolutional neural network that works based purely on pixel data and nothing else. What’s more, he only makes decisions based on the latest frame without any memory. I plan to improve upon this in time, but this is how he is for now.

Sometimes, Charles winds up in situations that need outside help. For now, I will run Charles during the day between ~9am-9pm CT while I can supervise. Eventually, I will get around to writing something that will just reset the game when something is wrong, such as when we take unplanned exits from land into the ocean."

kann mir mal einer erklären, warum bei KIs, die videospiele “üben”, offenbar mitunter oder oft oder gar per se bislang nicht möglich ist, denen sowas wie eine erinnerungs-funktion einzuprogrammieren? ich lese hier schon wieder, dass es offenbar nur die daten des letzten frames beachtet. warum? das programm läuft doch auf irgendeinem computer. der computer wird ja wohl mehr daten als nur die von einem frame speichern können. wieso ist es so schwer/unmöglich, eben diese daten zu speichern und/oder vom programm berücksichtigen zu lassen?

Hahaha ist das Geil! In den letzten 5 Minuten hat die KI eine Karre im Wasser versenkt und sich ein kräftemessen mit einem Truck geliefert. Danke für den Link!

ich frag mich, was in der ki vor geht… als wäre sie unglaublich besoffen…

Ich glaube, dir fehlt etwas das Verständnis, wie dieses maschinelle Lernen funktioniert. Sogenannte künstliche neuronale Netzwerke bilden gewissermaßen das Gehirn nach. Mit dem Input, den der Algorithmus aus dem Spiel erhält, bilden sich Übergänge zwischen Neuronen, die je nach weiterem Feedback verstärkt oder abgeschwächt werden (= Anpassung von Zahlenwerten). Die Erinnerung ist in dem neuronalen Netz gespeichert, aber nicht so regelhaft wie „wenn ich das auf dem Bildschirm sehe muss ich bremsen“, sondern wesentlich komplexer.

Was damit gemeint war, dass nur die letzten Frames beachtet werden, ist dass beim Anpassen der Übergänge und Gewichtungen nicht jedesmal alle Daten aus dem kompletten bisherigen Spielverlauf herangezogen werden, sondern dass das ganze schrittweise geschieht. So wie man im richtigen Leben auch neuen Input in Beziehung zu bereits vorhandenen Erfahrungen setzt und dadurch seine Vorstellung von etwas anpasst, ohne dass man jedesmal bewusst wieder alle früheren Erfahrungen durchgeht.

Hoffe das war einigermaßen verständlich dargestellt mit meinem Halbwissen. :wink:

4 „Gefällt mir“

inwiefern hat das jetzt gezeigt, dass meine frage auf mangelndem grundwissen beruht? es wird extra vermerkt, dass momentan lediglich das letzte frame beachtet wird. das würde man nicht anmerken, wenn es nicht auch anders ginge. es heißt ja auch, dass man sich um ein kurzzeitgedächtnis bemüht…

KI lernt Autofahren?

ist es so weit…?

3 „Gefällt mir“

Alter @Esteba hat es doch perfekt erklärt.

seine erklärung beinhaltet nicht, dass man nur das letzte frame beachten kann. was aber der kern meiner frage war.

Ah nee, da hab ich dann falsch gelesen, sorry. Ich glaube, “he only makes decisions based on the latest frame without any memory” bedeutet, dass bei der Entscheidungsfindung als Entscheidungsgrundlage nur der letzte Frame genommen wird. Man könnte auch die letzten paar Frames nehmen, was die KI vermutlich verbessern würde, weil sie so die eigene Geschwindigkeit und die Bewegung von anderen Objekten miteinbeziehen würde. Das meintest du, oder?

In dem Fall ist das Problem nicht das Speichern der Daten, sondern dass das mehr an Daten die Berechnungen eben exponentiell aufwändiger macht und es schwierig sein dürfte, das in Echtzeit auszuführen, sodass man noch eine venünftige Framerate hinbekommt. Ist aber nur meine Vermutung.

3 „Gefällt mir“

ja, das meinte ich. ich hatte allerdings schon einmal über eine andere ki, die ein videospiel lernen sollte, sowas ähnliches gehört… die war offenbar auf ganz merkwürdige art beschränkt, musste in nem 2d-jump n run per trial and error versuchen, was hinzubekommen, es war ihr aber nicht möglich, zu lernen, dass ein bestimmtes objekt, dass sich zufällig verhält, sie sofort killt. die war so begrenzt, dass sie diese beobachtung gar nicht hätte machen können, weil sie glaube ich von vorneherein so gemacht war, dass sie sich nur einen einzigen weg durchs level aneignet, ohne sonstwie ahnung zu haben, was im level so abgeht etc., weil sie nur oder fast nur das erreichen des levelendes als bewertungsmaßstab ihrer handlungen hatte.
das hier hat mich daran erinnert, weil es da auch hieß, man müsste der ki dafür ein gedächtnis geben, was aber angeblich irgendwie nicht möglich wäre. hat für mich überhaupt keinen sinn ergeben, wie gesagt kann ja jeder pc daten speichern und jedes programm kann so programmiert werden, dass es diese daten irgendwie beachtet.
naja…
aber deine erklärung mit den zu hohen berechnungsmengen in kurzer zeit macht wohl sinn in diesem fall.

Vielleicht ist es einfach eine Aufwandsfrage. Es programmiert sich nunmal nicht von alleine :wink:

1 „Gefällt mir“

so hab ich auch fahren gelernt :kappa:

In Python! Mein Held <3 Ich verfolge den Stream auch schon länger und dann es ist herrlich was man alles so anstellen kann :smile:

Hier mal ein klasse Video, in dem ein wenig erklärt wird, wie ML am Beispiel Super Mario funktioniert.

6 „Gefällt mir“

Das Problem ist echt weniger der Programmieraufwand als die Entwicklung des mathematischen Modells, was diese ganzen Faktoren mit einbezieht, ohne dass es einfach nur die bisher gesehenen Sequenzen auswendig lernt und dann auch nur genau diese Sequenz bewältigen kann (nennt sich Overfitting).

Für die Generierung von solchen neuronalen Netzen gibt es schon unzählige Tools und Frameworks, aber es reicht eben nicht, einfach nur einen Haufen Daten reinzuwerfen und der Rest geht von selbst. Man muss da oft ziemlich viel rumprobieren bis man gute Ergebnisse bekommt.

2 „Gefällt mir“

Diese inputbefehle links oben. :smiley:
„WE’RE PROBABLY STUCK FFS. Initiating some evasive maneuvers“

Genau, Esteba hat es super erklärt!
Es geht viel mehr darum, dass “die KI” selbstständig die entstehenden Probleme erkennt und löst, anstatt einfach bloß schon bekannte auswendigzulernen und wiederzugeben.