Training Ms. Pac-Man

(2013)

In 2013 schreven Marco Wiering, Ruud Henken en ik een wetenschappelijk paper getiteld “Reinforcement Learning to Train Ms. Pac-Man Using Higher-order Action-relative Inputs”.

Het paper borduurt voort op mijn scriptie voor de studie Kunstmatige Intelligentie en werd gepubliceerd bij de conference proceedings van IEEE International Symposium on Adaptive Dynamic Programming and Reinforcement Learning (ADPRL).

In het paper wordt het gebruik van reinforcement learning, een zelflerend systeem, bij het spel Ms. Pac-Man bestudeerd. Daartoe hebben we het oorspronkelijk spel nagebouwd en een zelflerend neuraal netwerk opgezet.

Aanpak

Onze aanpak verschilde op twee punten van wat destijds gebruikelijk was.

Enerzijds relateerden we de inputs van het neurale netwerk aan acties, in plaats van een absolute weergave van de gehele omgeving. Dit zorgt voor een systeem dat zijn kennis goed kan toepassen op niet eerder gespeelde levels.

Anderzijds reduceerden we de outputs tot een enkele waarde, in plaats van een waarde voor elke actie. Dit zorgt voor een systeem dat snel leert.

Het uiteindelijke systeem wist in een experiment 86.6% van de trainingslevels te halen. Van niet eerder gespeelde levels werd 74.4% gehaald.

Het paper werd volgens Google Scholar 48 keer geciteerd en werd op Research Gate 4000 keer gelezen.

Java

Downloads

Demo

Beschikbaar op