L'autojoc és una tècnica per millorar el rendiment dels agents d'aprenentatge per reforç. Intuïtivament, els agents aprenen a millorar el seu rendiment jugant "contra ells mateixos".
En l'autojoc, l'agent utilitza còpies anteriors de si mateix (de la seva política) com a oponent. D'aquesta manera, l'agent jugarà contra un agent del mateix nivell (desafiant però no massa), tindrà oportunitats de millorar gradualment la seva política i després actualitzarà el seu oponent a mesura que millori. És una manera d'auto-iniciar un oponent i augmentar progressivament la complexitat de l'oponent.
És la mateixa manera que els humans aprenen en competició:
Comencem a entrenar contra un oponent de nivell similar. Després n'aprenem i, quan adquirim algunes habilitats, podem avançar més amb oponents més forts.
Definició i motivació En els experiments d'aprenentatge per reforç multiagent, els investigadors intenten optimitzar el rendiment d'un agent d'aprenentatge en una tasca determinada, en cooperació o competició amb un o més agents. Aquests agents aprenen per assaig i error, i els investigadors poden optar per fer que l'algoritme d'aprenentatge faci el paper de dos o més dels diferents agents. Quan s'executa amb èxit, aquesta tècnica té un doble avantatge:
Proporciona una manera senzilla de determinar les accions dels altres agents, la qual cosa resulta en un repte significatiu. Augmenta la quantitat d'experiència que es pot utilitzar per millorar la política, per un factor de dues o més, ja que els punts de vista de cadascun dels diferents agents es poden utilitzar per a l'aprenentatge.
Czarnecki et al. argumenten que la majoria dels jocs que la gent juga per diversió són "Jocs d'habilitat", és a dir, jocs l'espai de totes les estratègies possibles dels quals sembla una baldufa. Amb més detall, podem dividir l'espai d'estratègies en conjunts , de manera que qualsevol , l'estratègia supera l'estratègia . Aleshores, en l'autojoc basat en la població, si la població és més gran que , aleshores l'algoritme convergiria cap a la millor estratègia possible.
Ús El programa AlphaZero utilitza el joc autònom per millorar el seu rendiment en les partides d'escacs, shogi i go.
El joc propi també s'utilitza per entrenar el sistema d'IA Cicero per superar els humans en el joc de la diplomàcia. La tècnica també s'utilitza per entrenar el sistema DeepNash per jugar al joc Stratego.
Connexions amb altres disciplines El joc amb un mateix s'ha comparat amb el concepte epistemològic de tabula rasa, que descriu la manera com els humans adquireixen coneixement des d'una "tabula rasa".
Referències
Categoria:Algorismes Categoria:Aprenentatge automàtic