L‘intelligence artificielle (IA) AlphaGo de Google DeepMind, qui avait déjà battu l’humain au jeu de go, est devenue encore plus intelligente. Le dernier système de l’entreprise a non seulement battu toutes les précédentes versions du logiciel, mais il l’a fait tout seul.
Selon Demis Hassabis, PDG et cofondateur de DeepMind :
La chose la plus frappante pour moi est que nous n’avons plus besoin de données humaines.
Alors que la première version d’AlphaGo devait être formée à partir des données de plus de 100 000 parties humaines, l’AlphaGo Zero peut apprendre à jouer à partir d’une feuille blanche. DeepMind a non seulement éliminé le besoin initial d’entrée de données humaines, mais Zero est également capable d’apprendre plus vite que son prédécesseur.
David Silver, le principal programmeur du projet Go de DeepMind, affirme que l’AlphaGo qui avait battu le champion du monde (18 fois) Lee Sedol 4-1 a demandé plusieurs mois d’entraînement.
Nous avons atteint un niveau de performance supérieur après seulement 72 heures d’entraînement avec l’AlphaGo Zero.
Seulement 4,9 millions de jeux simulés ont été nécessaires pour former Zero, par rapport aux 30 millions d’origine de l’AlphaGo. Après trois jours d’apprentissage, Zero a réussi à vaincre la version de Lee Sedol 100-0. Après avoir joué pendant 40 jours, Zero a battu la version la plus puissante d’AlphaGo de DeepMind, appelée Master, qui a battu le maître chinois Ke Jie en mai.
Pour Satinder Singh, directeur du laboratoire IA de l’université du Michigan :
Zero surpasse massivement l’AlphaGo déjà surhumain et pourrait être l’une des plus grandes avancées de l’IA jusqu’à maintenant.
Quand AlphaGo Zero a commencé à jouer contre lui-même, il ne lui a été présenté qu’un ensemble de règles, un plateau et les pions blancs et noirs. Il ne savait pas quelles stratégies, mouvements ou tactiques seraient nécessaires pour gagner. « Les seules ressources nécessaires sont les pierres noires et blanches du plateau », selon Silver, ajoutant qu’il croit que l’entreprise pourrait créer un système capable d’apprendre les règles du jeu.
Un goban traditionnel, plateau du jeu de go, avec des pierres noires et blanches. (Wikipédia)
Dès le début, à partir du moment où Zero a reçu les règles, le système a joué des parties contre lui-même. Pendant ce temps, il apprend les mouvements qu’il peut faire et qui le conduiront à une victoire. Pour que DeepMind améliore son système déjà couronné de succès et parvienne à ce résultat, il a dû reconcevoir les algorithmes utilisés dans l’IA.
Le processus global utilise un algorithme d’apprentissage par renforcement combiné avec un système de recherche. Dans sa forme la plus simple, cela signifie que Zero apprend par des essais et des erreurs et peut utiliser son système de recherche pour évaluer chaque mouvement potentiel.
Lorsque Zero a joué un match contre lui-même, il a reçu des rétroactions du système. Un +1 est donné s’il gagne et un -1 s’il perd. Après chaque partie, le réseau neuronal du Zero se reconfigure automatiquement en une nouvelle version, théoriquement meilleure. En moyenne, le système a pris 0,4 seconde de réflexion avant de faire un mouvement.
Le nouveau système utilise un seul réseau neuronal au lieu des deux et quatre des processeurs AI de Google par rapport aux 48 nécessaires pour battre Lee. Au cours du développement de Zero, Hassabis affirme que le système a été formé sur du matériel qui a coûté près de 35 millions de dollars à l’entreprise. Le matériel est également utilisé pour d’autres projets DeepMind.
Dans le développement de Zero, DeepMind a été capable de faire plus avec moins. Dans ses tests internes, la firme affirme que Zero a pu battre toutes ses précédentes versions : AlphaGo Master, AlphaGo Lee, AlphaGo Fan, Crazy Stone, Pachi et GruGo. Silver ajoute que Zero n’a pas atteint son niveau possible de connaissance maximal, mais uniquement parce que l’équipe a cessé de travailler sur le projet.
L’étude conclut :
Il est possible de l’entraîner à un niveau surhumain, sans exemples ni conseils humains, sans connaissance du domaine au-delà des règles de base.
Le système a appris les mouvements et les tactiques humaines communes et les a complétés avec ses propres et ses plus efficaces mouvements.
Comme pour la victoire de Deep Blue contre le grand maître des échecs Gary Kasparaov en 1996, le succès continu de DeepMind au jeu de Go a des implications plus larges.
Mais aussi avancé soit Zero, il ne peut être appliqué à n’importe qu’elle problème et le résoudre.
Selon M. Singh :
Pris ensemble, les résultats suggèrent que les IA fondées sur l’apprentissage par renforcement peuvent être bien meilleures que celles qui reposent sur l’expertise humaine. Le système, par exemple, ne pouvait pas être utilisé pour traduire des langues.
Pour Hassabis et ses collègues, le défi permanent consiste à appliquer ce qui a été appris dans le cadre du projet AlphaGo à d’autres problèmes d’intelligence artificielle avec des applications dans le monde réel.
Nous avons essayé de concevoir l’algorithme pour qu’il puisse jouer, en principe, à d’autres jeux appartenant à une classe similaire (incluant les échecs) et plus généralement aux domaines de planification.
Cela inclut le repliement des protéines, la découverte de médicaments, la conception de matériaux et la chimie quantique. Une partie de la résolution de ces problèmes réside dans la capacité à créer des simulations de résultats potentiels. Le jeu de Go est contraint à un environnement fixe et strict : il n’y a pas de hasard ou de chance qui affecte le résultat. D’appliquer cette approche à des scénarios réels où il y a un niveau d’imprévisibilité, est beaucoup plus difficile.
