L'apprentissage par renforcement (RL) a montré des performances prometteuses dans des environnements à la fois pour le contrôle robotique et la prise de décision stratégique. Cependant, ils sont généralement traités comme des problèmes distincts avec des objectifs différents. Dans ce travail, nous proposons l'utilisation de l'apprentissage par renforcement pour résoudre à la fois des problèmes de contrôle et des problèmes stratégiques, dans un environnement de football robotique multi-agents. Nous utilisons le défi IEEE Very Small Size Soccer (VSSS) de la Latin American Robotics Competition (LARC) comme cas d'étude. Dans le VSSS, deux équipes autonomes de robots à roues s'affrontent en poussant le ballon pour marquer des buts. Pour unifier à la fois les problèmes de contrôle et de stratégie, notre approche donne un contrôle total de la vitesse des actionneurs à l'algorithme RL tout en gardant l'objectif plus large de gagner la partie. Notre méthode permet d'atteindre des taux de réussite allant jusqu'à 93 % par rapport aux stratégies heuristiques codées à la main. Dans ce travail, nous contribuons en développant un agent RL qui peut apprendre de l'auto-play et généraliser contre de nouveaux adversaires. Notre méthodologie utilise l'apprentissage par renforcement multi-agents avec l'auto-jeu afin de développer les connaissances pour des tâches complexes. Nous avons également développé un environnement simulé pour le jeu de football robotisé.

El aprendizaje por refuerzo (RL) ha demostrado un rendimiento prometedor en entornos tanto para el control robótico como para la toma de decisiones estratégicas. Sin embargo, generalmente se tratan como problemas separados con diferentes objetivos. En este trabajo, proponemos el uso de Reinforcement Learning para resolver problemas de control y estratégicos como uno solo, en un entorno de fútbol robótico multiagente. Utilizamos el desafío IEEE Very Small Size Soccer (VSSS) de la Competencia Latinoamericana de Robótica (LARC) como caso de estudio. En el VSSS, dos equipos autónomos de robots con ruedas compiten empujando la pelota para marcar goles. Para unificar los problemas de control y estrategia, nuestro enfoque otorga un control total de la velocidad de los actuadores al algoritmo RL, al tiempo que mantiene el objetivo más amplio de ganar el juego. Nuestro método logra tasas de ganancia de hasta el 93% en comparación con las estrategias heurísticas codificadas a mano. En este trabajo contribuimos desarrollando un agente de RL que puede aprender del auto juego y generalizar contra nuevos oponentes. Nuestra metodología utiliza el aprendizaje de refuerzo multiagente con autojuego para desarrollar el conocimiento para tareas complejas. También desarrollamos un entorno simulado para el juego de fútbol robótico.

Reinforcement Learning (RL) has shown promising performance in environments for both robotic control and strategic decision making. However, they are usually treated as separate problems with different objectives. In this work, we propose the use of Reinforcement Learning to solve both control and strategic problems as one, in a multi-agent robotic soccer environment. We use the IEEE Very Small Size Soccer (VSSS) challenge from the Latin American Robotics Competition (LARC) as a study case. In the VSSS, two autonomous teams of wheeled robots compete by pushing the ball around to score goals. To unify both control and strategy problems, our approach gives full control of the actuators' speed to the RL algorithm whilst keeping the broader objective of winning the game. Our method achieves win rates as high as 93% against hand-coded heuristic strategies. In this work we contribute by developing an RL agent that can learn from self-play and generalize against new opponents. Our methodology uses multi-agent Reinforcement Learning with self-play in order to build up the knowledge for complex tasks. We also developed a simulated environment for the robotic soccer game.

أظهر التعلم المعزز (RL) أداءً واعدًا في البيئات لكل من التحكم الآلي وصنع القرار الاستراتيجي. ومع ذلك، عادة ما يتم التعامل معها على أنها مشاكل منفصلة ذات أهداف مختلفة. في هذا العمل، نقترح استخدام التعلم المعزز لحل كل من مشاكل التحكم والمشاكل الاستراتيجية كواحد، في بيئة كرة قدم روبوتية متعددة الوكلاء. نستخدم تحدي كرة القدم صغيرة الحجم (VSSS) من مسابقة أمريكا اللاتينية للروبوتات (LARC) كحالة دراسة. في VSSS، يتنافس فريقان مستقلان من الروبوتات ذات العجلات من خلال دفع الكرة لتسجيل الأهداف. لتوحيد كل من مشاكل التحكم والاستراتيجية، يمنح نهجنا التحكم الكامل في سرعة المشغلات لخوارزمية RL مع الحفاظ على الهدف الأوسع المتمثل في الفوز باللعبة. تحقق طريقتنا معدلات فوز تصل إلى 93 ٪ مقابل استراتيجيات إرشادية مشفرة يدويًا. في هذا العمل، نساهم من خلال تطوير وكيل RL الذي يمكنه التعلم من اللعب الذاتي والتعميم ضد المعارضين الجدد. تستخدم منهجيتنا التعلم المعزز متعدد العوامل مع اللعب الذاتي من أجل بناء المعرفة للمهام المعقدة. كما طورنا بيئة محاكاة للعبة كرة القدم الروبوتية.