L'apprentissage par renforcement profond (RL) s'appuie souvent sur des simulateurs comme oracles abstraits pour modéliser les interactions au sein d'environnements complexes. Bien que des simulateurs différentiables aient récemment émergé pour les systèmes robotiques multi-corps, ils restent sous-utilisés, malgré leur potentiel à fournir des informations plus riches. Cette sous-utilisation, conjuguée au coût de calcul élevé de l'exploration-exploitation dans des espaces d'état de grande dimension, limite l'application pratique de l'RL en situation réelle. Nous proposons une méthode intégrant l'apprentissage à des simulateurs différentiables afin d'améliorer l'efficacité de l'exploration-exploitation. Notre approche apprend des fonctions de valeur, des trajectoires d'état et des politiques de contrôle à partir d'exécutions localement optimales d'un optimiseur de trajectoire basé sur un modèle. La fonction de valeur apprise agit comme un proxy pour raccourcir l'horizon de prévisualisation, tandis que les politiques d'état et de contrôle approximatives guident l'optimisation de la trajectoire. Nous comparons notre algorithme à trois problèmes de contrôle classiques et à un bras manipulateur robotique à 7 degrés de liberté contrôlé par couple, démontrant une convergence plus rapide et une relation symbiotique plus efficace entre apprentissage et simulation pour l'apprentissage complet de systèmes complexes et polyarticulés.

Deep reinforcement learning (RL) often relies on simulators as abstract oracles to model interactions within complex environments. While differentiable simulators have recently emerged for multi-body robotic systems, they remain underutilized, despite their potential to provide richer information. This underutilization, coupled with the high computational cost of exploration-exploitation in high-dimensional state spaces, limits the practical application of RL in the real-world. We propose a method that integrates learning with differentiable simulators to enhance the efficiency of exploration-exploitation. Our approach learns value functions, state trajectories, and control policies from locally optimal runs of a model-based trajectory optimizer. The learned value function acts as a proxy to shorten the preview horizon, while approximated state and control policies guide the trajectory optimization. We benchmark our algorithm on three classical control problems and a torque-controlled 7 degree-of-freedom robot manipulator arm, demonstrating faster convergence and a more efficient symbiotic relationship between learning and simulation for end-to-end training of complex, poly-articulated systems.