DiffuseBot - Amélioration de la conception des robots souples avec des modèles de diffusion générative augmentés par la physique
Concevoir des systèmes de robots souples exigé de prendre en compte des compromis dans la géométrie du système, les composants et le comportement, ce qui était difficile et chronophage.
Tsun-Hsuan Wang, Pingchuan Ma, Yilun Du, Andrew Spielberg, Joshua B. Tenenbaum, Chuang Gan et Daniela Rus, du MIT, ont rapporté leur contribution dans Generative Diffusion Models basé DiffuseBot qui a résolu ces problèmes.
DiffuseBot était un cadre qui abordait le défi de concevoir conjointement la morphologie et le contrôle du robot souple pour diverses tâches. L’objectif de DiffuseBot était de tirer parti de la puissance des modèles de diffusion pour générer des conceptions de robot optimales et d’utiliser des modèles génératifs 3D pré-entraînés. Ce cadre combinait la simulation basée sur la physique avec des processus de diffusion pour créer des conceptions de robot souple qui excellaient dans un large éventail de tâches. DiffuseBot a introduit une approche novatrice qui combinait des modèles de diffusion générative à la simulation basée sur la physique pour automatiser et accélérer le processus de co-conception. En augmentant la synthèse basée sur la diffusion avec une simulation dynamique physique, DiffuseBot a généré des morphologies de robots souples optimisées pour diverses tâches, y compris la locomotion, la manipulation et la dynamique passive. Cette approche a permis la création automatisée de conceptions de robots diverses et performantes. DiffuseBot comblait l’écart entre les conceptions diverses trouvées dans la nature et la nature répétitive de la robotique souple moderne, fournissant un cadre pour la création automatique efficace de contenu dans le domaine.
Comment ont-ils développé le DiffuseBot
La co-conception de robots souples faisait référence à l’optimisation conjointe de la forme et du contrôle des robots souples. Cela impliquait de trouver la meilleure géométrie, rigidité et emplacement des actionneurs pour le robot, ainsi que de déterminer les signaux de contrôle appropriés pour les actionneurs. L’objectif était de minimiser une fonction de perte qui tenait compte de la morphologie du robot et des paramètres de contrôle. L’optimisation de la co-conception était difficile en raison des relations complexes entre les variables du corps et du contrôle, des modifications de conception concurrentes et des compromis entre la flexibilité et l’efficacité. Ils ont d’abord cherché à tirer parti des modèles de diffusion pour rechercher des conceptions de robot optimales en générant des robots divers et en utilisant les biais structurels dans des modèles génératifs 3D pré-entraînés.
Ils ont expliqué le processus de robotisation des échantillons de diffusion obtenus à partir du modèle de diffusion Point-E. Les échantillons de diffusion étaient sous forme de nuages de points de surface et ne pouvaient pas être directement utilisés comme robots dans la simulation basée sur la physique. Ils ont proposé une méthode appelée “Optimisation d’incorporation” pour convertir les échantillons de diffusion en géométries de robots pouvant être évaluées dans la simulation. Le processus impliquait plusieurs étapes. Tout d’abord, ils ont généré des données en utilisant le modèle de diffusion et évalué les échantillons à l’aide d’une simulation basée sur la physique. Les résultats ont ensuite été agrégés et utilisés pour optimiser l’incorporation des échantillons de diffusion. Ils ont utilisé une simulation basée sur la méthode des points matériels (MPM) qui nécessitait des géométries solides en entrée. Cela a présenté deux défis : convertir des nuages de points de surface en géométries solides et gérer l’absence de structure des échantillons de diffusion à des étapes intermédiaires. Pour relever ces défis, ils ont utilisé un modèle implicite de diffusion de débruitage (DDIM) pour prédire des échantillons propres à chaque étape de diffusion. Les échantillons propres ont ensuite été utilisés pour construire des données mieux structurées pour la simulation. Les points de surface prédits ont été convertis en géométries solides en reconstruisant un maillage de surface et en échantillonnant un nuage de points solides à l’intérieur. Ils ont modifié l’approche d’optimisation de Shape As Points pour réaliser une reconstruction de surface de Poisson différenciable. Pour intégrer le processus de solidification dans les échantillonneurs de diffusion, ils ont calculé le gradient de la géométrie solide par rapport aux points de surface prédits à l’aide de noyaux gaussiens. Ce gradient contrôlait comment chaque point solide était influencé par les points de surface prédits à proximité. Ils ont également défini le placement des actionneurs et la paramétrisation de la rigidité pour le robot en fonction de la géométrie solide. Les actionneurs étaient intégrés en tant que fibres musculaires, et la rigidité était supposée constante pour la simplicité.
Ils ont proposé un modèle de diffusion augmenté par la physique (PADM) pour améliorer les performances robotiques par optimisation et co-conception. Le PADM se composait de deux étapes principales : optimisation de l’incorporation et diffusion en tant que co-conception. Dans l’étape d’optimisation de l’incorporation, de nouvelles données étaient générées activement à partir du modèle de diffusion et stockées dans un tampon. La simulation basée sur la physique a été utilisée pour évaluer les performances des données générées. Les incorporations ont ensuite été optimisées conditionnées par le modèle de diffusion et une distribution de données biaisée. Cette approche éliminait le besoin d’efforts manuels pour la création d’un ensemble de données d’entraînement et évitait le risque de détérioration de la génération globale. Cela a également économisé le coût de stockage des poids du modèle pour chaque nouvelle tâche. L’étape de diffusion en tant que co-conception a encore amélioré les performances des échantillons individuels en reformulant le processus d’échantillonnage de diffusion en une optimisation de co-conception. Cela a été réalisé en incorporant des techniques d’optimisation basées sur les gradients et un échantillonnage de la chaîne de Markov Monte Carlo (MCMC). Le temps de diffusion a été converti en une variable de conception de robot, et la variable de contrôle a été optimisée pour s’adapter à la conception. Ce processus a été effectué périodiquement au cours des étapes de diffusion. Ils ont fourni des résultats expérimentaux qui ont démontré l’amélioration de l’utilité physique en augmentant la simulation physique avec des modèles de diffusion. Les résultats ont montré une amélioration des performances dans les tâches de dynamique passive (équilibrage, atterrissage), les tâches de locomotion (ramper, sauter) et les tâches de manipulation (prise, déplacement d’une boîte).
Le DiffuseBot était-il vraiment utile ?
Ils ont mené des expériences et des analyses pour évaluer l’efficacité de la méthode proposée. Ils ont comparé leur approche, DiffuseBot, avec différentes bases et ont effectué des études d’ablation pour analyser l’impact de divers composants de la méthode.
Ils ont d’abord présenté un tableau qui montrait les résultats de l’incorporation de l’optimisation et de la diffusion comme co-conception pour améliorer l’utilité physique. Ils ont tiré 100 échantillons avec des graines aléatoires prédéfinies pour chaque entrée afin d’assurer des comparaisons valides. Les résultats ont démontré que les performances augmentaient dans toutes les tâches lors de l’utilisation des techniques proposées. Cependant, ils ont noté que les performances au niveau des échantillons n’augmentaient pas toujours de manière monotonique en raison de la stochasticité du processus de diffusion et de la faible qualité des gradients de la simulation différenciable dans certains scénarios. Ensuite, ils ont comparé DiffuseBot avec différentes bases couramment utilisées dans la co-conception de robots souples. Ils ont exécuté chaque méthode de base avec 20 initialisations aléatoires différentes et choisi la meilleure, tandis que pour DiffuseBot, ils ont tiré 20 échantillons et rapporté le meilleur. Les résultats ont montré que DiffuseBot surpassait toutes les méthodes de base. Ils ont ensuite présenté des exemples de robots souples générés par DiffuseBot dans des figures. Ces robots ont démontré la diversité et la flexibilité de DiffuseBot dans la génération de conceptions pour différentes tâches. Ils ont également montré comment les robots évoluaient des conceptions initiales à des conceptions améliorées alignées sur l’objectif de la tâche. Dans l’analyse d’ablation, ils ont mené des expériences avec la tâche de ramper pour obtenir des informations sur la méthode proposée. Ils ont comparé différentes approches pour l’optimisation de l’incorporation et ont constaté que la conception manuelle de consignes textuelles n’était pas efficace pour la conception fonctionnelle de robots. Affiner le modèle de diffusion lui-même n’a pas non plus donné de meilleures performances. Ils ont également étudié l’impact de l’application de la diffusion en tant que co-conception à différentes étapes et ont trouvé un bon moment pour commencer à l’appliquer. De plus, ils ont comparé l’optimisation de la co-conception post-diffusion à leur méthode et ont montré que leur méthode était légèrement meilleure. Ils ont souligné la flexibilité des modèles de diffusion dans l’incorporation des retours des humains. Ils ont démontré la capacité à composer différentes distributions de données, y compris les retours textuels humains, dans le cadre de la co-conception de diffusion. Enfin, ils ont fabriqué un robot physique pour la tâche de la prise pour démontrer l’applicabilité réelle de leur méthode. Ils ont utilisé une imprimante 3D en carbone pour reconstruire la conception générée et ont utilisé une transmission de tendon pour les actionneurs. Ils ont noté que la fabrication physique du robot et le transfert dans le monde réel posaient des défis et que cette expérience ne servait que de preuve de concept. Dans l’ensemble, les expériences et les analyses ont confirmé l’efficacité et la flexibilité de DiffuseBot dans la génération de conceptions de robots souples pour différentes tâches.