Module de vision robotique multimodal intégré

STMicroelectronics, en collaboration avec Leopard Imaging, introduit un module de vision multimodal tout-en-un destiné aux systèmes robotiques humanoïdes et aux plateformes robotiques avancées. Cette solution associe imagerie 2D, perception de profondeur 3D et détection de mouvement, afin de reproduire une perception proche de celle de l’humain.
Le module combine plusieurs technologies de capteurs intégrées, dont un capteur d’image RGB-IR de 5,1 mégapixels avec modes global shutter et rolling shutter, une unité de mesure inertielle 6 axes intégrant des fonctions d’intelligence embarquée, ainsi qu’un module LiDAR dToF assurant une cartographie 3D précise jusqu’à 9 mètres avec une résolution de près de 2 300 zones. 
L’ensemble est conçu pour une intégration native avec les plateformes NVIDIA Jetson et l’environnement de développement robotique NVIDIA Isaac, grâce à la technologie Holoscan Sensor Bridge qui assure une connectivité multi-gigabit plug-and-play et une acquisition de données en temps réel. 
Cette architecture permet de simplifier la conception des systèmes de vision robotique en offrant un accès direct aux capteurs, aux données et aux outils logiciels nécessaires à l’apprentissage et à la simulation. Elle réduit ainsi l’écart entre simulation et déploiement réel, tout en respectant les contraintes de taille, de poids et de consommation énergétique des robots.
Ce module vise des applications variées, notamment la robotique industrielle, la logistique, les entrepôts ou encore les environnements de service, où une perception fiable et précise est essentielle pour l’interaction avec l’environnement et les utilisateurs.