STMicroelectronics und Leopard Imaging stellen Multi-Sensor-Modul für humanoide Robotik vor
Der europäische Halbleiterhersteller STMicroelectronics und das US-Unternehmen Leopard Imaging haben ein Multi-Sensor-Modul für humanoide Robotik vorgestellt. Das geht aus einer Pressemitteilung der Unternehmen vom 16. März 2026 hervor. Die Lösung kombiniert 2D-Bildgebung, 3D-Tiefensensorik und Bewegungserkennung in einer einzigen Einheit und ist auf die Anbindung an das NVIDIA-Robotik-Ökosystem ausgelegt. Damit wollen die Partner die Entwicklung von Vision-Systemen für fortschrittliche Robotersysteme schneller voranbringen.
Modul bündelt Bildsensor, IMU und dToF-LiDAR in einem System
Kern des neuen Moduls ist die Verbindung mehrerer Sensortypen in einem kompakten Aufbau. Für die bildbasierte Erfassung kommt der VB1940 von ST zum Einsatz, ein Automotive-Grade RGB-IR-Bildsensor mit 5,1 Megapixeln, der Rolling-Shutter- und Global-Shutter-Modus kombiniert. Mit dem V943 hat ST außerdem eine Variante für Massenmarkt und Industrie im Programm. Sie ist Teil der BrightSense-Familie und steht sowohl in Monochrom als auch in RGB-IR zur Verfügung – jeweils als Die oder als verpackter Sensor.
Für die Bewegungserfassung nutzt das Modul die 6-Achsen-Inertialmesseinheit LSM6DSV16X. Sie integriert den ST Machine-Learning-Core für KI am Edge, stromsparende Sensor-Fusion und Qvar-Elektrostatsensorik für die Erkennung von Benutzeroberflächen.
Die 3D-Tiefenerfassung leistet das dToF-LiDAR-Modul VL53L9CX aus der FlightSense-Familie. Dieses erreicht laut ST präzise Distanzmessungen bis 9 Meter, arbeitet mit 54 x 42 Zonen und bietet ein Sichtfeld von 55° x 42° bei 1° Winkelauflösung. Auf dieser Basis sind Messungen im Nah- und Fernbereich möglich, ebenso wie die Erkennung kleiner Objekte mit bis zu 100 fps.
Marco Angelici, Vice President Marketing und Anwendung für Analog Power MEMS und Sensoren bei STMicroelectronics, sagte: „Die humanoide Robotik entwickelt sich von Forschungsprojekten und Demonstrationen hin zu leistungsstarken neuen Maschinen für eine Vielzahl von Einsatzbereichen in der Fertigung und Automobilindustrie, Logistik und Lagerhaltung sowie im Einzelhandel und Kundenservice. Unsere Zusammenarbeit mit Leopard Imaging bringt marktführende ST-Sensoren und Aktuatoren, nahtlos integriert in das NVIDIA-Robotik-Ökosystem, um die Einführung physischer KI-Anwendungen mit menschenähnlichem Bewusstsein zu beschleunigen.“
Holoscan Sensor Bridge verbindet das Modul direkt mit Jetson und Isaac
Die Datenanbindung erfolgt über Ethernet mithilfe der NVIDIA Holoscan Sensor Bridge. Das Modul ist damit für die Echtzeit-Erfassung von Sensordaten auf NVIDIA Jetson ausgelegt und zugleich in die NVIDIA Isaac Open-Roboter-Entwicklungsplattform eingebunden. Laut Mitteilung umfasst das Paket unter anderem ein Build-System und Programmierschnittstellen. Hinzu kommen KI-Algorithmen für mobile Roboter, Beispielanwendungen, Domänenrandomisierung und eine Simulationsumgebung mit Sensormodellen.
Bill Pu, CEO von Leopard Imaging, erklärte: „Der direkte Zugriff auf ST-Sensoren und Aktuatoren innerhalb des Ökosystems hat es uns ermöglicht, die Datenerfassung und -protokollierung für humanoide Roboter-Vision über die HSB-Schnittstelle zu standardisieren und zu optimieren. Roboterbauer können unser Multi-Sensing-Vision-Modul mit Isaac-Tools nutzen, um das Lernen zu beschleunigen und die ‚Sim-to-Real‘-Lücke schnell zu überbrücken.“