Bezahlbare Edge-AI-Lösungen mit einem Computer-Vision Launchpad für STM32-Mikrocontroller

Das STM32Cube Function Pack FP-AI-VISION1 umfasst mehrere Codebeispiele zur Demonstration kompletter Computer-Vision-Anwendungen mit einem Convolutional Neural Network (CNN) auf einem STM32H747, die sich problemlos auf alle anderen STM32-MCUs portieren lassen. Die Firmware schlägt mehrere Anwendungsbeispiele vor, ermöglicht den Entwicklern dabei aber das erneute Training der neuronalen Netze mit selbst gewählten Datensätzen, was die Möglichkeit zur flexiblen Realisierung unterschiedlichster Anwendungsfälle bietet. Zu den neuen Features gehören die Unterstützung für USB VC Camera (Webcam-Modus) zur unkomplizierten Bilderfassung sowie Codebeispiele für die Nahrungsmittel-Klassifizierung und die Präsenzerkennung von Menschen, zur Einrichtung eines visuellen „Aktivierungsworts“, um das System aus dem Stromspar-Modus herauszuholen. In einem Artikel in der STM32-Wiki wird gezeigt, wie das Online-Tool „Teachable Machine“ zusammen mit STM32Cube.AI und dem FP-AI-VISION1 Function Pack genutzt werden kann, um eine Bildklassifizierungs-Anwendung zu realisieren. Das Kamera-Bundle B-CAMS-OMV ist für die Verwendung mit dem FP-AI-VISION1 optimiert und bringt die für das Training und das Deployment erforderliche Hardware mit. Das Bundle enthält das MB1379 Daughterboard auf Basis des 5-Megapixel-Farbkameramoduls OV5640, das zu sämtlichen STM32 Discovery und Evaluation Boards mit ZIF-Steckverbinder kompatibel ist. Die Adapterkarte kann ebenfalls mit der für Automotive-Anwendungen vorgesehenen Grauskalen-Global-Shutter-Kamera VG5661 von ST verwendet werden. Mit Waveshare- und OpenMV-Steckverbindern können Anwender außerdem verschiedene, im Infrarotbereich und sichtbaren Spektrum arbeitende Kameras von Drittanbietern anschließen, um ein noch breiteres Spektrum von Computer-Vision-Anwendungen abzudecken. Ein weiterer ST-Wiki-Artikel beschreibt die Integration von Code, der mit STM32Cube.AI im OpenMV-System generiert wurde. Zum Funktionsumfang von FP-AI-VISION1 gehören verschiedene Framebuffer-Verarbeitungsfunktionen, Kameratreiber und Software für die Bilderfassung, die Vorverarbeitung und die Neural-Network-Inferenz. Es stehen unterschiedliche Neural-Network-Modelle zur Auswahl, darunter ein gleitkommabasiertes Modell und ein quantisiertes Modell. Letzteres wurde von X-CUBE-AI generiert, dem optimierten C-Code-Generator von ST für künstliche neuronale Netze. Dank der Unterstützung für flexible Speicherkonfigurationen ist eine Feinabstimmung des Modells auf die jeweilige Anwendung möglich.