利用 NuMicro® M55M1 ML MCU 實現姿勢特徵點偵測 (Pose Landmark Detection) 之應用
姿勢特徵點的偵測技術是人體運動分析、姿勢矯正以及行為識別的重要工具。人體的特徵,如頭部角度、四肢動作和姿勢變化,能夠反映人的活動狀態、健康狀況和運動表現。透過最新的機器學習軟體架構以及姿勢特徵點偵測模型,這項技術可以運行在帶有神經網絡加速器(NPU)的NuMicro® M55M1微控制器上。
什麼是姿勢特徵點?
姿勢特徵點(Pose Landmarks)是指在人體圖像中識別出的關鍵部位,例如頭部、肩膀、肘部、膝蓋、手腕和腳踝等位置。這些特徵點可以描述人體的姿勢結構和運動軌跡,並進一步用於訓練分析人體動作、行為識別、體育訓練、以及健康監測的深度學習模型。
NuMicro® M55M1 機器學習微控制器
NuMicro M55M1系列是一款基於Arm® Cortex®-M55核心的高性能微控制器,晶片內建1.5 MB SRAM和2 MB Flash記憶體。產品的主要特色是搭載了Arm® Ethos-U55 NPU,這是一個專門設計用於加速神經網絡運算的運算單元,每個時鐘週期可執行256次乘法累加運算(multiply-accumulate),並硬體支援卷積神經網絡(CNN)和循環神經網絡(RNN)的運算,大幅提升MCU執行機器學習推論的效率與速度。
M55M1 MCU支援TFLite格式的神經網絡,模型由TensorFlow框架訓練,經LiteRT(原稱TensorFlow Lite)工具將神經網絡權重量化為INT8格式,並透過Vela編譯器將TFLite模型轉換為Ethos-U55的指令,以便在NPU上執行。
姿勢特徵點偵測在嵌入式系統上的應用
姿勢特徵點偵測在嵌入式系統上的應用具有廣泛的潛力,特別是在姿勢監測、跌倒偵測等領域。利用M55M1 ML MCU,這項技術可以實現低功耗且即時的姿勢識別,為用戶提供更加精確的運動分析和健康管理。
例如,在健康監測系統中,姿勢特徵點偵測可以幫助系統識別使用者的坐姿和站姿,並根據這些姿勢變化提供相應的建議。當系統偵測到使用者長時間保持不良姿勢時,會自動發出提醒,幫助用戶調整姿勢,從而減少背部或脊椎的壓力,防止長期不當姿勢引起的健康問題。這種技術還可以應用於跌倒偵測,當系統發現使用者突然跌倒或失去平衡時,即可立刻發送警報,確保及時獲得幫助。
M55M1 ML MCU結合了完整的控制器功能和NPU的加速能力,使資源有限的嵌入式系統能夠運行複雜的深度學習模型,展現出強大的實用價值。藉助姿勢特徵點偵測技術和M55M1 ML MCU,嵌入式系統能夠更智能地理解使用者狀態,進一步推動人工智慧在各種產品中的創意應用。
觀看應用展示影片:姿勢特徵點偵測