利用 NuMicro® M55M1 ML MCU 實現臉部特徵點偵測 (Facial Landmark Detection) 之應用

臉部特徵點的偵測技術是情緒識別和表情分析的重要工具。臉部的特徵，如眼睛、嘴巴和眉毛的動作，可以反映人類的情緒狀態和疲勞程度。透過最新的機器學習軟體架構以及臉部特徵點偵測模型，這項技術可以運行在帶有神經網絡加速器（NPU）的 NuMicro^® M55M1 微控制器上。

什麼是臉部特徵點?

臉部特徵點（Facial Landmarks）是指在臉部圖像中識別出的關鍵特徵，例如眉毛、眼睛、鼻子、嘴巴等部位。這些特徵點可以描述臉部的幾何形狀和特徵位置，並進一步用於訓練判斷表情、情緒、疲勞程度、專注度的深度學習模型。

NuMicro^® M55M1 機器學習微控制器

NuMicro M55M1 系列是一款基於 Arm^® Cortex^®-M55 核心的高性能微控制器，晶片內建 1.5 MB SRAM 和 2 MB Flash 記憶體。產品的主要特色是搭載了 Arm^® Ethos™-U55 NPU，這是一個專門設計用於加速神經網絡運算的運算單元，每個時鐘週期可執行 256 次乘法累加運算（multiply-accumulate），並硬體支援卷積神經網絡（CNN）和循環神經網絡（RNN）的運算，大幅提升 MCU 執行機器學習推論的效率與速度。

M55M1 MCU 支援 TFLite 格式的神經網絡，模型由 TensorFlow 框架訓練，經 LiteRT（原稱 TensorFlow Lite）工具將神經網絡權重量化為 INT8 格式，並透過 Vela 編譯器將 TFLite 模型轉換為 Ethos-U55 的指令，以便在 NPU 上執行。

臉部特徵點偵測在嵌入式系統上的應用

臉部特徵點偵測在嵌入式系統上的應用具有廣泛的潛力，特別是在互動式玩具、智能家庭、疲勞監測系統等產品中。利用 M55M1 ML MCU，這項技術可以實現低功耗且即時的情緒識別和表情分析，為用戶提供更加個性化的體驗。

例如，在互動式玩具中，臉部特徵點偵測可以使玩具識別孩子的情緒狀態，並根據這些情緒作出相應的反應。當玩具察覺到孩子的快樂時，可以播放愉快的音樂或進行互動，而當偵測到悲傷或沮喪時，則可以提供安慰的語言或故事，增強孩子的情感交流和學習體驗。在電視或電腦螢幕上，該技術可以用於疲勞監測，通過分析使用者的面部表情來提醒他們休息。

M55M1 ML MCU 結合了完整的控制器功能和 NPU 的加速能力，使資源有限的嵌入式系統能夠運行複雜的深度學習模型，展現出強大的實用價值。藉助臉部特徵點偵測技術和 M55M1 ML MCU，嵌入式系統能夠更智能地理解使用者狀態，進一步推動人工智慧在各種產品中的創意應用。

觀看應用展示影片：臉部特徵點偵測

Facial Landmark Detection-W600