データの接続性とインタラクション
Nuvotonの技術は、スマートトイやボードゲームをデータに接続してよりインタラクティブなものにし、ゲームをより魅力的にします。例えば、NFC(近距離無線通信)技術を活用することで、プレイヤーはゲームの駒を簡単に操作し、様々なゲームイベントやエフェクトを発生させることが可能です。
顔ランドマーク検出アプリケーションに NuMicro® M55M1 ML MCU を活用
顔のランドマーク検出技術は、感情認識や表情分析の基礎となる。目、口、眉の動きなどの顔の特徴は、人間の感情状態や疲労度を反映することができる。最新の機械学習ソフトウェア・スタックと顔のランドマーク検出モデルにより、この技術はニューラル・プロセッシング・ユニット（NPU）を搭載した NuMicro® M55M1 マイクロコントローラで実行できる。
顔のランドマークとは？
顔のランドマークとは、眉、目、鼻、口など、顔画像で識別される主要な特徴を指す。これらのランドマークは、顔の幾何学的形状や特徴の位置を記述することができ、さらに表情、感情、疲労度、集中力を判断するディープラーニングモデルの学習に使用することができる。
NuMicro® M55M1 ML MCU
NuMicro M55M1 シリーズは、Arm® Cortex® -M55 コアをベースにした高性能マイクロコントローラで、1.5 MB の SRAM と 2 MB のフラッシュメモリを搭載しています。この製品の主な特徴は、ニューラルネットワークの計算を高速化するために特別に設計された Arm® Ethos™-U55 NPU を統合していることです。この NPU は、1 クロック・サイクルあたり 256 回の積和演算を実行でき、畳み込みニューラルネットワーク (CNN) やリカレント・ニューラル・ネットワーク (RNN) で必要とされる演算をハードウェアでサポートするため、MCU が実行する機械学習推論の効率と速度が大幅に向上します。
M55M1 MCU は、TensorFlow フレームワークを使用して学習される TFLite 形式のニューラルネットワークをサポートしています。ニューラルネットワークの重みは、LiteRT ツール (以前は TensorFlow Liteとして知られていた) を使用して INT8 形式に量子化され、Vela コンパイラを使用して Ethos-U55 用の命令にコンパイルされ、NPU での実行が可能になります。
組み込みシステムにおける顔ランドマーク検出の応用
組み込みシステムにおける顔のランドマーク検出は、特にインタラクティブな玩具、スマートホーム、疲労モニタリングシステムなどの製品において、幅広い可能性を秘めています。M55M1 ML MCU を利用することで、この技術は低消費電力でリアルタイムの感情認識と表情分析を実現し、よりパーソナライズされた体験をユーザーに提供することができます。
例えば、対話型玩具では、顔のランドマークを検出することで、玩具が子供の感情状態を認識し、それに応じて反応することができる。おもちゃが子供の幸福を検出すると、陽気な音楽を流したり、インタラクションを行ったりすることができる。一方、悲しみやフラストレーションを検出すると、慰めの言葉や物語を提供することができ、子供の感情的なコミュニケーションや学習（ ）体験を向上させることができる。テレビやコンピューター画面では、この技術を疲労モニタリングに利用し、ユーザーの表情を分析することで休憩を取るよう促すことができる。
M55M1 ML MCU は、完全なコントローラ機能と NPU のアクセラレーション機能を組み合わせることで、リソースに制約のある組込みシステムでも複雑なディープラーニング・モデルを実行できるようにし、実用的な価値を大きく高めています。顔のランドマーク検出技術と M55M1 ML MCU の支援により、組み込みシステムはユーザーの状態をインテリジェントに理解できるようになり、さまざまな製品で人工知能の応用がさらに促進されます。
アプリケーションデザインビデオを見る: Facial Landmark Detection
