影片
NuEdgeWise : Nuvoton AI 機器學習開發環境
Nuvoton NuEdgeWise IDE 是由新唐科技推出專為 TinyML 開發的機器學習工具,支援機器學習應用開發的四個主要階段,包括標記、訓練、驗證和測試。
NuEdgeWise利用 Jupyter Notebook 提供平台,開發者可以在新唐的微控制器與微處理器上使用 TensorFlow Lite 進行模型的訓練和部署,使 TinyML 的應用變得更加輕鬆。
開發流程介紹:
步驟I |
在這個階段,數據被賦予標籤或分類,這對於訓練機器學習模型至關重要。例如,圖像數據可能會被標記為包含特定對象或場景,而聲音數據可能會根據聲音種類進行標記,Sensor 的數據可能會根據指定的 Sensor Raw Data 進行標記。這個過程通常需要人工完成,以確保數據的準確性和一致性。 |
|
---|---|---|
步驟II |
使用已標記的數據來訓練機器學習模型,此步驟Nuvoton也會提供預設的Model 使User 可以快速地訓練模型。訓練的模型以便能夠對未見過的數據進行預測或分類。訓練通常需要大量數據和計算資源。 |
|
步驟III |
驗證階段是為了評估模型在未參與訓練過程的數據集上的表現。這可以幫助確定模型的準確度和泛化能力。通常會用一部分未用於訓練的數據來進行這一階段的評估。 |
|
步驟IV |
最後的測試階段進一步評估模型在完全獨立的數據集上的性能。這是檢查模型是否真正理解了數據特徵而不是僅僅記住訓練數據的關鍵步驟。成功的測試意味著模型準備好在現實世界中應用。 |
AI 應用
目前新唐科技已推出七種不同的開發場景,輕鬆跨出 AI 應用開發的第一步:
應用案例 | 模型 | 介紹 | 開發工具 | 適用 M467 |
適用 MA35D1 |
適用 M55M1 |
---|---|---|---|---|---|---|
關鍵字辨識(Keyword Spotting) |
DNN/DS-CNN |
本應用著重於關鍵字辨識(Keyword Spotting, KWS)技術,探討如何通過收集特定聲音數據來訓練深度可分卷積神經網絡(Depthwise Separable Convolutional Neural Networks, DSCNN)或傳統深度神經網絡(Deep Neural Networks, DNN)。本應用將展示從數據收集、預處理、特徵提取到模型訓練的整個流程。目標是開發出能準確偵測和響應特定語音指令的模型,適用於各種語音交互應用,如智能助手和語音控制系統,以提升用戶交互體驗。 |
✓ |
✗ |
✓ |
|
手勢辨識(Gesture Recognition) |
CNN |
使用三維加速度計收集手勢動作數據,訓練卷積神經網絡(CNN)模型以識別不同手勢,並將該模型部署到開發板上,實現即時手勢識別。 |
✓ |
✗ |
✓ |
|
影像分類(Image Classification) |
MobileNet |
本應用將深入探討使用 MobileNet 模型進行影像分類的方法與實踐。MobileNet,作為一種輕量級的深度學習架構,特別適合於計算資源受限的設備。文章將從基礎的模型結構講起,說明 MobileNet 如何通過深度可分卷積來減少計算量和模型大小,同時保持高效的分類性能。 隨後,將介紹如何使用公開數據集對 MobileNet 進行訓練,包括數據預處理、模型訓練和效能優化的步驟。此外,文章還將探討如何將訓練好的模型部署到不同的平台上,包括雲端服務和邊緣計算設備。 最後,將通過實際案例來展示 MobileNet 在影像分類領域的應用效果,如物品識別、場景理解等,強調其在實時和高效能影像處理領域的重要性。這篇文章將為想要在影像分類領域進行深度學習實踐的讀者提供實用的指南和啟發。 |
✗ |
✓ |
✓ |
|
物件偵測(Object Detection) |
SSD_MobileNet_ |
在本應用中,我們將探討如何使用 TensorFlow Object Detection API 進行影像偵測。這個強大的 API 使開發者能夠輕鬆訓練和部署物體識別模型,適用於多種應用,從安全監控到自動駕駛車輛。本應用將介紹 API 的基礎知識,包括如何設置開發環境、準備和標註數據集,以及如何進行模型訓練和評估。此外,還會探討如何將訓練好的模型應用於實時影像偵測,並部署到各種平台和設備上。這將為有志於在這一領域進行深入研究的開發者提供一個全面的指南和實用的見解。 |
✗ |
✓ |
✗ |
|
物件偵測(Object Detection) |
Yolo-fastest v1 |
本應用深入探討如何使用 DarkNet 框架訓練適用於邊緣運算的 YOLO(You Only Look Once)模型。重點介紹將訓練好的模型轉換為 TensorFlow Lite 格式,並利用 Vela 優化工具進行性能提升。本應用將涵蓋模型訓練的關鍵步驟、轉換流程以及優化技術,旨在幫助開發者有效偵測不同種類的物件,特別適用於資源有限的邊緣運算裝置。 |
✗ |
✗ |
✓ |
|
異常偵測(Anomaly Detection) |
DNN/ |
本應用詳述如何使用異常檢測技術實現 Tiny ML(微型機器學習)模型的訓練,並將其轉換為 TensorFlow Lite (TFLite) 格式。文章將涵蓋從數據預處理、特徵提取到異常檢測算法的應用,以及如何將訓練好的模型優化和轉換為 TFLite 格式,以便於在資源受限的裝置上運行。這種方法特別適合於需要高效且即時的異常檢測應用,如工業監控或物聯網設備。 |
✓ |
✗ |
✓ |
|
視覺唤醒詞(Visual Wake Words) |
Small MobileNet RGB/gray |
本應用探討了在微控制器上實現視覺喚醒詞(Visual Wake Words, VWW)模型的方法,專注於識別圖像中是否存在人物或其他特定的物件。這種方法運用了輕量級的深度學習模型,專為在資源有限的微控制器上運行而設計。本應用將介紹如何有效地訓練和優化這類模型,並且涵蓋了將模型部署於微控制器的過程。這對於開發低功耗、即時反應的嵌入式視覺應用來說,提供了一個實用且高效的解決方案。 |
✓ |
✗ |
✓ |
文章
Type |
Title |
---|---|
技術文章 |
【終端 AI】利用 NuMicro® M55M1 ML MCU 實現姿勢特徵點偵測 (Pose Landmark Detection) 之應用 |
技術文章 |
【終端 AI】利用 NuMicro® M55M1 ML MCU 實現臉部特徵點偵測 (Facial Landmark Detection) 之應用 |
技術文章 |
|
技術文章 |
|
技術文章 |
|
技術文章 |
|
技術文章 |
|
技術文章 |
|
技術文章 |
|
新聞稿 |
2024-09-24 革新終端 AI 開發流程,新唐科技推出 NuEzAI-M55M1 開發板,打造簡單、快速、輕鬆上手開發體驗 |
新聞稿 |
|
新聞稿 |
|
新聞稿 |
2023-06-27 新唐科技與 Skymizer 運用 NuMaker-M467HJ 在 MLPerf Tiny 基準測試中取得領先 |