电子产品世界 » 论坛首页 » DIY与开源设计 » 电子DIY » 【Let'sDo|2026年第3期】基础任务四:NanoEdgeAI模型部署与电

共1条 1/1 1 跳转至页

【Let'sDo|2026年第3期】基础任务四:NanoEdgeAI模型部署与电机状态识别

助工
2026-11-17 19:25:26     打赏

基础任务四:NanoEdge AI 模型部署与电机状态识别

工程:basic_task04_ai_detect
平台:NUCLEO-H533RE / NanoEdge AI / LIS3DHTR

1. 任务目标与实际完成范围

基础任务四要求使用 NanoEdge AI Studio 训练、生成可用模型并部署,分辨电机不同运行状态。本项目基于任务三的数据,将停止、1 档、2 档作为三个类别,导入预训练分类库,在 MCU 上实时处理三轴加速度窗口,并通过串口和墨水屏呈现结果。


项目当前实现
输入400 Hz、普通 10 位、±2 g、mg、XYZ 交错,512 点/轴
模型原始 NanoEdgeAI.h 与 libneai.a,三分类
在线采样持续 FIFO 读取,512 点环形窗口、256 点步长
判决概率与区分度检查、连续两窗确认、过期及故障处理
展示SET 显示控制档位,AI 显示加速度识别结果
当前范围STOP / GEAR1 / GEAR2;不包含进阶异常分类或蜂鸣器报警

没有购买蜂鸣器,当前硬件不支持声音输出。UNKNOWN 是应用层拒识状态,不是训练出来的第四类,也不能代表可靠的异常检测。

2. 硬件资源与接线

2.1 管脚与软件对应

接线沿用任务三,切换固件不需要重新分配外设信号。传感器安装位置与方向应保持训练时条件。


模块信号MCU管脚开发板入口设备树/软件对应用途
电机 IN1–IN4PC0 / PC1 / PC2 / PC3CN7-38 / 36 / 35 / 37motor-gpios / motor_service.c八拍驱动
LIS3DHTR SCLPB6D15 / CN5-10i2c1 / accel_service.cI²C 时钟
LIS3DHTR SDAPB7D14 / CN5-9accel 节点,地址 0x19FIFO 数据
墨水屏 SCKPB3D3 / CN9-4SPI1 pinctrl时钟
墨水屏 MOSIPB5D4 / CN9-5SPI1 pinctrl数据
墨水屏 MISOPB4D5 / CN9-6SPI1 pinctrl配置保留,实体接线按模块接口
墨水屏 CS / DCPC9 / PC7D10 / CN5-3;D8 / CN5-1SPI1 片选 / dc-gpios选中及命令数据控制
墨水屏 BUSY / RSTPB10 / PA8D6 / CN9-7;D7 / CN9-8busy-gpios / reset-gpios忙检测及复位
keyA / keyBPC6 / PA7D9 / CN5-2;D11 / CN5-4eink_keys加档/减档,30 ms 消抖
LD2 / B1PA5 / PC13板载LED/按键服务控制状态提示、切档及停止
USART2 TX/RXPA2 / PA3ST-LINK VCP日志后端/控制台服务日志发送、0/1/2 命令接收
SWDPA13 / PA14板载 ST-LINK调试接口下载与调试

传感器和墨水屏接 3V3,电机驱动板使用匹配的额定 5 V 电源,各模块共地;不将不同 5 V 电源直接并联。PC0/PC1 保持默认焊桥路由;SPI SCK/MOSI 使用 PB3/PB5,避免 PA5 LED、PA7 keyB 冲突。

2.2 原理图与系统连接示意

资料入口沿用仓库硬件说明:


image.png


2.3 实物图与训练截图

图 4-1:完整系统与传感器安装

image.png


图 4-2:NanoEdge AI Studio 创建工程

创建新工程,选择工程类型为 Classify

image.png


修改工程名,添加对应的描述,传感器选择 Accelerometer,3轴,器件选择 Nucleo-H533RE

image.png





图 4-3:Studio 数据导入及类别设置
在 Signals 界面中点击 NEW Class 开始导入信号

image.png


这里选择从文件导入信号image.png

image.png

导入第一个类 motor_stop。可以看出从文件名自动推到出 class name,即 motor_stop然后自动识别分隔符是逗号,从文件中提取275行,每行 1536 列数据(512列信号 x 3轴)

image.png

点击 IMPORT 导入成功,如下,当前只有一个类型即 motor_stop,右侧是信号在不同轴上的时序图、FFT图、Browser plot。

image.png

再次点击 New Class,依次导入 motor_level_1.csv 和 motor_level_2.csv。可以明显看到电机三个档位,不同轴的加速度计值FFT频谱图有明显差异。

image.png



图 4-4:模型搜索、评估和导出

直接点击最上方的 Benchmark 然后再点击屏幕中央的 "+NEW BENCHMARK" 开始训练模型。

image.png

按默认配置,点击右下侧 START 开始训练

image.png

image.png

开始训练


image.png

在运行了8分钟之后我决定把训练停下来,因为看右下角 Best Library Confusion Matrix,三种状态分类都挺清晰的。

image.png

在 Validation 界面,看到已经有5个库能很好的分类,其中以 library id 33 分类效果最好, RAM 1.2KB, Flash 2.7KB,执行时间 0.7ms, Model 类型是 CNN。

image.png

它的 报告是这样的:

image.png

点击 Serial Emulator 工具,如下图所示


image.png

自动弹出这个 Emulator -- Library ID 33 界面,设置串口、波特率,点击开始,自动识别。由于当前开发板设置电机在1档,所以分类识别结果 motor_level_1,完全正确


image.png


图 4-5:模型部署

在 Deployment 界面,工具链选择 GNU Arm Embedded GCC,因为我是用 Zephyr RTOS.

由于我的数据格式都是整数,不需要浮点数,可以取消勾选 mflaot-abi 选项。

image.png

image.png

image.png


3. 数据训练与模型交付

3.1 训练输入与部署契约

任务三记录每档约录制 5 分钟,文件为 motor_stop.csv、motor_level_1.csv、motor_level_2.csv。训练数据每行 1536 个数值,排列为 x0,y0,z0,...,x511,y511,z511,无表头、日志或标签列。

工程约定的 Studio 路线为 n-Class Classification、Time Series、Accelerometer、3 Axes、512 点/轴。训练与部署必须保持采样模式、量程、轴顺序、单位及预处理一致,不能在部署时自行归一化、去重力或交换轴。

3.2 训练流程与现有证据

image.png

当前仓库已有导出头文件、静态库、类别映射及真实模型调用记录。

3.3 模型与类别映射

当前模型 ID:6af30bb955c51bb3957d9d63。头文件声明每轴 512 点、3 轴、3 类。类别语义由既有用户确认记录确定:


模型class_index模型类别名数据语义/显示档位
00motor_stopSTOP / 0
11motor_level_2GEAR2 / 2
22motor_level_1GEAR1 / 1


模型库按工程已有兼容配置使用软件浮点,CONFIG_FPU=n,链接 libneai.a 与 libm。

4. 在线实现思路

4.1 控制、采样、推理和显示分别执行


模块职责优先级
main.c / detect_app.h控制请求、共享状态、流失效及结果超时
accel_service.c400 Hz FIFO 采集及错误重试;优先级 3
accel_window.c环形窗口、按时间顺序复制,不依赖硬件
ai_service.c模型初始化、mg 转 float、唯一模型调用者;优先级 7
ai_decision.c概率检查、类别映射和连续确认
display_service.c最新状态与已显示画面比较后更新;优先级 12
console_service.c非阻塞接收 0/1/2,无回显
Zephyr 日志线程异步诊断输出;优先级 14

模型的可变上下文只由 AI 线程使用。输入、窗口及队列静态分配;共享锁不覆盖 I²C、SPI、UART、模型调用或休眠。

4.2 持续滑动窗口

首次积满 512 个新样本后出窗,以后每新增 256 点出一窗,重叠 50%。窗口内容保持完整的 512 点/轴,不因缩短步长改变模型输入尺寸。

窗口 1:样本   0 ... 511
窗口 2:样本 256 ... 767
窗口 3:样本 512 ... 1023

标称首次收窗为 1.28 秒,之后每 0.64 秒产生一窗。实际节拍以新固件记录为准;旧版约 1.31 秒的窗口观测不能直接证明新版步长实测值。

换档、渐变及屏幕刷新不暂停采样、不清 FIFO、不重置连续确认。通信错误、FIFO 满/溢出和削顶使采样流失效,清除旧窗;传感器恢复后重新积满 512 个有效样本。队列最多两窗,积压时保留最新完整窗口,序号跳变后重新确认。

4.3 判决与显示


配置默认值作用
AI_HOP_SAMPLES256相邻窗口新增点数
AI_CONFIDENCE_PERCENT70最高类别概率门槛
AI_MARGIN_PERCENT15第一名领先第二名至少 15 个百分点
AI_CONFIRM_WINDOWS2连续两次合格同类结果才确认
AI_STALE_MS4000按窗口结束时间检查新鲜度
AI_DISPLAY_INTERVAL_MS500两次刷新开始的最短间隔
AI_STACK_SIZE8192 字节AI 线程栈

WAIT 表示未完整确认,UNKNOWN 表示概率或区分度不足,NO DATA 表示超过门槛无新鲜结果,ERROR 表示传感器或模型故障。非法概率、NaN、Inf、错误类别编号不会作为正常结果发布。

SET 来自控制请求,AI 来自加速度。二者不一致时照实显示。屏幕只因 SET、AI 状态/档位或故障等变化刷新,不因置信度小幅变化、计数或电机渐变阶段变化单独刷新;刷新中的变化合并到下一次画面。

5. 工作流程图

main_flowchart.jpg



6. 关键代码

6.1 编译期约束模型输入

来源:src/ai_service.c。

BUILD_ASSERT(NEAI_INPUT_SIGNAL_LENGTH == ACCEL_N, "Model must use 512 samples per axis");
BUILD_ASSERT(NEAI_INPUT_AXIS_NUMBER == ACCEL_AXES, "Model must use XYZ axes");
BUILD_ASSERT(NEAI_NUMBER_OF_CLASSES == 3, "Class mapping requires exactly 3 classes");

运行时还核对库返回的 ID、尺寸和类别名称,避免头文件与静态库不配对。

6.2 保持单位并调用真实分类库

来源:ai_worker(),核心语句摘录。

for (int i = 0; i < ACCEL_VALUES; ++i) {
    input[i] = (float)frame.mg[i];
}
rc = neai_classification(input, probabilities, &class_id);

输入仍为 mg,控制档位没有写入输入数组。只有库返回 NEAI_OK 后才进入应用判决。

6.3 类别到档位的映射

来源:src/ai_decision.c。

int ai_class_to_gear(int class_id)
{
    static const int mapping[3] = {0, 2, 1};
    return class_id >= 0 && class_id < 3 ? mapping[class_id] : -1;
}

此映射避免把 class1 错显示为 1 档。

6.4 应用层拒识

来源:ai_decide()。

if (p[id] < (float)confidence / 100.0f ||
    p[id] - second < (float)margin / 100.0f) {
    ai_decider_reset(decider);
    result.status = AI_UNKNOWN;
    return result;
}

概率通过有效性检查后再使用阈值;低置信度清除连续确认计数。重叠窗口相关性较高,两次确认不能当作两次独立实验。

6.5 环形窗口的时间顺序

来源:src/accel_window.c 的 accel_window_copy()。

size_t first_values = (ACCEL_WINDOW_SAMPLES - window->next) * ACCEL_WINDOW_AXES;
memcpy(out, &window->mg[window->next * ACCEL_WINDOW_AXES], first_values * sizeof(out[0]));
memcpy(out + first_values, window->mg, window->next * ACCEL_WINDOW_AXES * sizeof(out[0]));

从最旧样本位置开始分两段复制,避免回绕后轴序或时间顺序错乱;每插入一个样本不必搬移整窗。

7. Debug 问题与修复

7.1 识别慢:先定位各阶段耗时

旧版 README.md 保存了实机日志:从停止切换到 1 档后,首次确认约发生在命令后 8.858 秒,而模型调用约 1559–1614 µs。延迟主要来自电机渐变、稳定等待、收窗和连续确认,不能只归因于 AI 算得慢。

处理时增加 gear_request、窗口生成、排队、输入转换、模型调用、判决和刷新日志,分别定位耗时。旧日志中的约 1.6 ms 是对应旧版记录的观测,不是当前固件重新测得的最坏耗时。

7.2 换档重启采集与非重叠窗口增加等待

旧版流程在换档后清除窗口、等待稳定再重新采集。当前版本移除电机稳定门控和 AI_SETTLE_MS,改为持续采样与 256 点步长。换档只记录命令和更新时间,不改变采样代次 gen。

这缩短了新增窗口的等待间隔,但混合旧状态、新状态和过渡过程的窗口仍可能误判;不能据标称 0.64 秒步长承诺固定识别延迟。新版已具备构建及 QEMU 验证记录,实机换档效果待补。

7.3 显示刷新影响采样及旧画面积压

当前采样和推理不把 display_busy 作为门控。显示独立低优先级执行,比较最新状态与最后成功显示画面,仅在必要时刷新,刷新期间不排队保存每个中间画面。

软件逻辑已分离;仍需实测确认屏幕刷新期间 FIFO 无溢出、窗口间隔稳定以及状态变化能正确补画。

7.4 故障期间旧结果回写

模型调用前后均检查采样代次和窗口年龄。故障使旧流失效,恢复后重新积满全新窗口;过期帧丢弃,序号跳变重置连续确认,避免旧样本或不连续结果被继续公布。

7.5 模型兼容与错误映射

采用编译期尺寸约束、运行时 ID/类别检查和显式 0/2/1 映射;保持导出库原始文件及软件浮点配置。任务三的 I²C 域时钟兼容修正亦在本工程局部保留,不修改共享驱动安装目录。

这些是当前实现中的兼容与防错措施;没有现场报错记录的项目不表述为已发生并实测修复的故障。

8. 构建、运行与最终效果

8.1 复现步骤

在已激活 Zephyr 环境的终端、仓库根目录执行:

west build -b nucleo_h533re/stm32h533xx -d basic_task04_ai_detect/build basic_task04_ai_detect -- "-DCONFIG_SPEED_OPTIMIZATIONS=y"
west flash -d basic_task04_ai_detect/build -r pyocd --no-rebuild

连接实际虚拟串口,设置 921600、8N1、无流控。上电自动持续识别;按键或串口 0/1/2 改变电机控制档位。任务三的 c/m/q/s 采集协议在本固件不适用,训练采集应回到任务三。

预期画面示意,非新增实物记录:

MOTOR AI DETECT
SET: 1
AI : GEAR1
CONF: 99%
ACCEL: OK
400Hz XYZ / 512 samples

8.2 当前版本已有软件验证

持续滑窗版本已通过 NUCLEO-H533RE 构建链接,Flash 70,480 字节、RAM 70,744 字节;Cortex-M33 QEMU 共 11 项测试通过,覆盖映射、连续确认、UNKNOWN、非法概率、真实模型调用、重叠顺序、回绕、未满窗/非法步长、故障后重积窗及历史回放。

历史 5 个 1 档完整窗口共 2560 组三轴,以 512 点、步长 256 回放形成 9 个滑窗,真实模型均返回 class2(GEAR1)。历史数据可能参与训练,因此该结果验证软件链路,不代表独立测试集准确率,也不证明实机采样时钟连续性。

测试复现命令:

west build -b mps2/an521/cpu0 -d basic_task04_ai_detect/build_tests basic_task04_ai_detect/tests/ai_decision
west build -d basic_task04_ai_detect/build_tests -t run


8.3 演示

https://www.bilibili.com/video/BV14SsB6SETo/?vd_source=8f2bbf56b70c541bec2ea0b9f102ebee






共1条 1/1 1 跳转至页

回复

匿名不能发帖!请先 [ 登陆 注册 ]