EEPW论坛

最近有点忙，开箱后又过去很久了，今天最重要是来补充一下开箱秀中就预告了的插针焊接，最后焊好的图片如下所示。

可以看到红色和蓝色混搭风，因为红色插针还有焊锡丝等器件存货也都已经没有了哈哈。

有了上面这个操作后，扩展esp32等WiFi蓝牙双模通信模块就显得比较容易，主要都是软件上的问题，尤其是珊瑚板子Coralmicro上的软件开发，这里补充esp32模块图片一张。

至于为啥说扩展esp32比较容易呢？主要是我之前也参加过EEPW论坛举办的智芯山居设计和分享活动，当时分享的帖子链接是这个https://forum.eepw.com.cn/thread/365938/1，感兴趣的人可以去看看当时的分享和记录。

在参与智芯山居活动的时候，其实就已经用过esp32模块了，并且WiFi连接互联网和emqx5这样的mqtt消息服务器的程序都是早就实现了的，只不过当时用的智能家居网关平台是来自意法半导体的stm32f769-DISCO开发板子。

当时智能家居网关hub的架构设计是上行为esp32模块WiFi联网，hub下行是基于串行网络组网如485/can等，然后控制串行网络中的数字电源照明led节点。现在珊瑚板子Coralmicro只是没有下行网络，上行WiFi联网传输数据还是类似的。另外，esp32模块相比珊瑚板子官方设计的WiFi蓝牙模块更便宜，也是我考虑的因素之一。

当然这次传输的数据类型还涉及到语音音频，和智能家居的网关通信以及控制类数据不一样，算法和流程上也会有比较大的差异，这里我还没有想好具体的实现方法，后续体验中再继续完善。

现在只需要在珊瑚板子上imxrt1176主控mcu实现串口通信的程序，就可以通过uart接口和esp32模块交换数据，这里我假设上位机聊天机器人的服务程序也会通过mqtt服务器发送对机器人imx-rtbot的某些控制指令。麦克风录音的语音音频数据则考虑通过其他流式传输方式等实现。

有关这次体验珊瑚板子Coralmicro的idea和方案sln分享到此为止，最后还是复制粘贴最开始申请板子时候的记录如下，时刻鞭策自己，提醒自己早点完成这个项目的开发。

PS：我最近看到得捷电子上来自OKdo品牌的开发板CORAL DEV BOARD MICRO板子（digikey得捷电子：2261-G650-07968-01-ND）是个很不错的edgeAI平台，采用imxrt系列mcu作为主控，具有性能强大和存储资源丰富的特性，板上也有camera和mic外设便于开发和评估音视频多媒体类数据驱动的AI智能设备，例如语音聊天机器人chatbot设备。

预计这个demo开发从目前20240801到年底20241231四五个月左右的时间可以搞定，中间阶段性的过程和结果发帖子分享一下，最后发总结的帖子和体会吧。

项目名称------imx-rtbot多模态聊天AI机器人

目标------利用mcu和边缘AI加速器实现语音模型的推理和加速，并且和上位机大模型如llama3进行对话聊天流程

预期功能------利用CORAL DEV BOARD MICRO板子再搭配自己有的例如esp32WiFi蓝牙模块，在边缘端实现语音前端处理算法和过程，asr和tts功能暂时放在pc端处理但是也不排除在开发板上实现，大模型llm对话聊天功能当然也在pc上实现，语音播放功能在开发板上实现，预期实现以上全部功能，如有余力还会考虑添加视觉功能，如机器人识别环境，空间的能力

技术实现方案------熟悉和简单介绍开发板的资料和开发工具后，利用CORAL DEV BOARD MICRO板子mic进行录音和降噪处理audio，语音speech数据做语音识别ASR转换为text，利用WiFi通信发送到pc笔记本或者树莓派系统的大模型服务器上chatbot进行对话聊天生成答案answer，answer通过语音合成TTS转换为voice，开发板收到voice后进行播放，预期实现全流程

需要的开发板型号-----CORAL DEV BOARD MICRO板子+esp32WiFi蓝牙模块

项目周期长任务重，也是今年比较流行的设备热点方向，期待入选ing！