重在参与!




最近很馋树莓派5,树莓派5是一款性能强劲、低功耗的单板计算机,配备了更强的处理器、更大的内存以及更快的连接性能,非常适合用于各种物联网和边缘计算应用。
项目名称:基于llama的本地大模型智能问答助手
我计划利用树莓派5构建一个本地大模型智能对话助手,实现离线自然语言处理和智能对话功能,主要应用于智能家居、信息查询等场景。通过在本地处理数据,确保用户隐私安全,同时提供高效的实时交互体验。通过本地跑llama模型,连接一些扬声器和麦克风模块,通过语音可以进行问答。
需要的开发板型号:Raspberry Pi 5,麦克风模块:Knowles SPH0645LM4H-1,扬声器模块:CUI Devices CSP-1027

这个活动很给力!给eepw点赞
我最近看到得捷电子上来自OKdo品牌的开发板CORAL DEV BOARD MICRO板子(digikey得捷电子:2261-G650-07968-01-ND)是个很不错的edgeAI平台,采用imxrt系列mcu作为主控,具有性能强大和存储资源丰富的特性,板上也有camera和mic外设便于开发和评估音视频多媒体类数据驱动的AI智能设备,例如语音聊天机器人chatbot设备。
预计这个demo开发从目前20240801到年底20241231四五个月左右的时间可以搞定,中间阶段性的过程和结果发帖子分享一下,最后发总结的帖子和体会吧。
项目名称------imx-rtbot多模态聊天AI机器人
目标------利用mcu和边缘AI加速器实现语音模型的推理和加速,并且和上位机大模型如llama3进行对话聊天流程
预期功能------利用CORAL DEV BOARD MICRO板子再搭配自己有的例如esp32WiFi蓝牙模块,在边缘端实现语音前端处理算法和过程,asr和tts功能暂时放在pc端处理但是也不排除在开发板上实现,大模型llm对话聊天功能当然也在pc上实现,语音播放功能在开发板上实现,预期实现以上全部功能,如有余力还会考虑添加视觉功能,如机器人识别环境,空间的能力
技术实现方案------熟悉和简单介绍开发板的资料和开发工具后,利用CORAL DEV BOARD MICRO板子mic进行录音和降噪处理audio,语音speech数据做语音识别ASR转换为text,利用WiFi通信发送到pc笔记本或者树莓派系统的大模型服务器上chatbot进行对话聊天生成答案answer,answer通过语音合成TTS转换为voice,开发板收到voice后进行播放,预期实现全流程
需要的开发板型号-----CORAL DEV BOARD MICRO板子+esp32WiFi蓝牙模块
项目周期长任务重,也是今年比较流行的设备热点方向,期待入选ing!
回复
打赏帖 | |
---|---|
C语言函数宏的三种封装方式被打赏50分 | |
【STM32F769】记一次由于开启D-Cache之后DMA数据传输出错的问题查找与解决被打赏35分 | |
嵌入式LinuxC语言程序调试和宏使用技巧被打赏50分 | |
让代码中包含最新的编译时间信息被打赏50分 | |
【分享开发笔记,赚取电动螺丝刀】STM32F769LVGL优化显示被打赏26分 | |
rtthread硬件加密--2crc加密分析被打赏10分 | |
【分享开发笔记,赚取电动螺丝刀】STM32F769驱动ST7789以及显示优化被打赏36分 | |
【分享开发笔记,赚取电动螺丝刀】S32K146 PAL模拟I2C驱动适配被打赏23分 | |
我想要一部加热台+电源硬件设计规范被打赏16分 | |
我想要一部加热台+LED背光驱动芯片RT9293知识被打赏18分 |