重在参与!
最近很馋树莓派5,树莓派5是一款性能强劲、低功耗的单板计算机,配备了更强的处理器、更大的内存以及更快的连接性能,非常适合用于各种物联网和边缘计算应用。
项目名称:基于llama的本地大模型智能问答助手
我计划利用树莓派5构建一个本地大模型智能对话助手,实现离线自然语言处理和智能对话功能,主要应用于智能家居、信息查询等场景。通过在本地处理数据,确保用户隐私安全,同时提供高效的实时交互体验。通过本地跑llama模型,连接一些扬声器和麦克风模块,通过语音可以进行问答。
需要的开发板型号:Raspberry Pi 5,麦克风模块:Knowles SPH0645LM4H-1,扬声器模块:CUI Devices CSP-1027
这个活动很给力!给eepw点赞
我最近看到得捷电子上来自OKdo品牌的开发板CORAL DEV BOARD MICRO板子(digikey得捷电子:2261-G650-07968-01-ND)是个很不错的edgeAI平台,采用imxrt系列mcu作为主控,具有性能强大和存储资源丰富的特性,板上也有camera和mic外设便于开发和评估音视频多媒体类数据驱动的AI智能设备,例如语音聊天机器人chatbot设备。
预计这个demo开发从目前20240801到年底20241231四五个月左右的时间可以搞定,中间阶段性的过程和结果发帖子分享一下,最后发总结的帖子和体会吧。
项目名称------imx-rtbot多模态聊天AI机器人
目标------利用mcu和边缘AI加速器实现语音模型的推理和加速,并且和上位机大模型如llama3进行对话聊天流程
预期功能------利用CORAL DEV BOARD MICRO板子再搭配自己有的例如esp32WiFi蓝牙模块,在边缘端实现语音前端处理算法和过程,asr和tts功能暂时放在pc端处理但是也不排除在开发板上实现,大模型llm对话聊天功能当然也在pc上实现,语音播放功能在开发板上实现,预期实现以上全部功能,如有余力还会考虑添加视觉功能,如机器人识别环境,空间的能力
技术实现方案------熟悉和简单介绍开发板的资料和开发工具后,利用CORAL DEV BOARD MICRO板子mic进行录音和降噪处理audio,语音speech数据做语音识别ASR转换为text,利用WiFi通信发送到pc笔记本或者树莓派系统的大模型服务器上chatbot进行对话聊天生成答案answer,answer通过语音合成TTS转换为voice,开发板收到voice后进行播放,预期实现全流程
需要的开发板型号-----CORAL DEV BOARD MICRO板子+esp32WiFi蓝牙模块
项目周期长任务重,也是今年比较流行的设备热点方向,期待入选ing!
回复
有奖活动 | |
---|---|
【有奖活动】分享技术经验,兑换京东卡 | |
话不多说,快进群! | |
请大声喊出:我要开发板! | |
【有奖活动】EEPW网站征稿正在进行时,欢迎踊跃投稿啦 | |
奖!发布技术笔记,技术评测贴换取您心仪的礼品 | |
打赏了!打赏了!打赏了! |
打赏帖 | |
---|---|
每周了解几个硬件知识+buckboost电路(五)被打赏10分 | |
【换取逻辑分析仪】RA8 PMU 模块功能寄存器功能说明被打赏20分 | |
野火启明6M5适配SPI被打赏20分 | |
NUCLEO-U083RC学习历程2-串口输出测试被打赏20分 | |
【笔记】STM32CUBEIDE的Noruletomaketarget编译问题被打赏50分 | |
【换取逻辑分析仪】RA8使用perfcounter coremark跑分试验被打赏34分 | |
【换取逻辑分析仪】RA8使用perfcount计算freertos任务CPU使用率被打赏38分 | |
【换取逻辑分析仪】RA8使用RA smart 工具配置运行Freertos被打赏27分 | |
【换取逻辑分析仪】RA8 IAR 环境下Debug异常解析被打赏45分 | |
【笔记】visit内存数据异常问题被打赏50分 |