重在参与!
最近很馋树莓派5,树莓派5是一款性能强劲、低功耗的单板计算机,配备了更强的处理器、更大的内存以及更快的连接性能,非常适合用于各种物联网和边缘计算应用。
项目名称:基于llama的本地大模型智能问答助手
我计划利用树莓派5构建一个本地大模型智能对话助手,实现离线自然语言处理和智能对话功能,主要应用于智能家居、信息查询等场景。通过在本地处理数据,确保用户隐私安全,同时提供高效的实时交互体验。通过本地跑llama模型,连接一些扬声器和麦克风模块,通过语音可以进行问答。
需要的开发板型号:Raspberry Pi 5,麦克风模块:Knowles SPH0645LM4H-1,扬声器模块:CUI Devices CSP-1027
这个活动很给力!给eepw点赞
我最近看到得捷电子上来自OKdo品牌的开发板CORAL DEV BOARD MICRO板子(digikey得捷电子:2261-G650-07968-01-ND)是个很不错的edgeAI平台,采用imxrt系列mcu作为主控,具有性能强大和存储资源丰富的特性,板上也有camera和mic外设便于开发和评估音视频多媒体类数据驱动的AI智能设备,例如语音聊天机器人chatbot设备。
预计这个demo开发从目前20240801到年底20241231四五个月左右的时间可以搞定,中间阶段性的过程和结果发帖子分享一下,最后发总结的帖子和体会吧。
项目名称------imx-rtbot多模态聊天AI机器人
目标------利用mcu和边缘AI加速器实现语音模型的推理和加速,并且和上位机大模型如llama3进行对话聊天流程
预期功能------利用CORAL DEV BOARD MICRO板子再搭配自己有的例如esp32WiFi蓝牙模块,在边缘端实现语音前端处理算法和过程,asr和tts功能暂时放在pc端处理但是也不排除在开发板上实现,大模型llm对话聊天功能当然也在pc上实现,语音播放功能在开发板上实现,预期实现以上全部功能,如有余力还会考虑添加视觉功能,如机器人识别环境,空间的能力
技术实现方案------熟悉和简单介绍开发板的资料和开发工具后,利用CORAL DEV BOARD MICRO板子mic进行录音和降噪处理audio,语音speech数据做语音识别ASR转换为text,利用WiFi通信发送到pc笔记本或者树莓派系统的大模型服务器上chatbot进行对话聊天生成答案answer,answer通过语音合成TTS转换为voice,开发板收到voice后进行播放,预期实现全流程
需要的开发板型号-----CORAL DEV BOARD MICRO板子+esp32WiFi蓝牙模块
项目周期长任务重,也是今年比较流行的设备热点方向,期待入选ing!
回复
我要赚赏金打赏帖 |
|
|---|---|
| 【S32DS】S32K3 RTD7.0.1 HSE 组件配置报错问题解决被打赏¥27元 | |
| 【S32K3XX】MCME 启动 CORE1被打赏¥23元 | |
| AG32VH407下温度大气压传感器及其检测被打赏¥20元 | |
| AG32VH407下光照强度传感器BH1750及其检测被打赏¥22元 | |
| AT32VH407下使用温湿度传感器DHT22进行检测被打赏¥20元 | |
| DIY一个婴儿澡盆温度计被打赏¥34元 | |
| 【FreeRtos】FreeRtos+MPU region 配置规则被打赏¥23元 | |
| 【分享开发笔记,赚取电动螺丝刀】三分钟快速上手驱动墨水屏(ArduinoIDE)被打赏¥28元 | |
| 【S32K3XX】LIN 通讯模块使用被打赏¥31元 | |
| 【FreeRtos】FreeRtos + MPU模块的配置使用被打赏¥32元 | |
我要赚赏金
