简介
视觉语音大模型 AI 开发套件( CSK6-MIX )是围绕 CSK6011A 芯片设计的具备丰富语音图像功能与硬件外设的开发板，采用具备丰富组件生态的 Zephyr RTOS作为操作系统，官方提供了十几种开源SDK，包含大模型语音交互、大模型拍照识图、文生图、人脸识别、头肩追踪、手势识别、坐姿提醒等。
聆思提供还提供了模型训练推理工具将自己的算法模型部署至芯片上，也可以配合这个工具构建自己的 AI 应用。
功能特性
功能概述
● 使用聆思 CSK6011A 芯片作为主控，板载 16MB Flash
● 集成摄像头、麦克风、扬声器、屏幕等丰富外设配件
● 配套多模态应用示例，支持快速上手体验大模型语音交互、智能视觉等 AI 应用
● 板载 DAPLINK 调试器，外接一条USB 线即可实现烧录、调试、串口日志查看
● 板载网络模组，支持开发联网类应用
大模型示例SDK清单
SDK集成了星火大模型，可以二次开发改接其他大模型，示例清单见下表，可以直接通过链接进行固件烧录并下载：
序号 | 大模型功能 | 使用教程 | 功能说明 |
1 | 大模型多模态 | 大模型多模态快速体验 | 套件出厂默认应用。包含大模型语音问答、拍照识图、大模型绘图等丰富供能示例，支持语音唤醒、多轮语音交互。 |
2 | 智能对话 | 智能问答+坐姿检测快速体验 | 除了大模型语音对话，还集成了可离线运行的坐姿检测算法，是一个 大模型在线服务+离线AI能力 的示例。 |
3 | 智能对话 + 文生图 + 设备控制 | 大模型控制快速体验 | 该示例展示了如何通过大模型实现语音输入意图的理解，实现对话、绘图和控制开发板屏幕颜色进行切换，用户可参考代码与教程自行修改。 |
4 | 接入自定义应用 | 基于模板创建应用 通过编排新增意图落域 | 讲解如何在云端快速建立一个自定义大模型应用并接入到开发套件上实现语音交互，由浅入深地展示如何开发自己的大模型助手。 |
离线AI能力示例SDK清单
序号 | AI 能力 | 使用教程 |
1 | 语音唤醒 + 坐姿检测 | 智能问答+坐姿检测快速体验 |
2 | 语音合成 | 语音合成快速上手 |
3 | 坐姿检测 | 坐姿检测快速上手 |
4 | 人脸识别 | 人脸识别快速上手 |
5 | 单词评测 | 单词测评快速上手 |
6 | 头肩检测 & 手势识别 | 头肩检测&手势识别快速上手 |
LNN AI示例SDK清单
LNN是用于移植适配算法至CSK6芯片的工具，提供了视觉、语音相关的示例SDK，如果想在CSK6上移植适配自己的算法，可以参照这些示例：
序号 | 能力 | 使用教程 |
1 | 拍照物体识别 | 物体分类快速上手 |
2 | 鼾声检测 | 鼾声快速上手 |
3 | 英译中 | 英译中快速体验 |
开发板硬件资源
编号 | 资源 | 说明 |
1 | CSK USB 接口 | CSK6 芯片的 USB 接口，可通过本接口使用 CSK6 的 USB 硬件功能，支持对开发板进行供电。 |
2 | DAPLink 调试器接口 | 可通过本接口查看日志、烧录固件、调试仿真，支持对开发板进行供电。 |
3 | 电源开关 | 控制开发板总电源开关。 |
4 | 外扩排针 | 引出 CSK6 芯片的可用 IO 口，包括部分由扩展 IO 芯片 (19编号)外接的 IO口，开发者可按需进行使用。 |
5 | 摄像头模组 | 默认配套 30W 像素的摄像头模组，型号为 GC0328。 |
6 | 扬声器接口 | 用于连接扬声器进行播音。 |
7 | RGB LED | 支持编程控制的 LED。 |
8 | 触摸显示屏 | 分辨率 320*240 的触摸显示屏，屏显硬件接口为 SPI，触摸硬件接口为 I2C 。 |
9 | 麦克风 | 板载的两个麦克风，连接芯片的 Audio ADC，用于语音相关应用的录音。 |
10 | 硬回采开关 | 用于控制第二路录音链路用于麦克录音(默认)还是硬件回采。 |
11 | SD卡槽 | 用于插入 SD 存储卡。 |
12 | 网络模组调试座 | 可用语烧录网络模组的固件与调试。 |
13 | 网络模组 | 使用 ESP32 C3 作为网络模组。 |
14 | 扩展按键区 | 通过扩展 IO 芯片 CH32 扩展引出的按键，支持轮询检测。 |
15 | CSK6 功能按键区 | 包括 CSK6 芯片的复位、BOOT、自定义功能按键。 |
16 | 电源LED | 指示开发板的供电状态，供电正常使，LED亮起。 |
开发板设计资料下载
文件 | 操作 |
大模型开发套件V2.0 硬件设计 | 聆思科技多模态开发板 - 嘉立创EDA开源硬件平台 |
CSK6系芯片引脚功能表 V1.0 | 下载 |
开发板尺寸
V2.0
开发板配件
摄像头模组
套件默认配套一个摄像头模组，参数如下：
属性 | 参数 |
Sensor 型号 | GC0328 |
接口 | DVP |
像素 | 30W |
摄像头安装
本摄像头可通过开发套件主板上的摄像头接口进行连接，安装摄像头时，请抬起摄像头接口座上的盖板，将摄像头软排线水平插入接口座后，盖紧盖板，安装完成后如下：
触摸屏模块
套件支持使用配套的触摸屏模块，触摸屏模块参数如下：
属性 | 参数 |
尺寸 | 2.4寸(显示区域尺寸) |
分辨率 | 320*240 |
屏显驱动型号 | ST7789V / 数据手册下载 |
屏显接口 | SPI |
触摸驱动型号 | FT5336 / 数据手册下载 |
触摸接口 | I2C |
触摸屏安装
本摄像头可通过开发套件主板上的屏幕排针座直接进行连接，连接时，请通过屏幕模块和主板上的三角标识确认安装方向，如图：
网络模组
为了方便接入 WIFI 与 BLE 网络，配套无线网络模组型号是ESP32-C3。
网络模组以hosted的模式与开发套件的主控芯片CSK6进行通讯，完整协议栈完整地运行在CSK6上。
网络模组相关的源码信息如下：
项目 | 说明 |
源码路径 | SDK目录\modules\lib\esp-hosted\esp-hosted\esp\esp_driver\network_adapter |
编译指引 | Get Started - ESP32-C3 - — ESP-IDF Programming Guide latest documentation |
更多使用说明供电
开发板支持通过 DC 座或任意 Type-C 接口进行供电，因部分电脑或 USB HUB 存在供电电流不足的问题，因此建议在条件允许的情况下优先使用 DC 供电座对开发套件进行供电。
DAPLink USB口的使用
开发板板载了DAPLink调试器芯片，DAPLink 芯片与 CSK6 芯片的 SWD 接口、烧录串口(A15/A18)、日志串口(A02/A03)进行了连接，从而实现可以使用DAP_USB接口查看CSK6 芯片的日志以及对 CSK6 进行固件烧录。
开发者可通过DAPLink USB接口对CSK6芯片进行 固件烧录 、代码仿真 与 串口查看。
使用方法如下：
● 1.使用TypeC数据线连接电脑USB与开发板DAPLink USB
● 2.若设备运行正常，在电脑设备管理器中会出现一个虚拟串口和USB设备
虚拟串口(CDC)功能： 对CSK6芯片的 GPIOA2 和 GPIOA3 【默认UART0】引脚进行了映射，可通过串口上位机工具与串口进行通讯。
烧录、仿真功能： 配合CSK6开发工具，可通过DAPLink实现固件快速烧录以及VSCode IDE环境下进行仿真调试，详见：https://docs2.listenai.com/x/8bZfGBUtuKw。
若未能识别到设备，请检查所用的TypeC数据线是否具备数据传输功能，部分TypeC线只具备供电功能。
CSK6系芯片引脚的功能配置指引请参照《CSK6系芯片引脚功能表》，详见芯片资料下载。
开发环境
可参照《环境搭建》与《获取大模型SDK》完成开发环境的搭建以及开发所需SDK的获取，并参照各个示例下的开发指南进行开发，通过 大模型应用开发指南可以了解如何在开发套件上接入云端大模型应用并进行应用开发。
如果需要拿实物参考，可以TB搜聆思csk6大模型开发板
STM32
MCU
通讯及无线技术
物联网技术
电子DIY
板卡试用
基础知识
软件与操作系统
我爱生活
小e食堂