这些小活动你都参加了吗?快来围观一下吧!>>
电子产品世界 » 论坛首页 » 嵌入式开发 » 国产MCU » 手把手教你做一个成本40元不到的人脸识别小相机

共4条 1/1 1 跳转至

手把手教你做一个成本40元不到的人脸识别小相机

菜鸟
2024-06-18 15:31:25     打赏
前言

image.gif

本文以UP主工科男孙老师近期发布的视频产品为例,按以下顺序讲解如何基于聆思官方提供的资料做一个成本40元不到的人脸识别小相机。

 实例介绍

 DIY使用的主要元器件介绍

 程序和烧录

 实例演示视频


实例介绍

下图是孙老师视频中分享的人脸识别相机的模块图片,可以看到PCBA相当简洁,PCBA正中间有一颗聆思 CSK6011A 型号的芯片作为主控,左侧是用于存储固件的 Flash,剩下的则是用于交互的按键与晶振、阻容、LED等器件。算上屏幕和摄像头,整个方案量产成本预估40元不到。

我们可以看到PCBA上方有两个按键,BOOT按键可以用来实现人脸录入,K1按键可以用来启动人脸识别,识别结果可以通过屏幕直接显示出来。


PCBA的侧面预留了一个可用于烧录与输出应用信息的串口,当检测到人脸之后,它就会不停的输出检测到的信息,除了有没有人脸,还有人脸在画面中的、xy坐标、大小三个方向的偏转角信息等等,这样就可以把相机当做一个传感器模块和其他硬件模块搭配,做一些更好玩的应用。

主要元器件和资源介绍


孙老师做的小相机模块主要元器件为这几种:主芯片、摄像头、屏幕、开关电源(DCDC)、电容电阻等,主要信息如下:


聆思 CSK6011A芯片 (三核异构AI处理器)


 ARM Star MCU:最高300MHz主频

 HIFI4 DSP:最高300MHz主频

 NPU:128GOPS算力

 SRAM: 1MB

 PSRAM:8MB

 内置最高支持 8MB Flash,可选最高 16MB 的外置 Flash

更详细芯片信息,如规格书、硬件设计参考等资料可以进入聆思文档中心下载:https://docs2.listenai.com/x/af7lMsf-Scg


摄像头

型号为 GC0328,官方已基于摄像头对算法做过优化,不建议更换其他摄像头,可以通过聆思官方文档或联系官方客服小助手了解摄像头更多的信息

 接口:DPV

 像素:30万


屏幕


孙老师在这个小相机项目中选择了一个小尺寸的 TFT 屏,主控芯片 CSK6011A 本身具备 SPI 和 I2C 接口,支持接触摸屏,如官方的大模型开发板使用的是更大尺寸的触摸显示屏。

 屏显接口:SPI

 触摸接口:I2C

 可根据实际需求更换或去掉屏幕


开关电源(DCDC)

开发板模块可以由串口的5V进行供电,

芯片供电需要通过开关电源芯片转换为3.3V


电容电阻

使用可以参考聆思官方提供的原理图根据实际情况搭配使用


原理图相关

人脸识别相机可以参考聆思CSK6大模型开发板原理图裁剪功能获得,有想尝试拓展模块玩法的朋友也可以很方便的进行改造,开发板资料的下载地址:https://docs2.listenai.com/x/nTn9kMMCU#%E5%BC%80%E5%8F%91%E6%9D%BF%E8%AE%BE%E8%AE%A1%E8%B5%84%E6%96%99%E4%B8%8B%E8%BD%BD



程序和烧录

芯片支持串口烧录,模块预留串口,外接串口工具板即可进行烧录。


人脸识别SDK介绍

SDK下载地址:https://docs2.listenai.com/x/XuPPPS80c#%E7%A4%BA%E4%BE%8B%E5%B7%A5%E7%A8%8B%E4%BB%8B%E7%BB%8D

 返回人脸边界框、人脸标定点、头部姿态角度、人脸识别特征

 头部姿态角度如图,支持pitch、roll、yaw三个角度

 将检测到的人脸特征值和本地存储的人脸特征值输入算法进行比对, 并返回比对结果


聆思官方提供有开源的SDK除了人脸识别,还提供有坐姿检测、头肩跟踪、手势识别、物体分类等AI能力SDK,需要哪个烧录哪个,详情可以参考SDK目录下的README文件。


烧录

cskburn desktop是聆思科技提供的一款桌面烧录工具,支持windwos、Liunx、macOS,一键安装,连接串口即可快速对 CSK6系芯片、开发套件快速进行固件烧录,进行下载地址https://docs2.listenai.com/x/oo2_KzYFd

进入烧录模式:芯片烧录可以用BOOT+RST组合进入烧录模式。

以下图为例,串口工具链接后,按住BOOT后再按RST即可进入烧录模式。


实例演示视频

UP主孙老师改造的视频:https://www.bilibili.com/video/BV1fH4y1A7DV?vd_source=5bc4be50ddf65370d8b5cadb25a6e836



DIY资料汇总

 孙老师开源的人脸识别小相机工程资料:https://oshwhub.com/sunhaoqin/csk6011

 如果要基于现有SDK进行二次开发,可以参考一下文档一键部署开发环境。

 环境搭建:https://docs2.listenai.com/x/ZgVUIzY6M

 获取SDKhttps://docs2.listenai.com/x/GvIW8tsaE

 想给模块加上网络模块或其他AI能力,可以参考聆思CSK6大模型开发板资料进行调整改造,下载地址:https://docs2.listenai.com/x/nTn9kMMCU




关键词: 聆思csk6     大模型开发板     Zephyr RTOS    

专家
2024-06-18 16:06:48     打赏
2楼

谢谢分享!


院士
2024-06-19 05:58:41     打赏
3楼

谢谢楼主的分享~!


高工
2024-06-19 12:44:58     打赏
4楼

谢谢分享!


共4条 1/1 1 跳转至

回复

匿名不能发帖!请先 [ 登陆 注册 ]