这些小活动你都参加了吗?快来围观一下吧!>>
电子产品世界 » 论坛首页 » 嵌入式开发 » MCU » 存内计算在AI处理时具有成本、延迟等诸多优势

共14条 1/2 1 2 跳转至

存内计算在AI处理时具有成本、延迟等诸多优势

高工
2022-01-20 11:29:11     打赏

随着人工智能应用在越来越多的行业中变得越来越流行,对更多计算资源、更多数据模型存储以及同时降低功耗的需求变得越来越重要。当今用于 AI 应用程序的数字处理器难以同时满足这些具有挑战性的要求,尤其是对于在边缘运行的大型机器学习模型。模拟计算提供了一种创新的解决方案,使公司能够在具有成本效益的小外形尺寸中以更低的功耗获得更高的性能。


长期以来,与数字相比,模拟的计算速度和功率效率一直都更值得期待。从历史上看,开发模拟系统存在许多障碍,包括模拟处理器的尺寸和成本。最近的方法表明,将模拟计算与闪存等非易失性存储器 (NVM) 配对——称为存内计算 (CIM) ——可以消除这些障碍。


与依赖消耗过多功率的高吞吐量 DRAM 的数字计算系统不同,存内系统可以利用高密度闪存进行数据存储和计算。这消除了在数字计算系统中访问和维护 DRAM所带来的高功耗。使用模拟CIM方法,处理器可以通过以快速和低功耗的方式操纵和组合整个存储库中的小电流,在 NVM 单元内执行数学运算。


因此,当数字处理系统努力应对不断增加的深度学习工作负载和更高功耗挑战时,模拟 CIM 可以轻松执行实时处理,即使使用多个大型、复杂的深度神经网络,其功率仅为数字处理系统的一小部分。


能够在闪存阵列内执行大规模并行向量矩阵乘法和加法运算,可以获得显着的功率优势。微小电流通过存储神经网络权重的闪存阵列进行控制,矩阵乘法的结果通过一系列模数转换器进行累积。通过将模拟计算用于推理操作,可以消除 DRAM 访问和数字计算的功耗开销,并且可以实现 AI 推理处理总功耗的大幅下降。


此外,功耗降低还可以进一步实现系统总功耗及成本的降低;例如,当功耗通过模拟计算降低 10 倍时,热管理系统可以大大简化,而无需主动冷却。


成本、延迟优势


模拟计算系统还具有成本优势,因为具有嵌入式 NVM 的处理器可以在成熟的半导体工艺节点中制造。与由少数公司引领的先进节点相比,传统工艺通常成本较低,并且具有更广泛的供应链伙伴。此外,CIM 方法可以同时使用单个闪存晶体管来存储神经网络权重并执行乘法和累加运算。这在单个芯片中提供了非常高密集的神经网络权重存储和高性能 AI 处理,而无需增加外部 DRAM 及其相关组件的成本。


模拟 CIM 系统的另一个好处是执行速度非常快,因为它们不会受到数据通过数字逻辑门和处理器中的存储器以及从外部 DRAM 写入和读出的延迟的影响。大规模并行矩阵运算可以在片上执行,时间仅是数字处理系统的一小部分。这种速度使模拟 CIM 系统成为计算密集型 AI 工作负载的理想选择,例如用于对象检测、分类、姿态估计、分割和深度估计的视频分析应用程序等。


工业应用对更快的处理有着巨大的需求,在这些产业中,运行计算机视觉应用程序的机器人被用来提高生产力和安全性。无人机是模拟 CIM 推动新型功能的另一个市场。传统上,无人机的一大挑战是,配备高清摄像头的无人机,需要在本地运行复杂的视觉AI 网络,并无线传递至遥控端。使用模拟计算的处理器可以在本地处理这些工作负载,同时还非常节能,这可以使无人机能够工作得更久。


由于这些功能,我们将越来越多地看到无人机用于农业监测、电力线检查等关键基础设施和火灾预警。


安防监控也是模拟 CIM 处理器的理想选择。在传统系统中,捕捉视频图像和对象并将视频流发送到中央处理系统进行可视化分析;而边缘是隐私和数据安全问题发挥重要作用的地方。更好的选择是让摄像头使用经过训练的 AI 算法来检测特定序列,例如事故、犯罪或其他事件,并且只发送需要分析的元数据,或仅发送潜在安全事件的视频进行分析。视频安全系统在边缘处理大部分数据有助于缓解隐私问题,同时仍然保护公众,无论是用于交通监控、事件检测还是其他关键安全应用。


总而言之,模拟计算是 AI 处理的理想方法,因为它能够使用更少的功率运行,同时以小尺寸实现低延迟。模拟计算技术的能效将使产品开发人员在未来几年内解锁新的 AI 应用程序,即使在小型边缘设备中也是如此。




工程师
2022-02-07 22:43:42     打赏
2楼

优势的确蛮大的


工程师
2022-02-07 22:44:16     打赏
3楼
学习了,谢谢分享

工程师
2022-02-12 23:52:03     打赏
4楼

优势还是挺大的


高工
2022-02-13 11:12:32     打赏
5楼

GOOD


专家
2022-02-13 11:58:39     打赏
6楼

学习和参考了,好产品


专家
2022-02-13 13:03:32     打赏
7楼

学习学习


专家
2022-02-13 13:19:07     打赏
8楼

谢谢楼主分享


专家
2022-02-13 13:21:16     打赏
9楼

谢谢楼主分享


专家
2022-02-13 13:42:23     打赏
10楼

谢谢分享


共14条 1/2 1 2 跳转至

回复

匿名不能发帖!请先 [ 登陆 注册 ]