自动化所自主研发的极低比特量化神经处理芯片（QNPU）。

近年来，随着深度学习的迅猛发展，对服务器的储存和算力要求也越来越高，引发了人们对经济成本、耗费电量、环境污染的思考。轻量化人工智能（Tiny AI）的出现解决了以上难题，通过对AI模型及其计算载体的“瘦身”，提升效率、降低能耗。2020年，《麻省理工科技评论》将“Tiny AI”列为“全球十大突破性技术”。

中科院自动化研究所（以下简称自动化所）是国际上最早开展AI轻量化设计的机构之一。“十三五”期间，自动化所研究团队在“AI芯片—平台—算法”全栈轻量化AI技术中取得了一系列成果，是新一代AI的“先行者”。

1.降低AI应用门槛

2014年，自动化所研究员、主要从事图像和视频内容分析的程健在利用日益活跃的神经网络模型进行图像与视频的智能识别、搜索时，识别、搜索速度和效率很慢。但低配置、低成本的终端平台无法支撑庞大的神经网络模型的运行，也很难实现AI赋能。

随后，程健转换思路，在确保精度接近无损的前提下，给AI模型及其计算载体“瘦身”，如减少计算量、降低模型复杂度等，从而提升终端运行的效率。

2015年，程健带领团队进行首次尝试，把此前无法在手机端搭载的庞大的深度卷积神经网络VGG，压缩了20多倍，使之首次在手机上完成了快速运行。借助经过轻量化“加工”的神经网络模型，通过加载一个图像分类识别的应用，当时智能化程度还较低的手机就已经可以实现对日常生活中1000多类物体的快速识别，且不依靠云端计算。

这次成功的尝试让程健相信，Tiny AI可以使AI应用的门槛大大降低。

此后，自动化所研究团队在国际AI会议发表了多篇神经网络模型轻量化领域的重要论文，成为国际上最早开始Tiny AI研究的团队之一。

2.软硬件协同设计

Tiny AI是以一系列轻量化技术为驱动提高算法、平台和芯片的效率，在更紧密的物理空间上实现低功耗的AI训练和应用部署，不需要依赖于云端交互就能实现智能化操作，被视为AI的重要应用方向。自动化所团队在“十三五”期间，分别从软件和硬件两方面进行攻关。

自动化所副研究员王培松介绍，研究团队首先从最上层的算法入手，提出了稀疏表示、量化计算等一系列技术手段，把神经网络的计算复杂度以及存储复杂度大大降低。

但要使推理和算法从云端迁移到终端成为可能，需要一个合适的工具或者框架提供支撑，因此必须在移动端或设备端定制一个推理框架。随后，研究团队用一年半时间自主设计开发出了一个Tiny AI平台QEngine。

而后，研究人员对模型进行轻量化设计，辅以合适的平台提供支持，但运行速度依然不达标。所以，下定决心从底层硬件寻求突破。AI芯片作为AI的硬件载体，要能达到更高的性能、更高的效率、更低的功耗和更小的体积，最大化发掘硬件的能力。

让王培松信心倍增的是，2019年，在国际神经信息处理系统大会（NeurIPS）上举行的神经网络压缩与加速竞赛中，团队与国际一流高校、芯片公司同场竞技，其设计的轻量化神经网络架构获得了图像类赛道双料冠军。2020年，自动化所自主研发的极低比特量化神经处理芯片（QNPU）也成功流片。

3.新一代AI逐浪者

自动化所软硬协同轻量化的技术研究一直走在国际前列。Tiny AI平台QEngine及轻量化算法已经在数十万终端上部署。国内的很多企业产品都应用了自动化所的Tiny AI技术。

如基于Tiny AI研制的自主巡检无人机、缺陷识别分析便携终端、通道可视化智能感知摄像头等，具备多种智能识别、检测和分析功能，可有效保障输配电线路的安全和电力系统稳定；在消费电子行业，轻量化的算法及轻量化神经网络计算架构可有效实现暗光增强、超分辨率等，为手机终端、安防终端提供了影像增强效果；在教育终端的人机互动领域，“轻量化指尖点读解决方案”赋予了低端硬件平台高端AI算力……

程健表示，Tiny AI一直默默地服务于人们日常生活中很多AI应用需求，但远远没有走到头。特别是在计算性能极弱的单片机，以及在各种空调、冰箱等家电中算力较弱的计算芯片上，实现比较复杂的AI任务任重道远。除此之外，目前Tiny AI基于的软件和硬件平台，大多还是针对大模型、云端开发来搭建的。未来要能最大化实现极致效率，还要进一步完善软硬件的协同设计。

文章来源：中国科学报