王培松:解析大模型高效计算:软硬件协同支撑端侧部署
作者:系统管理员 发布日期:2026-11-12 浏览次数:

图片
图片
图片
图片
图片
图片
王培松
图片
解析大模型高效计算:软硬件协同支撑端侧部署

10月27日,2026北京青年科技沙龙——具身智能与智能材料驱动的未来制造产学研用协同创新会议上,中国科学院自动化研究所副研究员王培松作《基于软硬件协同的大模型高效计算》报告,介绍团队在模型压缩、计算架构及端侧系统部署方面的研究。报告聚焦模型能力增长与设备算力、功耗、实时性约束之间的矛盾。


01
模型规模增长增加端侧部署压力

王培松指出,模型规模和计算量的增长推动了人工智能能力提升,也带来训练成本与端侧运行的挑战。机器人、无人机等设备通常受到功耗、存储和实时性限制;若完全依赖云端计算,还可能面临网络延迟与数据传输问题。因此,能否在有限硬件条件下保持模型性能,是人工智能进入物理场景的关键约束。

02
算力提升依赖软硬件协同优化

他介绍,团队从三个层面研究高效计算:在算法层面,通过量化、稀疏化和剪枝降低计算与存储开销;在硬件层面,围绕数值格式、访存和片上缓存改进计算架构;在系统层面,结合具体端侧平台优化部署。不同层面的改进需要相互匹配。例如,模型压缩后如果硬件不能有效支持新的计算方式,理论上的计算节省未必能转化为设备上的实际速度。

03
以应用效果检验研究价值

报告回顾了团队在手机、教育设备、电力巡检终端和无人机等设备上的应用探索,包括离线识别、目标检测和轻量化自主跟随等任务。王培松表示,高效计算研究与机器人并非相隔甚远:具身系统需要在有限资源下持续感知、决策和执行。未来,相关算法与专用硬件的协同优化,还需在更多实际任务中检验延迟、能耗与可靠性。

04
端侧系统评价需兼顾速度与资源消耗

王培松的报告说明,模型的理论计算量下降,不一定意味着设备上的任务完成时间同步缩短。模型结构、数据搬运、芯片指令和缓存利用方式都会影响最终效果。尤其在移动机器人和无人机上,算法还必须与电池、散热、传感器输入和控制周期配合。团队早期从手机图像分类做起,随后将轻量化方法用于更多嵌入式设备;相关实践表明,评价高效计算不能只看单项模型指标,还要看系统能否持续、实时地完成任务。