算法演进如何成就高能效的人工智能

开创性的贝叶斯深度学习支持模型压缩和量化
2018-08-21 10:43:04作者:韦灵思来源: a&s智慧生活

[摘要] 未来,AI硬件将会如何发展?高效硬件的关键在于,它是从系统层面深入地理解真正的AI工作负载——换言之,真实环境中的应用如何运行在真正的终端上。Qualcomm致力于通过硬件、算法和软件来实现这一点。

   文/Qualcomm Technologies Netherlands B.V.技术副总裁韦灵思

       Qualcomm Technologies正凭借其规模化的技术发明致力于让数万亿终端支持人工智能(AI),这将不仅丰富我们的生活,同时也将变革诸多行业。对于运行在联网终端上的AI,它的处理能效需要不断提升。高能效是Qualcomm AI Research的核心研究领域之一。本篇博客将通过举例说明Qualcomm在高能效AI算法方面的最新研究,以及它如何与高能效的硬件设计相辅相成。

  每焦耳提供多少智能将成为AI的评估基准

  深度神经网络(DNN)的爆发式增长正在推动AI的发展。在深度神经网络的能耗以指数级增长的同时,其预测的准确性也相应提升,尽管这一提升十分微小但却至关重要。根据目前的发展趋势,预计在2025年,神经网络有望将其规模扩大至100万亿个权重参数(图1),这一数据与人类大脑中突触的数量接近。大脑的能效比目前的数字硬件高100倍,因此它也赋予我们不断提升的希望和动力。

2.png

  图1:深度神经网络(DNN)的爆发式增长正驱动大量的能源消耗。(资料来源:韦灵思)

  值得关注的是,很快,AI处理的基准测试将会有所改变,AI算法将以每焦耳可以提供多少智能作为衡量指标。两个主要原因如下:

  o一方面,广泛的经济可行性需要高能效AI,这是因为AI所创造的价值必须高于运行该服务的成本。更直观的说,对于应用AI的每项交易,它的经济效益可能要求成本低至1微美元(即一美分的万分之一),比如利用AI实现个性化广告和推荐。

  o另一方面,将终端侧AI处理运行在精致、超薄的移动终端上也要求高能效。一个让消费者广泛采用AI的场景是,在功耗和散热能力有限且要求全天续航的终端设计中,处理始终在线的计算密集型工作负载。此外,一些其他类型的终端也要求同样的能效特性,例如自动驾驶汽车、无人机和机器人

  更深入地研究深度神经网络

  主要由卷积神经网络(CNN)组成的深度神经网络(DNN)正在驱动时下的AI变革。接下来我们将从优点和缺点两方面来介绍CNN。只有从基本角度了解它的缺点才能帮助我们改进CNN。

3.png

  图2:面向图像分类的简单深度神经网络。

  在优点方面,CNN可以借助最新研究成果来提取可学习特征、支持编码位置的不变性(例如上图中的狗,无论它位于图片中哪个位置,都可以被归类)、通过共享参数让“数据高效”,以及在现代硬件上快速执行及并行处理。在缺点和需要改进的方面,CNN最显著的问题是消耗了太多内存、计算能力和能源。它不能对额外的对称性进行编码,例如旋转不变性(如果我们把图2中的狗上下颠倒,它将不能辨认);它也不能可靠地量化预测的置信度,并且易于被输入侧的轻微改变所欺骗,如对抗样本。我们正在研究各种技术以应对这些挑战,贝叶斯深度学习就是一项非常有前景的技术成果。

  噪声对AI来说可以是好事

  贝叶斯深度学习是随机的,这意味着在向神经网络的权重增加噪声或随机值的时候,它还会将噪声传播到激活节点。这些噪声可以是好事,并且受到了人类大脑工作方式的启发。贝叶斯深度学习的一个关键优势是通过压缩和量化来降低神经网络模型的复杂度。量化可以减少参数的位宽(例如使用四位而非八位),而压缩则可裁剪模型中的激活节点数量,最终提升能效。如果想了解更多细节也可以观看网络研讨会中更详细的解读。

  贝叶斯深度学习不仅仅是一种理论——在研究中,我们已经将其应用在实际用例中。举个例子,在一系列被标记图像的基准数据点上,我们测量了ResNet-18的规模和精确度。ResNet-18是一种用于图像分类的神经网络,且已针对规模而优化。然后,我们比较了先进裁剪方式和贝叶斯裁剪方式的精确度和压缩比。结果显示,贝叶斯裁剪裁的效果最好,其压缩比为基准数据的3倍,同时保持了基本相似的精确度。

  AI的整体能效

  未来,AI硬件将会如何发展?高效硬件的关键在于,它是从系统层面深入地理解真正的AI工作负载——换言之,真实环境中的应用如何运行在真正的终端上。Qualcomm致力于通过硬件、算法和软件来实现这一点。

  对于加速AI硬件,Qualcomm研究了既定任务下恰当的计算架构和内存层级,并消除了降低利用率和阻碍性能达到理论峰值的瓶颈。Qualcomm专注于算法演进,例如贝叶斯深度学习可以帮助优化硬件。对于软件工具,骁龙神经处理引擎软件开发包(SDK)等可以帮助实现硬件的内置优化,旨在提供每瓦时的高性能硬件。

  从了解如何编写应用、理解普及的神经网络到检测系统瓶颈,Qualcomm将这些经验和心得反复地应用于硬件设计。上述系统专长让我们在硬件、算法和软件的每一领域不断探索,以提供高效的整体解决方案。正是对高能效AI的无限热情驱动Qualcomm实现我们的愿景,即成就无处不在的终端侧AI。


       注:本文由Qualcomm Technologies公司提供,谢绝转载!


0
[责任编辑:张秋华]

安全自动化 官方微信    as视界 服务号

不得转载声明: 凡文章来源标明“安防知识网”的文章著作权均为本站所有,禁止转载,除非取得了著作权人的书面同意且注明出处。违者本网保留追究相关法律责任的权利。

腾讯长三角AI超算中心及人工智能产业园迎来首台主变压器进场安装

腾讯长三角AI超算中心及人工智能产业园迎来首台主变压器进场安装

近日,上海首批重大新基建项目之一、腾讯长三角AI超算中心及人工智能产业园迎来首台主变压器进场安装,标志着超算中心220千伏总降站正式进入电气安装阶段。这个将成为“长三角最快”的超算中心,用电需求也不一般。上海市南电力集团松江分公司介绍说,整个园区用电容量创下上海数据中心之最。项目采用220千伏直降10千伏的非标变压器,这样的非标变压器在上海的应用案例仅此一例。图为电力人员正在安装220千伏总降站主变压器。
北京聚焦科技冬奥等领域促进人工智能场景开放

北京聚焦科技冬奥等领域促进人工智能场景开放

9日,北京启动建设国家人工智能创新应用先导区,将聚焦科技冬奥、智慧城市、智能制造、智能网联汽车等重点领域,进一步促进开放场景,提升人工智能深度应用水平,持续推进人工智能和实体经济深度融合。
专栏
我要投稿
文章排行榜
杂志
  • 安全&自动化2023年9-10月 第261期
    2023年11月第261期
    2022-2023年,全球经济前景的“不确定性”正在对安防与其他行业产生着重大的影响,通货膨胀、供应链挑战、地缘政治冲突、全球劳动力市场结构变化……不稳定的经济环境在很大程度上给全球安防行业的发展带来了极大的阻力。2022年国内安防市场保持着增长,但增速放缓,2023年国内宏观经济呈现复苏态势,市场需求有所回暖,但由于国内政府财政收支减少、部分项目进展缓慢、房地产市场下滑、企业端市场投资信心减弱等因素,给安防企业带来持续挑战。
活动展会
更多