高通的云AI 100是为边缘人工智能推理而设计的 _知识经验

文章插图
高通一年一度的人工智能日会议在三藩市开始。它已经为智能手机、平板电脑和其他移动设备采用了三种新的系统芯片，如果这还不够，它还宣布了一款为边缘计算量身定制的产品：高通云AI100 。
“这是我们专为AI推理处理设计的全新信号处理器，”产品管理高级副总裁KeithKressin表示，并补充称，采样将于明年下半年开始生产。“(我们)不仅仅是在数据中心重复使用移动芯片。”
云AI100-将在许多不同的模块，形状和原始设备制造商的功率水平提供-集成了各种开发工具，包括编译器，调试器，分析器，监视器，服务，芯片调试器和量化。此外，它还支持运行时，包括ONNX、Glow和XLA，以及机器学习框架，如谷歌的TensorFlow、脸书的PyTorch、Keras、MXNet、百度的PaddlePaddle和微软的认知工具包。
高通估计，其峰值性能是骁龙855和Snapdragon820的3到50倍，并声称其速度比传统现场可编程门阵列(FPGA)高约10倍——为制造后配置而设计的集成电路。推理任务的平均值。此外，以tera每秒操作数(TOPs)——高性能芯片的常用性能指标——来衡量，CloudAI100可以达到“远超100 TOP” 。(相比之下，骁龙855最多可达7顶。)
“FPGA或GPU可以(通常)更有效地执行AI推理.[因为] GPU是更并行的机器，[而] CPU是更串行的机器， [并且]并行机器更适合AI处理，”Cresin解释道。“然而，GPU是更专门为显卡设计的，如果你从头开始设计芯片，实现AI加速，你可以获得显著的提升。对CPU或GPU大约有一个数量级的提升。定制的人工智能加速器还有一个数量级的改进机会。”
在高通进入云推理之前，其主要竞争对手华为宣布了业界性能最高的基于Arm的处理器，名为鲲鹏920 。在SPECint——一个由12个测试整数性能的程序组成的基准测试套件中——芯片的得分超过930，比行业基准测试高出近25% ，功耗比现有行业提供的低30% 。
这不是唯一的一个。
今年1月，在拉斯维加斯的消费电子展上，英特尔详细介绍了其即将推出的Nervana神经网络处理器(NNP-I) 。据悉，它将为竞争显卡提供高达10倍的AI训练性能。谷歌去年首次推出EdgeTPU，这是一款专门用于推理的ASIC 。阿里巴巴去年12月宣布，计划在今年下半年推出首款自主研发的AI推理芯片。
在这个等式的FPGA方面，亚马逊最近采用了自己的AI云加速器芯片——AWS推断——而微软则在Project脑电波中预览了一个类似的平台。今年3月，脸书采用了国王峡谷作为人工智能推理的开源服务器芯片。就在本月，英特尔发布了一系列针对人工智能和大数据工作负载进行了优化的芯片组——Agilex 。
然而，高通有信心云AI100的性能优势将使其在深度学习芯片组市场预测中占据一席之地，到2025年达到6630万美元。
“很多人把网络硬件放在云端，就像内容交付网络一样进行不同类型的处理，无论是云游戏还是人工智能处理。所以这是另一个关键趋势。从最终用户输入技术到云，高通有机会全程参与。
它的其他潜在优势？生态系统支持。去年11月，高通向一个专注于边缘和设备人工智能的初创基金承诺了1亿美元，特别是在自动驾驶汽车、机器人、计算机视觉和物联网领域。去年5月，它与微软合作，为嵌入其许多片上系统的人工智能加速器创建了一个可视化人工智能开发工具包。
【高通的云AI 100是为边缘人工智能推理而设计的】“就市场规模而言，推理正在成为一个重要的硅市?。笨死仔了?。“随着时间的推移， (我们预计)推断(将成为)更大的一部分——在2018年至2025年之间增加约10倍。我们非常有信心能够成为动力性能或人工智能处理和数据领域的领导者。”