吞吐量_ 吞吐量提高3倍、延迟改善20%，微软背后的技术力量

Graphcore给智能处理单元带来了新的突破。

近日，布里斯托Graphcore发布了与微软的具体合作内容，正式发布了Microsoft Azure上的Graphcore智能处理器( IPU )的预览版。

微软和Graphcore已经密切合作两年多了。 在此期间，优秀的工程师MarcTremblay率领的微软团队开发了面向Azure的系统，在IPU上提高了高度的机器视觉和自然语言处理( NLP )模型。

Azure上的Graphcore IPU预览版是为了用户注册而公开的，其重点是突破NLP的界限，在机器智能方面给予新突破的开发者优先的访问权。

Graphcore从零开始设计了智能处理单元( IPU )，旨在推动机器智能领域的新突破。 面向IPU和产品的Poplar软件堆栈可为开发人员提供强大、高效、可扩展、高性能的解决方案，帮助他们创新AI。 通过加速更复杂的模型并开发新技术，客户可以解决最困难的AI工作负载。

微软和Graphcore开发人员可以使用BERT语言模型提供最先进的性能和准确性，并且可以在56小时内通过一个IPU服务器系统和八个C2 IPU处理器PCIe卡训练BERTBase。 BERT推论发现，客户的吞吐量提高了3倍，延迟提高了20%以上，并且可以快速提供结果。

此级别的语言理解能力对于文本和交互式AI应用至关重要，例如搜索引擎能够提供更有用的查询响应并需要情感分析和人类级别理解能力的智能个人助理。 自然语言处理是人工智能的重要战略领域，预计到2025年，人工智能硬件市场对自然语言处理的规模将达到150亿美元(来源: Tractica Q42018 )。

微软Azure计算事业部副总裁giishbablii说:“自然语言处理模式在微软非常重要的Microsoft Azure上运行我们的内部AI工作负载，并为我们的AI客户端提供服务。” 微软Azure计算事业部副总裁giishbablii表示:“我们非常兴奋，与Graphcore在处理器方面的新合作可以给我们的客户带来很多好处。 Graphcore的产品扩展了Azure的能力，在这方面的努力是确保Azure仍然是AI最佳云策略的一部分”。



IPU不仅为当今复杂的AI模型(如BERT )提供了最先进的性能，还加快了新技术。 IPU开拓新的研究领域，帮助公司探索新的技术，建立能够以更少的数据训练的更高效的机器学习系统。

欧洲搜索引擎Qwant是Graphcore IPU的早期客户之一，Qwant通过运行配备下一代图像识别模型ResNext的IPU获得了高性能，同时降低了延迟。

qwantaceo ericleandri表示，QWanta的研究小组致力于AI的尖端技术，在用户搜索查询中迅速提供最佳结果，确保结果中立、公正、准确。 这是很高的要求。 我们每天仅图片检索就达数百万次。 我们实施的最新AI创新之一是名为ResNext的新图像识别模型，可以提高提供图像检索结果的精度和速度。 微软与Graphcore密切合作，Azure使用IPU处理器技术，IPU使用ResNext的图像检索功能显示性能提高了3.5倍。 Graphcore IPU对新的机械智能模型具有巨大的创新潜力，我们可以研究这些方法，改进搜索，准确地提供客户所需的结果。”



ResNext使用包卷积和深度可分离卷积显着提高效率(准确性/参数)。 这是IPU将卷积的块分割为更小的可分离的块，以有效地支持这些卷积的块。

为了更深入地理解硬件对于群卷积和完全可分离卷积的适用性，图形核心客户工程团队制定了包括典型卷积模块的一系列微准则测试。 据测试，IPU具有明显的全面优势，数据包卷积吞吐量的优势达到了77倍。



Citadel高性能计算开发团队负责人丹尼尔·卡拉帕za说:“Citadel的重点是利用先进的技术优化一系列战略和资产类别的投资流程。 我们相信，持续重新评估和改进投资团队提供的技术有助于在竞争中保持领先地位。 作为初始合作伙伴，戴尔很高兴与Graphcore合作，以测试新处理器技术能够在业务中实现的应用程序。 Graphcore IPU是为了机器学习而设计的，它的新体系结构现在可以寻找以前效率低下或不可能实现的新技术。”

伦敦帝国工科大学计算机系机器人视觉教授安德鲁·戴维森表示:“我相信新处理器技术在不久的将来，将对空间AI和SLAM (同时定位和地图构建)的发展发挥重要作用。 我们很高兴能尽早获得Graphcore创新的新硬件研究机会。 完全共同的空间AI需要图形上具有稀疏概率、几何推理以及深层神经网络的计算。 Graphcore重视通信和计算，创造了新的可扩展体系结构。 我们相信所有这些算法都有可能以低延迟和低功耗运行”

最后，Graphcore宣布还将与戴尔一起展示第一项专为满足企业客户构建本地计算机智能计算的需求而设计的IPU技术。

DellEMC DSS 8440在Dell sc19 ( # 913 )展位上展出，是采用Graphcore技术的机器学习服务器。 该系统使用8个图形酷睿c2IPU处理器PCIe卡提供1.6PetaFlops计算机智能。 每个卡都有两个IPU处理器，所有卡都使用标准的4U机箱连接到高速IPU-Link技术。

本文来源于汽车房屋车牌号的作者，不代表汽车房屋观点的立场。