为期两天的AICon全球人工智能和机器学习技术大会闭幕,作为各行业AI顶尖技术人员的盛会,AICon多年来一直吸引着行业领先企业。 今年也不例外,华为、AWS、阿里巴巴、腾讯等公司的AI专家们聚集在一起,探讨了围绕AI产业变革的机会和技术革新的方向。
本次大会上展示的AI着陆事例、AI技术实践、AI的工业化应用,从2019年11月开始,强调了AI在各行业的意义已经不再是“有价值”而是“如何使AI变得有价值”这一事实。
与此同时,在5G商用元年,新的通信技术带来的巨大潜力正在传播到产业的各个链中,但云计算的不断发展深深地影响着从政府到大企业的各个方面。
这也是业界遗留的命题: 5G,AI和云共同定义这个时代时,各行业AI应用的第一步从哪里开始?
参加本次大会的华为云给出了自己的回答:利用华为云的全席全景AI能力,开发者、企业可以快速进入AI的开发、引进和应用课程。
在这次大会上,华为云还展示了整个榻榻米的AI解决方案。 具体而言,“完整堆栈”是指完整堆栈的场景,包括芯片、芯片启用、培训和推理框架以及应用启用。“所有场景”包括公共云、私有云、各种边缘计算、物联网行业终端
那么,现在的AI开发、发展的重点,华为云整体堆栈的AI能力如何理解,对开发人员、企业有什么意义呢?
接下来,让我们逐一解读。
1 .开发/部署ai面临的挑战
对于任何行业来说,开发和部署AI都是一个全新的挑战,这些挑战也保持了AI开发和部署的一致性。
首先,AI计算能力的需求旺盛多样化。 2012年以来,AI计算能力的需求已经超过摩尔定律,模型越来越复杂,计算能力的需求越来越大,开发人员和企业面临的计算成本也大幅上升。
另一方面,伴随着物联网和未来的5G时代,AI计算的方案也变得多样化,从大规模的数据中心到小型终端设备,根据方案的不同,计算需求、消耗电力成本、计算延迟也有不同的需求。
这意味着AI的开发者和企业需要强大的灵活性和多场景计算能力。
其次是AI框架和一站式AI平台的需求。 作为芯片向下、向上应用的AI框架,TensorFlow等现在在业界流行,是为许多美国公司开发的,开源产品不受国际环境的影响,只谈开源产品本地化的后续服务
面对AI人才短缺的现实,进一步降低AI开发门槛成为业界的迫切需要,开发人员和企业也需要一站式的AI开发环境,迅速完成从数据标注到模型部署的一系列工作流。
第三,云、边和端的培训和部署如何协调。 这是摆在整个行业面前的共同课题,与AI模型培训较少的技术选择( GPU、数据中心)相比,AI模型的引入对开发者、企业来说更加复杂。 这是因为,AI的导入面临着复杂的设备环境,特别是在移动设备、边缘设备交错的业务场景中,如何有效地完成模型,从迅速的训练到迅速的导入,成为各行业的AI业者应该关注的命题。
2 .华为云如何解决计算能力问题?
在ICT领域工作了多年的华为,面对AI领域的开发、引进的难点、难点,提出了自己的想法。
如上所述,AI计算需求在过去7年间迎来了大爆炸,根据OpenAI的统计,从2012年到现在,AI计算能力需求增加了30万倍。
这带来了两个显着的变化。 一是传统的CPU不能承担AI计算的需求,其二是业界对GPU、FPGA、NPU的需求开始上升。
这就是华为上升筹码出现的行业背景。 通过基础创新的“达芬奇框架”,华为晋升芯片在末端云层具备统一的计算框架,不仅大幅度提高了计算能力,还实现了算法的一次开发,带来了顺利过渡到其他场景芯片的能力。
以今年正式发布的升级910码片为例,主要是针对数据中心的云AI训练,半精度( FP16 )的计算能力达到256 tera flops,整数精度( INT8)的计算能力达到512 tera ops,实现规格计算能力所需的功耗仅为310W,进行计算
与此同时,根据“达芬奇框架”,华为在端、边、云已经提出了相应的芯片,这些芯片构成了华为AI能力的最低层:利用芯片层/华为云的调度能力,满足开发人员、企业在不同场合的计算需求,公有云“支付多少钱”
3 .从框架到一站式开发平台的能力
在AI开发过程中,华为把MindSpore作为综合训练和推论的开源框架。 MindSpore从设计中决定“AI算法或代码”的设计模式,在可大幅度降低AI开发阈值的执行模式下,基于Ascend Native的执行引擎,可充分发挥升级芯片的强大计算能力 MindSpore还具备端点、边缘和云的适应能力,根据集成体系结构,尽管在某些场景中很小,但它仍可以最大限度地满足企业场景的需求,提供更好的资源效率和隐私保护。
值得注意的是,MindSpore未来也将全面开源,业界开发人员可以根据自己的业务需求灵活地扩展、定制和应用于更多硬件平台,构建自己的AI训练模型。
在开源框架MindSpore上,华为拥有一站式AI开发平台ModelArts。 该平台的工作方式是为开发者/企业提供基于云的机器学习开发全过程服务。
2019年3月,ModelArts在AI权威竞赛斯坦福大学DAWNBench排名中获得了图像识别训练和推理性能的双冠军,在大幅缩短模型训练时间的同时实现了超强的推理性能。
让我们看一系列具体的数字。 在训练性能方面,ResNet50_on_ImageNet上的测试结果,如果采用128张V100,则华为云ModelArts上的模型训练时间仅为4分08秒,比2018年12月创建的9分22秒的记录快2倍, 比以前的fast.ai在AWS平台上的训练速度快4倍。在推理性能上,华为云ModelArts识别图像的速度是第二厂商的1.7倍,亚马逊的4倍,谷歌的9.1倍。
ModelArts取得了这样的成绩,显示了机器学习平台上的技术优化能力,通过技术革新降低了机器学习平台的使用成本,最终将技术分红转让给企业和开发人员。
有趣的是,华为云ModelArts也实践了华为公司“把复杂性留给自己,轻松拥有客户”的理念,内置了自动(机器)学习特性,通过算法实现了模型训练的参数自动选择和模型自动调整,让零AI基础的业务开发人员快速完成模型训练和配置
例如,在机器学习最花费时间的数据标签中,ModelArts内置有AI数据框架,以AI机制管理数据,通过反复训练解决标签的数据量问题,从而在数据量大的场景中提高数据标签的效率。
例如为AI开发全过程管理,modelers结合了可视化管理模块,使得开发者可以快速地了解模型训练的进展,而modelers提供对数据、算法、训练、模型、服务过程的可视化管理,并且将该过程设置为任何对象
值得注意的是,从技术革新到产品的全流动思维,ModelArts在生态上都有自己的思维。 AI市场就是其一个例子,它是基于ModelArts构建的开发者生态社区,提供AI模型、API交易、数据、竞赛用例等内容共享功能。
在这个市场上,科研机构、AI应用程序开发人员、解决方案集成商或不同行业的企业都可以快速找到适合自己需求的技术和商机,有效地连接AI开发生态链的各参与者,加快AI产品的开发和落地,加快AI开发生态环保
4 .高效可靠的云AI开发环境
如何为开发者提供芯片带来的计算能力和框架/平台释放的场景能力,华为AI开发准备了基于云ide和代码集线器的高效可靠的开发环境。
首先,CloudIDE定义了新的在线编程体验,开发人员只需使用浏览器即可访问云集成的开发环境,因此无需担心软件过度安装造成的本地资源消耗,内置了关键技术堆栈。 开发人员可以利用支持100种语言的语法被突出显示的方式,以及可以按需进行在线调试和在线运行的云,灵活地配置和扩展开发所需的计算和存储资源。
同时,CloudIDE和面向终端设备的app画廊connect形成了有效的协作。 针对移动设备开发人员和企业的开发需求,他们提供公共云资源,如计算、存储、网络、数据库和AI,帮助开发人员降低应用程序开发部署的难度和成本
其次,华为云在开发代码管理中进行了一系列创新,例如企业最关注的代码安全,华为云的CodaHub从访问安全到存储安全,对Git-Crypt的支持,全面提高了安全性。
此外,CodeHub的代码模板共享计划、开发者和企业可以将自己的项目作为代码模板公开,提供业界的共同使用。 这不仅体现了“我是为了大家,每个人都是为了我”的开源精神,还有很多开发者以“站在巨人的肩上”的方式,实现了更多的革新。
第三,DevCloud上述两项服务与AI开发的全面协同效应。 如上所述,CloudIDE可以随时使用云开发资源。 换句话说,CloudIDE意味着开发人员可以快速构建AI开发环境,而modelersdk示例模板可以快速构建自己的项目。
在整个过程中,开发人员和企业根据自己的业务需求定制不同的计算和存储资源,快速部署AI项目开发环境,然后部署ModelArts SDK,在modelarts中直接开发培训和部署一站式
5 .最后写道:中国AI开发进入黄金时代
无论把AI定义为第四次技术革命的主要技术还是共同的目标技术,AI在各行业的意义都出现在过去几年的开始——它重建了许多行业的几十年到一百年的游戏规则,带来了巨大的技术和商业革新。
这是技术带来产业的新机遇。 国家一级的AI政策分配不断解放,我国的AI算法、学术研究经常受到国际的赞扬,当各行业接受AI的开发、配置和应用时,为AI开发落地提供一系列的解决方案,无疑成为我国科技巨头们面前的重要课题。
华为云是其重要玩家之一。
根据“达芬奇框架”芯片的能力,为AI整个领域不断上升的计算能力提供解决方案,利用MindSpore和ModelArts的场景功能,大幅降低AI开发阈值,满足开发人员、企业AI的强大计算能力和多场景计算能力的需求。 云开发环境在加快企业AI开发的同时,利用开源继续推进我国自我研究AI框架的发展,可以在AI芯片和AI框架中释放华为的核心能力和华为云的产业分配。
上述三个方面构成了观察整个华为云堆的AI战略的一个横断面。
凭借华为自身在ICT领域的技术积累,在过去几年中迅速形成从数据中心到边缘设备的AI硬件和软件产品线和解决方案,从研究芯片到自主框架,从一站式开发平台到云开发整合环境, 华为使一系列AI硬件和软件产品能够以华为云公开云的方式应用于各行业,加快了各行业进入AI开发、应用的快速车道,实现了行业的数字化、智能变革。
一个可能的场景是,随着包括华为云在内的中国AI基础设施经营者的迅速发展,未来中国最好的AI应用必将由中国AI芯片(上升芯片)推进的AI框架和开发平台( MindSpore ModelArts )和云开发环境( CloudIDE CodeHub ) 在中国最领先的云服务之一(华为云鲶云服务)上运营的中国AI的黄金时代已经到来。