HPE、IBM、Oracle、开源社区、创业公司采用RAPIDS,显著提升端到端预测数据分析能力
德国慕尼黑—GTC Europe—2018年10月10日—NVIDIA发布了一款针对数据科学和机器学习的GPU加速平台,该平台已为多个行业领先者所采用,并能帮助超大规模公司以前所未有的速度分析海量数据并进行精准的业务预测。
RAPIDS开源软件帮助数据科学家显著地提高了工作绩效,对于这些数据科学家来说,种种业务挑战应接不暇,其中包括预估信用卡诈骗、预测零售存货及理解顾客购买行为等等。众多公司——无论是Databricks和Anaconda等开源社区先驱还是Hewlett Packard Enterprise、IBM和Oracle等技术领袖——在GPU对数据分析的重要性方面日益达成共识,并对RAPIDS表现出越来越多的支持。
据分析师估计,面向数据科学和机器学习的服务器市场每年价值约为200亿美元,加上科学分析和深度学习市场,高性能计算市场总价值大约为360亿美元。
“数据分析和机器学习是高性能计算市场中最大的细分市场,不过目前尚未实现加速,“NVIDIA创始人兼首席执行官黄仁勋在GPU技术大会主旨演讲中发布RAPIDS时表示,”全球最大的行业均在海量服务器上运行机器学习算法,目的在于了解所在市场和环境中的复杂模式,同时迅速、精准地做出将直接影响其决策的预测。
黄仁勋表示,“得益于CUDA及其全球生态系统以及与开源社区紧密合作,我们已创建了RAPIDS GPU加速平台。该平台已与全球最流行的数据科学库及工作流无缝整合,可加速机器学习。如同深度学习一样,我们正在不断地为机器学习提速。”
RAPIDS已为GPU加速分析和机器学习提供了一整套开源库,数据可视化即将是下一个目标。RAPIDS由NVIDIA工程师与主要的开源贡献者在过去两年的合作成果。
RAPIDS第一次为数据科学家提供了他们需要用来在GPU上运行整个数据科学管线的工具。最初的RAPIDS基准分析利用了XGBoost机器学习算法在NVIDIA DGX-2系统上进行训练,结果表明,与仅有CPU的系统相比,其速度能加快50倍。这可帮助数据科学家将典型训练时间从数天减少到数小时,或者从数小时减少到数分钟,具体取决于其数据集的规模。
RAPIDS构建于Apache Arrow、pandas和scikit-learn等流行的开源项目之上,为最流行的Python数据科学工具链带来了GPU提速。为了将更多的机器学习库和功能引入RAPIDS,NVIDIA广泛地与开源生态系统贡献者展开合作 ,其中包括Anaconda、BlazingDB、Databricks、Quansight、scikit-learn、Ursa Labs负责人兼Apache Arrow缔造者Wes McKinney以及迅速增长的Python数据科学库pandas等等。
McKinney表示,“作为GPU加速的数据科学平台,RAPIDS是由Apache Arrow驱动的新一代的计算生态系统。NVIDIA与Ursa Labs的合作将加速Arrow核心数据库的创新步伐,并有助于大幅提升分析及特征工程的绩效。”
为了推动RAPIDS的广泛应用,NVIDIA正努力将RAPIDS与Apache Spark进行整合,后者是分析及数据科学方面领先的开源框架。
Databricks联合创始人、首席技术官兼Apache Spark创始人Matei Zaharia表示,“在Databricks公司中,我们对RAPIDS在加速Apache Spark工作量方面的潜力感到非常兴奋。我们目前开展的多个项目都意在将Spark更好地与本地加速器进行整合,其中包括借助Project Hydrogen实现的Apache Arrow的支持以及GPU调度。我们相信,就扩大我们客户数据科学及AI工作量来说,RAPIDS将是全新的、振奋人心的机会。”
各个行业技术领先的企业均是NVIDIA GPU加速平台及RAPIDS的率先应用者。
沃尔玛执行副总裁兼首席技术官Jeremy King表示,“NVIDIA的GPU加速平台及RAPIDS软件极大改进了我们使用数据的方式,帮助我们实现了复杂模式大规模地运行,同时进行更加精准的预测。RAPIDS的应用得益于NVIDIA和沃尔玛工程师之间的深度合作,我们准备继续推进这种合作关系。”
此外,一些全球领先的技术公司也力图通过全新的系统、数据科学平台和软件解决方案支持RAPIDS,包括Cisco、DELL EMC、联想、NERSC、NetApp、Pure Storage、SAP和SAS等。
供货
全套RAPIDS开源库现在即可在http://www.rapids.ai上获得,代码经Apache许可公布。容器化RAPIDS版本现在即可在NVIDIA GPU Cloud container registry上获得。
好文章,需要你的鼓励
英国宠物慈善机构PDSA数据显示,超过半数宠物主担心无法承担兽医费用。科技公司正通过AI和物联网技术解决这一市场需求。在伦敦兽医展上,多家初创公司展示了创新技术:AI for Pet利用视觉AI分析宠物眼部、皮肤等图像提供健康洞察;Sylvester.ai开发AI模型识别猫咪疼痛表情;VEA整合患者数据自动化诊断。此外,智能项圈等物联网设备可追踪宠物健康症状。这些技术有助于宠物主采取预防措施,降低兽医费用。
卡内基梅隆大学联合Adobe开发出革命性的NP-Edit技术,首次实现无需训练数据对的AI图像编辑。该技术通过视觉语言模型的语言反馈指导和分布匹配蒸馏的质量保障,让AI仅用4步就能完成传统50步的编辑任务,在保持高质量的同时大幅提升处理速度,为图像编辑技术的普及应用开辟了全新道路。
北欧国家启动统一人工智能产业计划,旨在通过合作在全球舞台上竞争,获得微软和谷歌支持。10月成立的新北欧AI中心获得350万英镑初始预算,但谷歌和微软是唯一提供资金支持的科技公司,具体金额保密。该中心将开发生成式AI系统并建设应用AI服务的系统。北欧教育部长承诺追加资金开发大型北欧语言生成AI模型。尽管资金有限,但北欧国家希望通过联合力量在AI竞赛中提升地位。
复旦大学团队突破AI人脸生成"复制粘贴"痛点,开发WithAnyone模型解决传统AI要么完全复制参考图像、要么身份差异过大的问题。通过MultiID-2M大规模数据集和创新训练策略,实现保持身份一致性的同时允许自然变化,为AI图像生成技术树立新标杆。