NVIDIA GPU为Apache Spark 3.0提速
Apache Spark作为全球最流行的数据分析应用,现已通过此前发布的Spark 3.0版本为超过50万用户提供革命性的GPU加速。
Databricks为用户提供了先进的企业云平台Spark,每天有超过100万台虚拟机运行该平台。在6月25日的Spark+AI Summit峰会上,Databricks宣布其用于机器学习的Databricks Runtime 7.0将配备内置Spark 3.0的GPU加速器感知调度功能。该功能由Databricks与NVIDIA和其他社区成员合作开发。
Google Cloud近期宣布在Dataproc image 2.0版本上提供Spark 3.0预览版,同时指出在开源社区的协作下,现在已获得强大的NVIDIA GPU加速。NVIDIA将于7月16日与Google Cloud共同举办一场网络研讨会,深入探讨这些令数据科学家感到兴奋的新功能。
此外,用于Apache Spark的新开源RAPIDS 加速器现在可以加速ETL(提取、转换、加载)和数据传输,在无需更改任何代码的情况下提高端到端分析性能。
Spark性能的加速不仅意味着能够更快获得洞见,而且由于企业可以使用更少的基础设施来完成工作负载,因此还可以帮助企业降低成本。
Spark有充分的理由成为新闻媒体报导的焦点。
数据对于帮助企业机构应对不断变化的机遇和潜在威胁至关重要。为此,他们需要破译隐藏在数据中的关键线索。
每当客户点击网站、拨打客户服务电话或生成每日销售报告时,就会给企业机构贡献大量的信息。随着AI的兴起,数据分析对于帮助公司发现趋势并保持市场领先地位所起到的作用日益重要。
前不久,数据分析还依靠小型数据集来收集历史数据和洞见,通过ETL对存储在传统数据仓库中的高度结构化数据进行分析。
ETL常常成为数据科学家在获取AI预测和建议时的瓶颈。ETL预计会占用数据科学家70%至90%的时间,这会减慢工作流程并将炙手可热的人才束缚在最普通的工作上。
当数据科学家在等待ETL时,他们无法重新训练模型来获取更好的商业洞见。传统的CPU基础设施无法通过有效的扩展来适应这些工作任务,这通常会大幅增加成本。
凭借GPU加速的Spark,ETL就不会再产生这样的麻烦。医疗、娱乐、能源、金融、零售等行业现在可以经济、高效地为其数据分析提速,更快地获取洞见。
GPU并行处理使计算机可以一次执行多项操作。数据中心通过大规模横向扩展这些功能来支持复杂的数据分析项目。随着运用AI和机器学习工具的企业机构日益增加,并行处理已成为加速海量数据分析和ETL管道,进而驱动这些工作负载的关键。
比如有一家零售商希望预测下一个季节的库存。该零售商需要检查近期的销售量以及去年的数据。数据科学家还可可以此分析中添加天气模型,从而了解雨季或旱季对结果产生的影响。零售商还可以整合情绪分析数据,评估今年最流行的趋势。
由于需要分析的数据源太多,因此在对不同变量可能对销售量产生的影响进行建模时,速度就显得尤为重要。这就需要将分析加入到机器学习中,而且GPU也因此变得十分重要。
随着数据科学家从使用传统的分析转而采用可以更好地对复杂市场需求进行建模的AI应用,如果继续采用CPU,则必须牺牲速度或增加成本才能跟上由此产生的处理需求。而随着AI在分析中的应用日益增加,需要有新的框架来通过GPU快速、经济高效地处理数据。
用于Apache Spark的全新RAPIDS加速器将Spark分布式计算框架与功能强大的RAPIDS cuDF库相连接,实现了GPU对Spark DataFrame和Spark SQL的运行提速。RAPIDS加速器还通过搜索在Spark节点之间移动数据的最快路径来加快Spark Shuffle的运行速度。
好文章,需要你的鼓励
Gartner预测,到2030年所有IT工作都将涉及AI技术的使用,这与目前81%的IT工作不使用AI形成鲜明对比。届时25%的IT工作将完全由机器人执行,75%由人类在AI辅助下完成。尽管AI将取代部分入门级IT职位,但Gartner认为不会出现大规模失业潮,目前仅1%的失业由AI造成。研究显示65%的公司在AI投资上亏损,而世界经济论坛预计AI到2030年创造的就业机会将比消除的多7800万个。
CORA是微软研究院与谷歌研究团队联合开发的突破性AI视觉模型,发表于2023年CVPR会议。它通过创新的"区域提示"和"锚点预匹配"技术,成功解决了计算机视觉领域的一大挑战——开放词汇目标检测。CORA能够识别训练数据中从未出现过的物体类别,就像人类能够举一反三一样。在LVIS数据集测试中,CORA的性能比现有最佳方法提高了4.6个百分点,尤其在稀有类别识别上表现突出。这一技术有望广泛应用于自动驾驶、零售、安防和辅助技术等多个领域。
人工智能正从软件故事转向AI工厂基础,芯片、数据管道和网络协同工作形成数字化生产系统。这种新兴模式重新定义了性能衡量标准和跨行业价值创造方式。AI工厂将定制半导体、低延迟结构和大规模数据仪器整合为实时反馈循环,产生竞争优势。博通、英伟达和IBM正在引领这一转变,通过长期定制芯片合同和企业遥测技术,将传统体验转化为活跃的数字生态系统。
中国电信研究院联合重庆大学、北航发布T2R-bench基准,首次系统评估AI从工业表格生成专业报告的能力。研究涵盖457个真实工业表格,测试25个主流AI模型,发现最强模型得分仅62.71%,远低于人类专家96.52%。揭示AI在处理复杂结构表格、超大规模数据时存在数字计算错误、信息遗漏等关键缺陷,为AI数据分析技术改进指明方向。