为快速增长的计算工作负载,人工智能(AI)也是英特尔认为将对世界产生变革性影响的超级技术力量之一。然而,数据显示,有超过一半的AI和数据科学项目无法真正部署到现实应用中,均以失败告终。海量数据、无法完全兼容的设备加之各异的数据环境,无疑为AI的应用和落地设置了重重关卡。
基于此,秉承推动AI无处不在的美好愿景,英特尔全面打造基于大数据AI开源项目BigDL,旨在助力从笔记本到云,无缝扩展大数据 AI。日前,英特尔院士、英特尔大数据技术全球首席技术官戴金权应邀出席 China Apache Hadoop Meetup 2022,并在会上深入解析英特尔如何从如下三个领域着手,创新BigDL,助力开源发展。
打造高可扩展性
对数据科学家和开发者而言,高可扩展性不仅意味着如何能高效、快速地构建出端到端的分布式数据和AI的流水线,也同样需要注重基础架构部署。与理论不同,实践中的科学家们更关注如何将AI技术应用部署到实际场景,其中包括建模、训练、推理和对模型的优化等全流程,这意味着需要考虑端到端的流水线。基于此,英特尔在底层就开始进行数据切分、模型复制、参数同步等工作,让数据科学家们能够有统一的体验,同时,英特尔亦将大规模分布式的工作透明化、抽象化,让数据科学家们能够高效开发AI流水线。而对于基础架构,英特尔亦通过类似BigDL的项目,为用户提供统一的大数据AI集群/基础架构。在同一个集群、流水线、工作程序当中,对这些大数据系统进行数据访问、分布式处理,在同一个流水线里以内存计算的形式进行大规模分布式数据分割,再由这些深度学习、机器学习的系统对其进一步分析。
提升每个节点的性能效率
每当提及AI性能时,大多数人的第一反应是GPU或AI芯片,然而软件优化能够带来的AI性能提升却极易被忽视。英特尔通过软件层面优化,如TensorFlow、PyTorch、MXNet等,可以带来几十倍、上百倍的性能提升,能够更加高效地集成这些软件。因此,可以认为构建一个免费的AI软件加速器,在笔记本、CPU集群上都能够带来性能上的极大提升。而且,现如今有大量的现代化CPU加速技术,如内存分配、指令集等,将这些技术整合在AI流水线中,也能够大大提升AI性能。值得注意的是,英特尔不仅通过软件大幅提升每个节点性能,亦能实现集成过程的透明性,使数据科学家的实操更加便捷。
构建安全可靠的数据处理环境
将AI应用从笔记本扩展到诸如云环境中时,安全也是数据科学家非常关注的另一大问题。对当下大部分应用场景而言,隐私保护机器学习与大数据分析是运行在云中非常重要的需求。这个安全保障不仅囊括了如同态加密、远程验证等软件方面的安全保障,也需要类似可信执行环境等硬件安全保障,如英特尔® SGX技术具备持续增强的安全能力,可在内存等硬件中构建一个安全“飞地”,帮助保护代码和数据,防止数据在处理期间遭受恶意软件攻击和权限提升型攻击。因此,基于英特尔® SGX技术打造的BigDL PPML,能够让用户即使没有处于极度信任的公有或私有云中也仍然可以进行非常安全的数据分析和AI应用。
得益于高扩展性、性能提升和安全可靠的特性,BigDL能够通过端到端大数据人工智能管道,降低AI的准入门槛,不仅能够让数据科学家、工程师等更便捷、简易地构建大规模分布式人工智能解决方案,从而加速AI应用和部署,亦有助于挖掘更多AI潜力,为各行业发展注入新动能。
好文章,需要你的鼓励
最新数据显示,Windows 11市场份额已达50.24%,首次超越Windows 10的46.84%。这一转变主要源于Windows 10即将于2025年10月14日结束支持,企业用户加速迁移。一年前Windows 10份额还高达66.04%,而Windows 11仅为29.75%。企业多采用分批迁移策略,部分选择付费延长支持或转向Windows 365。硬件销售受限,AI PC等高端产品销量平平,市场份额提升更多来自系统升级而非新设备采购。
清华大学团队开发出LangScene-X系统,仅需两张照片就能重建完整的3D语言场景。该系统通过TriMap视频扩散模型生成RGB图像、法线图和语义图,配合语言量化压缩器实现高效特征处理,最终构建可进行自然语言查询的三维空间。实验显示其准确率比现有方法提高10-30%,为VR/AR、机器人导航、智能搜索等应用提供了新的技术路径。
新一代液态基础模型突破传统变换器架构,能耗降低10-20倍,可直接在手机等边缘设备运行。该技术基于线虫大脑结构开发,支持离线运行,无需云服务和数据中心基础设施。在性能基准测试中已超越同等规模的Meta Llama和微软Phi模型,为企业级应用和边缘计算提供低成本、高性能解决方案,在隐私保护、安全性和低延迟方面具有显著优势。
IntelliGen AI推出IntFold可控蛋白质结构预测模型,不仅达到AlphaFold 3同等精度,更具备独特的"可控性"特征。该系统能根据需求定制预测特定蛋白质状态,在药物结合亲和力预测等关键应用中表现突出。通过模块化适配器设计,IntFold可高效适应不同任务而无需重新训练,为精准医学和药物发现开辟了新路径。