2018年9月26日 北京—在今日举行的“携手共创未来数据科技;京东与英特尔,大数据合作备忘录签约仪式”上,英特尔与京东共同分享了在大数据分析领域的合作成果,以及将要展开的全新合作。具体而言,京东正在为建立高级数据分析能力而着力打造下一代可扩展的大数据平台,京东和英特尔除了在软件领域展开深入合作外,京东大数据也在计算、存储、网络等领域充分利用英特尔下一代硬件产品;京东大数据团队在大数据领域创新的同时,将持续推动开源社区和整个行业在数据分析领域的进步。
京东与英特尔成立数据计算联合实验室(左:裴健,京东集团副总裁,大数据与智能供应链事业部总裁;右:马子雅,英特尔公司软件和服务部门副总裁,数据分析部门负责人)
京东集团副总裁,大数据平台负责人翁志 (Dennis Weng)表示:“京东的目标是在大数据架构领域成为业界领先的互联网企业,实现京东大数据成本和效率有机的平衡和提升,将京东大数据技术带入行业领先地位。 基于与英特尔在软、硬件方面的全面合作,并借助京东公有云平台,建立并增强通过京东云将大数据分析服务覆盖到外部客户、对外输出大数据分析的相关能力,助力京东公司层面的角色转型。”
京东正在着力打造提供最佳性价比的下一代大数据平台,在虚拟化技术、存储计算分离、存储压缩技术等计算资源横向智能扩展上发力,在AIops等领域进行深耕。其中也包括通过英特尔先进的技术为支撑,对大数据基础架构进行升级。
京东和英特尔在软件领域进行了重要合作,推动英特尔优化过的开源软件的普及应用,诸如Apache Spark on Kubernetes及其相关的框架和工具套件、Adaptive Execution、存储和计算分解、Spark工作负载优化等。结合京东的海量大数据应用,京东和英特尔已经联手对这些项目进行了深度定制,在统一的数据分析和AI流水线上加速并简化了方案开发,并在某些特定场景下发挥了巨大的效能。
“我们正在进入一个先进的数据分析时代,使用复杂的算法和模型以及应用不断增长的数据量和更复杂的数据集正在成为主流。 我们看到传统人工智能与大数据分析的集成越来越多,以解决更复杂的问题,”英特尔公司副总裁、英特尔开源技术中心总经理Imad Sousou表示, “我们与京东利用英特尔在可扩展计算、持久内存、网络和开源软件优化方面的平台创新进行高级分析,并合作开发下一代大数据平台,这是解锁数据智能和加速深入洞察之路的重要一步。”
京东大数据团队也在计算、存储、网络等领域充分利用英特尔下一代硬件产品。京东将会在英特尔®至强®可扩展平台基础上建立基于英特尔的新一代硬件产品,如英特尔傲腾固态硬盘以及英特尔傲腾数据中心级持久内存等,以完成架构升级,降低运行成本,增加集群整体效能。
京东在大数据领域的创新不仅有利于京东自身数据分析能力的提升,也有助于开源社区和整个行业的各种成功应用案例,与英特尔携手推动数据分析的改进。
好文章,需要你的鼓励
清华大学团队突破性开发"零样本量化"技术,让AI模型在不接触真实数据的情况下完成高效压缩,性能反超传统方法1.7%,为隐私保护时代的AI部署开辟新路径。
普林斯顿大学研究团队开发出"LLM经济学家"框架,首次让AI学会为虚拟社会制定税收政策。系统包含基于真实人口数据的工人AI和规划者AI两层,通过自然语言交互找到最优经济政策,甚至能模拟民主投票。实验显示AI制定的税收方案接近理论最优解,为AI参与社会治理提供了新路径。
K Prize是由Databricks和Perplexity联合创始人推出的AI编程挑战赛,首轮比赛结果显示,获胜者巴西工程师Eduardo Rocha de Andrade仅答对7.5%的题目就获得5万美元奖金。该测试基于GitHub真实问题,采用定时提交系统防止针对性训练,与SWE-Bench 75%的最高得分形成鲜明对比。创始人承诺向首个在该测试中得分超过90%的开源模型提供100万美元奖励。
南开大学研究团队提出了一种新的3D高斯泼溅重光照方法,通过在高斯原语上直接编码离散化SDF值,避免了传统方法需要额外SDF网络的问题。该方法设计了投影一致性损失来约束离散SDF样本,并采用球形初始化避免局部最优。实验表明,新方法在保持高质量重光照效果的同时,仅需现有方法20%的显存,显著提升了训练和渲染效率。