为推动Open Compute Project(OCP)项目,Facebook本周公布了最新名为Big Basin v2的GPU服务器设计。
OCP最早是由一群致力于通过开发共享知识产权来打造高效服务器、存储和数据中心的工程师社区建立起来的。诺基亚、英特尔、思科、联想、苹果和谷歌等公司都是OCP的成员。
Big Basin v2的结构与之前的Big Basin基本相同,但升级采用了Nvidia最新八款Tesla V100图形卡。Tioga Pass CPU单元被用于头节点,同时在CPU与GPU之间数据传输的PCIe带宽也翻了一番。
Facebook在一篇博客文章中表示,在增加了OCP网卡的带宽之后,单GPU性能与之前的Big Basin设计相比增加了66%。
这意味着研究人员和工程师可以构建更大规模的机器学习模型,更有效地进行训练和部署。 Facebook通过监控用户的互动,来预测特定用户将看到什么内容。
Facebook将机器学习用于新闻推送排名、个性化广告、搜索、语言翻译、语音识别、甚至是在上传的图片中为你的朋友推荐正确的标签。
大多数机器学习是通过Facebook的AI软件平台FBLearner运行的。
Facebook机器学习基础设施的数据通道。图片来源:Facebook
它分为不同的组件:Feature Store、Flow和Predictor。
Facebook解释说:“Feature Store根据数据和数据流生成特征并将其提供给FBLearner Flow。Flow则基于生成的特征来构建、训练和评估机器学习模型。”
“然后通过FBLearner Predictor把最终的训练模型部署到生产环境中。Predictor会对实时流量进行推断或预测。例如,它可以预测某人最关心的故事、帖子或照片。”
我们很感兴趣看看用于支持大型企业人工智能和机器学习的硬件蓝图是怎样的。这对Facebook来说意义重大,因为它实际上并不真正地参与AI Cloud竞争。谷歌或亚马逊等其他技术巨头可能不会乐于采用它的系统。
“我们相信,开放合作有助于促进未来设计的创新,并使我们能够构建更复杂的人工智能系统,最终支持沉浸式的Facebook体验。”
好文章,需要你的鼓励
这项来自苹果公司的研究揭示了视频大语言模型评测的两大关键问题:许多测试问题不看视频就能回答正确,且打乱视频帧顺序后模型表现几乎不变。研究提出VBenchComp框架,将视频问题分为四类:语言模型可回答型、语义型、时序型和其他类型,发现在主流评测中高达70%的问题实际上未测试真正的视频理解能力。通过重新评估现有模型,研究团队证明单一总分可能掩盖关键能力差距,并提出了更高效的评测方法,为未来视频AI评测提供了新方向。
大模型时代,玛丽·米克尔(Mary Meeker)的名字可能大家不一定熟悉,但是在互联网时代,这位被可被誉为“互联网女皇”的。她是美国风险投资家和前华尔街证券分析师,专注于互联网及新兴技术领域。玛丽·米克尔(Mary Meeker)发了一份340页的《人工智能趋势报告》,粗粗看了一下,并没有非常轰动的观点,但是数据比较全面
这篇来自KAIST AI研究团队的论文提出了"差分信息分布"(DID)这一创新概念,为理解直接偏好优化(DPO)提供全新视角。研究证明,当偏好数据编码了从参考策略到目标策略所需的差分信息时,DPO中的对数比率奖励形式是唯一最优的。通过分析DID熵,研究解释了对数似然位移现象,并发现高熵DID有利于通用指令跟随,而低熵DID适合知识密集型问答。这一框架统一了对DPO目标、偏好数据结构和策略行为的理解,为语言模型对齐提供理论支持。