随着人工智能研究与应用热潮持续高涨,在全球AI巨头及学术界的推动下,各类深度学习框架不断涌现。目前流行的框架包括TensorFlow, PyTorch, Keras, Caffe, MxNet等。其中Facebook推出的PyTorch自2017年初开源以来,很快受到AI研究人员的青睐,已成为GitHub上增长速度第二快的开源项目,在过去的一年里,贡献者增加了2.8倍。根据UC伯克利RISELab团队对知名电子出版服务arXiv.org上所发布论文的统计,PyTorch被提及的数量在过去一年中增速高达194%,超越Keras和Caffe,直逼第一名TensorFlow。8月28日,在北京举行的2019人工智能计算大会AICC上,来自Facebook的专家陆瀛海博士将分享Facebook深度学习发展与PyTorch创新报告。
PyTorch是Torch的Python版本。Torch诞生于2002年,因支持动态定义计算图,使用起来比Tensorflow更为灵活方便,但Torch的开发语言很小众,限制了它的使用。PyTorch继承了Torch的灵活特性,又使用流行的Python作为开发语言,所以一经推出就广受欢迎。
除了上述优势,PyTorch的设计非常简洁、直观,其源码只有TensorFlow的十分之一左右,易于阅读与理解。并且PyTorch的灵活性不以速度为代价,界面用户友好,让用户尽可能地专注于实现自己的想法,不需要对框架本身考虑太多。这些特征使得PyTorch成为深度学习入门、快速实验的理想选择。
此外,Facebook为PyTorch社区提供了有力的支持,使PyTorch获得了持续开发更新。PyTorch 1.0稳定版在去年NeurIPS大会发布,增加了一系列强大的新功能,大有赶超TensorFlow之势。深度学习三巨头之一、Facebook首席AI科学家Yann Lecun曾表示,Facebook为PyTorch投入了巨大的工程力量来训练产品系统,绝非仅仅是一项爱好。PyTorch是一个开源项目,并非Facebook独享的项目。
PyTorch有哪些新动态?Facebook是如何使用PyTorch的,在深度学习方面又有哪些新进展?这些都是PyTorch用户关心的问题。8月28日2019人工智能计算大会(AICC 2019)主论坛上,Facebook AI基础架构专家陆瀛海博士将带来“Facebook深度学习发展与PyTorch创新”主题演讲。陆瀛海博士是Facebook人工智能架构团队的资深工程师,主要负责运用软件和硬件加速方法对AI工作负载进行性能优化,对PyTorch有深入研究与理解。在演讲中,陆瀛海博士将基于Facebook的研究与业务实践,讲解Facebook面向机器学习工作负载的方法,包括典型案例、挑战,以及所采用的AI框架和工具。
除了陆瀛海博士,AICC 2019主论坛还邀请到了来自中国工程院、英国皇家工程院、百度、中国新一代人工智能发展战略研究院、浪潮、Uber等机构的AI产学研顶尖专家学者解读AI产业趋势,分享前沿AI计算技术。大会还将发布《2019-2020中国AI计算力发展报告》,刷新AI计算力进展,为业界带来全新洞见。大会还将设置自动驾驶、产业AI创新、AI计算与基准测试、AI+视觉计算、AI+创投等主题论坛。大会同期举行的AI技术训练营,将邀请百度、平安科技、浪潮的资深AI工程师讲解最新AI计算技术与应用,帮助学员从零入门AI。
好文章,需要你的鼓励
微软近年来频繁出现技术故障和服务中断,从Windows更新删除用户文件到Azure云服务因配置错误而崩溃,质量控制问题愈发突出。2014年公司大幅裁减测试团队后,采用敏捷开发模式替代传统测试方法,但结果并不理想。虽然Windows生态系统庞大复杂,某些问题在所难免,但Azure作为微软核心云服务,反复因配置变更导致客户服务中断,已不仅仅是质量控制问题,更是对公司技术能力的质疑。
Meta研究团队发现仅仅改变AI示例间的分隔符号就能导致模型性能产生高达45%的巨大差异,甚至可以操纵AI排行榜排名。这个看似微不足道的格式选择问题普遍存在于所有主流AI模型中,包括最先进的GPT-4o,揭示了当前AI评测体系的根本性缺陷。研究提出通过明确说明分隔符类型等方法可以部分缓解这一问题。
当团队准备部署大语言模型时,面临开源与闭源的选择。专家讨论显示,美国在开源AI领域相对落后,而中国有更多开源模型。开源系统建立在信任基础上,需要开放数据、模型架构和参数。然而,即使是被称为"开源"的DeepSeek也并非完全开源。企业客户往往倾向于闭源系统,但开源权重模型仍能提供基础设施选择自由。AI主权成为国家安全考量,各国希望控制本地化AI发展命运。
香港中文大学研究团队开发出CALM训练框架和STORM模型,通过轻量化干预方式让40亿参数小模型在优化建模任务上达到6710亿参数大模型的性能。该方法保护模型原生推理能力,仅修改2.6%内容就实现显著提升,为AI优化建模应用大幅降低了技术门槛和成本。