2023年8月24日,国际高性能计算和人工智能咨询委员会(HPC-AI Advisory Council)宣布了第11届亚太区RDMA(Remote Direct Memory Access,远程内存直接访问)编程竞赛结果,上届冠军队,来自中国的西北工业大学队蝉联本次RDMA编程竞赛的冠军;南开大学队和香港中文大学与澳大利亚国立大学的港中文澳国立联队获得本次竞赛的第二名;中国科技大学队、北京邮电大学和南京邮电大学联队、台湾暨南大学的Pangolin队获得的第三名。
本次竞赛共有40多支来自亚太区各个大学和科研机构的学生团队和10多支来自亚太区科技企业的团队参加了为期5天的2023年亚太区RDMA编程课,20支队伍被选中参与了最后的为期两天编程竞赛,共同挑战AI应用中的典型集合通信模型- Reduce/Scatter 通信场景,并通过先进的网络计算技术对其进行优化。Reduce/Scatter通信是当前热门的大语言模型应用中最关键的通信模型之一,在比赛过程中,参赛队伍表现出了极大的创新力和高超的编程能力,使 Reduce/Scatter集合通信性能得到了极大的性能提升。
本次竞赛由国际高性能计算和人工智能咨询委员会主办,得到了日本的PCCC(PC Cluster Consortium)、中国科学院计算科学研究所、清华大学和北京大学的大力支持,旨在为亚太区的学生们提供领先的RDMA编程课程的学习机会,并提供先进的软、硬件平台供学生们动手实践,再通过竞赛的形式来归纳和验证他们的学习效果,最终达到提升学生们的HPC和AI知识能力的效果。
赛后国际高性能计算和人工智能咨询委员会主席Gilad Shainer先生说到:“大模型时代的到来,需要在通信模型上进行创新,以满足单个训练集群动辄数千或者数万颗GPU对性能和效率的需求。网络设备,特别是网络计算技术及因此而出现的新型RDMA通信算法,将会是确保AI集群今后扩展无忧的关键技术。我们每年都要举办亚太区RDMA编程课和竞赛的目的就是帮助学生们扩展他们的知识面、提升他们的动手能力,让他们一走向社会后即能拥有最先进的知识。”
好文章,需要你的鼓励
Meta首席技术官博兹预测2025年将成为Reality Labs转折点,Ray-Ban AI眼镜的突破和激烈市场竞争将决定未来成败。
华盛顿大学和卡内基梅隆大学的研究团队开发了"位置专家"(PosS)技术,解决了推测性解码中的关键挑战。传统方法使用单一草稿模型预测多个位置的词汇,导致预测质量随位置深入而急剧下降。PosS创新性地引入多个专业化层,每层负责特定位置的预测,有效缓解了特征偏差累积问题。实验表明,在Llama系列模型上,PosS比基线方法提高了接受长度达4.5%,加速比提升最多5.7%,而仅带来微小的计算开销。这一技术为大型语言模型的高效推理提供了新思路。
第三届Runway AI电影节展示了利用Runway、Midjourney等AI工具生成全新视听作品,颠覆传统电影制作,赋能无限创意。
这篇研究论文《段级策略优化》提出了一种介于词元级和轨迹级之间的新型强化学习框架SPO,用于提升大语言模型的推理能力。研究者将生成序列划分为连续段落,并在段级粒度上估计优势,实现了更精确的信用分配和更准确的优势估计。SPO框架包含灵活段落划分、基于蒙特卡洛的段落优势估计和段落优势策略优化三个核心组件。研究团队基于此框架设计了SPO-chain和SPO-tree两个特定实例,分别针对短链思维和长链思维场景。