20支来自亚太区的队伍共同挑战AI应用场景中的关键集合通信模型
美国加州Sunnyvale/北京时间2023年8月24日,国际高性能计算和人工智能咨询委员会(HPC-AI Advisory Council)宣布了第11届亚太区RDMA(Remote Direct Memory Access,远程内存直接访问)编程竞赛结果,上届冠军队,来自中国的西北工业大学队蝉联本次RDMA编程竞赛的冠军;南开大学队和香港中文大学与澳大利亚国立大学的港中文澳国立联队获得本次竞赛的第二名;中国科技大学队、北京邮电大学和南京邮电大学联队、台湾暨南大学的Pangolin队获得的第三名。
本次竞赛共有40多支来自亚太区各个大学和科研机构的学生团队和10多支来自亚太区科技企业的团队参加了为期5天的2023年亚太区RDMA编程课,20支队伍被选中参与了最后的为期两天编程竞赛,共同挑战AI应用中的典型集合通信模型 - Reduce/Scatter 通信场景,并通过先进的网络计算技术对其进行优化。Reduce/Scatter通信是当前热门的大语言模型应用中最关键的通信模型之一,在比赛过程中,参赛队伍表现出了极大的创新力和高超的编程能力,使 Reduce/Scatter集合通信性能得到了极大的性能提升。
本次竞赛由国际高性能计算和人工智能咨询委员会主办,得到了日本的PCCC(PC Cluster Consortium)、中国科学院计算科学研究所、清华大学和北京大学的大力支持,旨在为亚太区的学生们提供领先的RDMA编程课程的学习机会,并提供先进的软、硬件平台供学生们动手实践,再通过竞赛的形式来归纳和验证他们的学习效果,最终达到提升学生们的HPC和AI知识能力的效果。
赛后国际高性能计算和人工智能咨询委员会主席Gilad Shainer先生说到:“大模型时代的到来,需要在通信模型上进行创新,以满足单个训练集群动辄数千或者数万颗GPU对性能和效率的需求。网络设备,特别是网络计算技术及因此而出现的新型RDMA通信算法,将会是确保AI集群今后扩展无忧的关键技术。我们每年都要举办亚太区RDMA编程课和竞赛的目的就是帮助学生们扩展他们的知识面、提升他们的动手能力,让他们一走向社会后即能拥有最先进的知识。”
关于竞赛的更多详情,请访问国际高性能计算和人工智能咨询委员会网站 Student RDMA Programming Workshop And Competition - HPC Advisory Council.
好文章,需要你的鼓励
机器人和自动化工具已成为云环境中最大的安全威胁,网络犯罪分子率先应用自动化决策来窃取凭证和执行恶意活动。自动化攻击显著缩短了攻击者驻留时间,从传统的数天减少到5分钟内即可完成数据泄露。随着大语言模型的发展,"黑客机器人"将变得更加先进。企业面临AI快速采用压力,但多数组织错误地关注模型本身而非基础设施安全。解决方案是将AI工作负载视为普通云工作负载,应用运行时安全最佳实践。
MBZUAI研究团队发布了史上最大的开源数学训练数据集MegaMath,包含3716亿个Token,是现有开源数学数据集的数十倍。该数据集通过创新的数据处理技术,从网页、代码库和AI合成等多个来源收集高质量数学内容。实验显示,使用MegaMath训练的AI模型在数学推理任务上性能显著提升,为AI数学能力发展提供了强大支撑。
面对心理健康专业人士短缺问题,谷歌、麦肯锡和加拿大重大挑战组织联合发布《心理健康与AI现场指南》,提出利用AI辅助任务分担模式。该指南构建了包含项目适应、人员选择、培训、分配、干预和完成六个阶段的任务分担模型,AI可在候选人筛选、培训定制、客户匹配、预约调度和治疗建议等环节发挥作用。该方法通过将部分治疗任务分配给经过培训的非专业人员,并运用AI进行管理支持,有望缓解治疗服务供需失衡问题。
这项由多个知名机构联合开展的研究揭示了AI系统的"隐形思维"——潜在推理。不同于传统的链式思维推理,潜在推理在AI内部连续空间中进行,不受语言表达限制,信息处理能力提升约2700倍。研究将其分为垂直递归和水平递归两类,前者通过重复处理增加思考深度,后者通过状态演化扩展记忆容量。