NASA的Harmonized Landset-Sentinel2 (HLS2) 数据集中,容纳的正是来自NASA Landset与ESA Sentinel的卫星数据。
NASA掌握着海量数据,且总体规模也在与日俱增。虽然部分数据能临到即时处理,但大部分数据都会被纳入归档以待日后分析,时间间隔有时甚至长达数年。如果研究人员要利用这些数据研究某些涉及动态变化特征(例如全球气候变化)的关键问题,就必须找到更好的解决方案。为了提高数据的及时处理和使用能力,NASA马歇尔太空飞行中心宣布与IBM研究院合作建立开发计划,使用IBM的基础AI技术处理NASA数据。
为了正确理解任务要求,我们将45 TB的GPT-3数据集作为比较对象。由此数据集训练而成的ChatGPT AI平台,最近刚刚通过了沃顿商学院的MBA考试。相比之下,NASA掌握的数据集预计超过250 PB,1PB约等于1000 TB,意味着NASA数据集的体量是GPT-3数据集的5000多倍。但这样一项艰巨的任务,也蕴含着种种突破性的可能。
此前,IBM估计收集到的数据中有90%从未被使用。在新闻稿中,蓝色巨人和NASA也提到“目前,全部科学发现中的一半都来自归档数据,研究人员正借此研究持续变化的挑战性威胁,比如气候变化。”而要想打造出与之匹配的海量归档数据挖掘方案,就必须借助AI的力量。IBM研究院掌握着海量云资源、AI专家的集体经验和坚实的AI基础模型技术,将帮助NASA将地球科学数据的过滤与分析周期由以往的几年甚至几十年,缩减为数月甚至是数天。
首个基础模型将使用超30万份地球科学刊物进行训练,从中提取上下文信息。这一阶段强调的是对现有数据的搜索和调查能力。第二个模型将以美国地质调查局(USGS)和NASA的Harmonized Landset-Sentinel2 (HLS2) 卫星数据集为训练素材。HLS2中的数据来自NASA/USGS Landsat 8 、Landsat 9 以及 ESA(欧洲航天局)Sentinel-2A 和 Sentinel-2B 联合卫星,以两到三天为周期生成可供分拆且经过调协的表面反射率数据。
根据NASA网页,Landsat 8和Landsat 9数据集合(空间分辨率为30米,重复周期为16天)同ESA Sentinel-2A/B集合(空间分辨率为10至20米,重复周期为5天)的结合将顺畅无缝。调协得出的最终数据集能够建立地表观测结果,空间分辨率为30米、重复周期为2到3天。
HLS数据会定期刷新,供研究人员对地表进行时间序列观察,分辨率可具体至田野/地块。这套统一的数据集可用于检测自然灾害、跟踪植被变化、观察虫害动向及野生动物栖息地迁移等。
IBM和NASA表示项目仍处于早期发展阶段。IBM基础模型目前正在IBM Cloud的众多英伟达A100 GPU上训练。但具体是在本地处理还是交由数据中心执行,将取决于“数据引力”(NASA数据是否足够便携以发送至云端,或者计算资源是否必须靠近数据)和应用于工作负载的具体计算资源。
NASA希望利用这些基础模型面向天气预报、气候分析、地质分析等领域生成transformer模型(即针对特定应用定制的AI模型)。其训练数据集和基础模型均保持开源,可供其他研究人员使用。理论上,NASA数据也可与其他美国/国际政府机构的数据相结合,例如美国国家海洋和大气管理局(NOAA)及农业部,以进一步完善训练数据集、将基础模型的覆盖范围扩大到地球科学的更多角落。
双方合作有望产生广泛影响。研究人员将掌握更强大的地球数据监测与分析能力;IBM自身可以将这些数据传递给子公司Weahter.com,更好地模拟天气模式及气候对地球的影响;由此产生的模型,也将对农业、渔业、石油和天然气勘探、采矿等更多行业的商业运营直到重要指导作用。
既然像GPT-3这样的大数据集能在短短几个月内就训练出智能聊天平台,那覆盖整个地球的超级数据集和由此产生的AI基础模型也许能帮助人类更好地了解、监测我们生活的这颗星球,最终创造出更加美好的未来。
好文章,需要你的鼓励
OpenAI CEO描绘了AI温和变革人类生活的愿景,但现实可能更复杂。AI发展将带来真正收益,但也会造成社会错位。随着AI系统日益影响知识获取和信念形成,共同认知基础面临分裂风险。个性化算法加剧信息茧房,民主对话变得困难。我们需要学会在认知群岛化的新地形中智慧生存,建立基于共同责任而非意识形态纯洁性的社区。
杜克大学等机构研究团队通过三种互补方法分析了大语言模型推理过程,发现存在"思维锚点"现象——某些关键句子对整个推理过程具有决定性影响。研究表明,计划生成和错误检查等高层次句子比具体计算步骤更重要,推理模型还进化出专门的注意力机制来跟踪这些关键节点。该发现为AI可解释性和安全性研究提供了新工具和视角。
传统数据中心基础设施虽然对企业至关重要,但也是预算和房地产的重大负担。模块化数据中心正成为强有力的替代方案,解决企业面临的运营、财务和环境复杂性问题。这种模块化方法在印度日益流行,有助于解决环境问题、满足人工智能的电力需求、降低成本并支持新一代分布式应用。相比传统建设需要数年时间,工厂预制的模块化数据中心基础设施可在数周内部署完成。
法国索邦大学团队开发出智能医学文献管理系统Biomed-Enriched,通过AI自动从PubMed数据库中识别和提取高质量临床案例及教育内容。该系统采用两步注释策略,先用大型AI模型评估40万段落质量,再训练小型模型处理全库1.33亿段落。实验显示该方法仅用三分之一训练数据即可达到传统方法效果,为医学AI发展提供了高效可持续的解决方案。