NASA的Harmonized Landset-Sentinel2 (HLS2) 数据集中,容纳的正是来自NASA Landset与ESA Sentinel的卫星数据。
NASA掌握着海量数据,且总体规模也在与日俱增。虽然部分数据能临到即时处理,但大部分数据都会被纳入归档以待日后分析,时间间隔有时甚至长达数年。如果研究人员要利用这些数据研究某些涉及动态变化特征(例如全球气候变化)的关键问题,就必须找到更好的解决方案。为了提高数据的及时处理和使用能力,NASA马歇尔太空飞行中心宣布与IBM研究院合作建立开发计划,使用IBM的基础AI技术处理NASA数据。
为了正确理解任务要求,我们将45 TB的GPT-3数据集作为比较对象。由此数据集训练而成的ChatGPT AI平台,最近刚刚通过了沃顿商学院的MBA考试。相比之下,NASA掌握的数据集预计超过250 PB,1PB约等于1000 TB,意味着NASA数据集的体量是GPT-3数据集的5000多倍。但这样一项艰巨的任务,也蕴含着种种突破性的可能。
此前,IBM估计收集到的数据中有90%从未被使用。在新闻稿中,蓝色巨人和NASA也提到“目前,全部科学发现中的一半都来自归档数据,研究人员正借此研究持续变化的挑战性威胁,比如气候变化。”而要想打造出与之匹配的海量归档数据挖掘方案,就必须借助AI的力量。IBM研究院掌握着海量云资源、AI专家的集体经验和坚实的AI基础模型技术,将帮助NASA将地球科学数据的过滤与分析周期由以往的几年甚至几十年,缩减为数月甚至是数天。
首个基础模型将使用超30万份地球科学刊物进行训练,从中提取上下文信息。这一阶段强调的是对现有数据的搜索和调查能力。第二个模型将以美国地质调查局(USGS)和NASA的Harmonized Landset-Sentinel2 (HLS2) 卫星数据集为训练素材。HLS2中的数据来自NASA/USGS Landsat 8 、Landsat 9 以及 ESA(欧洲航天局)Sentinel-2A 和 Sentinel-2B 联合卫星,以两到三天为周期生成可供分拆且经过调协的表面反射率数据。
根据NASA网页,Landsat 8和Landsat 9数据集合(空间分辨率为30米,重复周期为16天)同ESA Sentinel-2A/B集合(空间分辨率为10至20米,重复周期为5天)的结合将顺畅无缝。调协得出的最终数据集能够建立地表观测结果,空间分辨率为30米、重复周期为2到3天。
HLS数据会定期刷新,供研究人员对地表进行时间序列观察,分辨率可具体至田野/地块。这套统一的数据集可用于检测自然灾害、跟踪植被变化、观察虫害动向及野生动物栖息地迁移等。
IBM和NASA表示项目仍处于早期发展阶段。IBM基础模型目前正在IBM Cloud的众多英伟达A100 GPU上训练。但具体是在本地处理还是交由数据中心执行,将取决于“数据引力”(NASA数据是否足够便携以发送至云端,或者计算资源是否必须靠近数据)和应用于工作负载的具体计算资源。
NASA希望利用这些基础模型面向天气预报、气候分析、地质分析等领域生成transformer模型(即针对特定应用定制的AI模型)。其训练数据集和基础模型均保持开源,可供其他研究人员使用。理论上,NASA数据也可与其他美国/国际政府机构的数据相结合,例如美国国家海洋和大气管理局(NOAA)及农业部,以进一步完善训练数据集、将基础模型的覆盖范围扩大到地球科学的更多角落。
双方合作有望产生广泛影响。研究人员将掌握更强大的地球数据监测与分析能力;IBM自身可以将这些数据传递给子公司Weahter.com,更好地模拟天气模式及气候对地球的影响;由此产生的模型,也将对农业、渔业、石油和天然气勘探、采矿等更多行业的商业运营直到重要指导作用。
既然像GPT-3这样的大数据集能在短短几个月内就训练出智能聊天平台,那覆盖整个地球的超级数据集和由此产生的AI基础模型也许能帮助人类更好地了解、监测我们生活的这颗星球,最终创造出更加美好的未来。
好文章,需要你的鼓励
串流技术正打破传统游戏边界,让"即点即玩"的畅快体验触手可及,不仅重塑了玩家的游戏方式,更将引领整个产业迈向云端加速迈进。
高通宣布收购越南 AI 研究公司 VinAI 的生成式 AI 部门,金额未披露。这标志着高通持续扩张 AI 工具领域。VinAI 由前 DeepMind 研究科学家 Hung Bui 创立,开发多种生成式 AI 技术。此次收购将增强高通在 AI 解决方案方面的能力,有望为多个行业和消费者带来创新。
GameForge AI 是一款基于人工智能的游戏开发平台,可帮助用户轻松创建自己的游戏世界。本文介绍了 GameForge AI 的功能和使用方法,包括创建角色、场景和任务等。虽然 AI 生成速度较慢,但平台对游戏设计师、桌游爱好者和学生等用户都很有吸引力。与其他 AI 创作工具相比,GameForge AI 更注重构建复杂的叙事驱动型世界。