为了使生成式人工智能的跨语言数据检索更加准确,NVIDIA通过面向开发人员的应用编程接口目录,推出了使用Nvidia NeMo Retriever的多语言功能。该软件可以理解多种语言和格式的数据,并将其转化为文本,帮助实现上下文感知结果。
NeMo Retriever允许开发人员为人工智能模型建立信息摄取和检索管道,通过转换文本、文档、表格和类似信息来提取结构化和非结构化数据,并避免重复的数据块。它将信息转换成人工智能可以理解的语言,并将其插入到使用嵌入技术的矢量数据库中。
嵌入是一种复杂的信息数学表示方法,代表了词、短语和其他类型数据之间的属性和关系。在搜索或思考两个词或句子时,它可以帮助捕捉两者意义的“接近程度”,就像“猫”和“狗”很接近,因为它们都是动物,并且都是家养宠物。然而,“烤面包机”和“狗”的区别比较大,不过两者都经常出现在房子里。
NVIDIA生成式人工智能软件副总裁Kari Briski在接受SiliconANGLE采访时表示,使用 Retriever以母语嵌入和检索数据还能提高准确性。这种情况的部分原因是英语在大多数人工智能数据训练集中占主导地位。任何人如果将某些德语的内容翻译成英语,然后再翻译回德语,都会发现“翻译遗失”效应,即每次都会遗失上下文或准确性。
Briski表示:“准确性是必要的,而世界上大多数数据、开放数据恰好都是英语,这就是为什么要推动主权人工智能的原因。”“加强其他语言,让数据和检索器使用他们的自然语言,将有助于提高准确性。”
Briski表示,Retriever刚发布时,由于使用翻译软件会失去准确性,因此客户要求提供多语言支持。企业业务并非只使用一种语言。他们可能会嵌入英文文档、德文测试、日文内容,或者调入用俄文撰写的研究报告。结果是,这些信息需要通过相同的模型进行搜索,但通过的工具越多,准确性就越低。
除了摄取之外,NeMo Retriever还能对结果进行“评估和重排”,以确保答案的准确性。当通过Retriever发送查询时,它会检查矢量数据库的响应,并对检索到的信息进行排序,以便根据与查询的相关性对答案进行排序,从而提高准确性。
NVIDIA与DataStax合作,采用NeMo Retriever对免费在线志愿者众包的维基百科的内容进行矢量嵌入。利用NVIDIA提供的技术和专用软件,该公司能够在三天内将1千万个数据条目的内容矢量化为人工智能可以使用的格式,这项工作原本通常需要30 天。
其他一些NVIDIA的合作伙伴——包括Cohesity、Cloudera、SAP SE和VAST Data等已经在整合对这些新的微服务的支持,以支持大型多语言数据源。其中包括检索增强生成技术等服务,这些技术允许预训练的生成式人工智能使用实时数据源获取更丰富、更相关的信息。适应多语言源的企业可以获取更多数据。
Briski表示,目前,NeMo Retriever for Multilingual只能用于文本检索和回答。她表示:“面向未来,我们正在研究多模态数据、图像、PDF和视频。”“我们现在只讨论文本。因为如果你能处理好文本,那么你就能在其他模式方面做得很好。”
好文章,需要你的鼓励
黄仁勋在会后接受包括至顶科技在内的媒体采访时所说:“英伟达只做两类事情:要么是别人没在做的,要么是我们能做得独特且更好的。”
物联网管理平台市场正面临连接服务平均收入下降的挑战,但预计到2029年年收入将达到18亿美元。市场格局不断演变,供应商通过分层产品和增值服务来应对。新趋势包括5G网络基础设施应用、电子SIM卡规范等,将积极影响市场发展。
随着AI应用需求的爆发式增长,数据中心面临着前所未有的挑战。为满足高算力需求,数据中心将采取更高效的建设流程、更快的部署速度以及更具创新性的解决方案。从电力需求激增到新型冷却技术的应用,从基础设施的精简到多租户数据中心的标准化,AI正在推动数据中心建设进入一个全新的时代。
数字孪生的实践应用正在各行各业中不断深入,近期涌现的一系列有趣案例则分别从改善工业资产运营、实现城市整体基础设施的虚拟化建模以及构建智慧城市等多个角度体现出这项技术的无穷潜力。