为了使生成式人工智能的跨语言数据检索更加准确,NVIDIA通过面向开发人员的应用编程接口目录,推出了使用Nvidia NeMo Retriever的多语言功能。该软件可以理解多种语言和格式的数据,并将其转化为文本,帮助实现上下文感知结果。
NeMo Retriever允许开发人员为人工智能模型建立信息摄取和检索管道,通过转换文本、文档、表格和类似信息来提取结构化和非结构化数据,并避免重复的数据块。它将信息转换成人工智能可以理解的语言,并将其插入到使用嵌入技术的矢量数据库中。
嵌入是一种复杂的信息数学表示方法,代表了词、短语和其他类型数据之间的属性和关系。在搜索或思考两个词或句子时,它可以帮助捕捉两者意义的“接近程度”,就像“猫”和“狗”很接近,因为它们都是动物,并且都是家养宠物。然而,“烤面包机”和“狗”的区别比较大,不过两者都经常出现在房子里。
NVIDIA生成式人工智能软件副总裁Kari Briski在接受SiliconANGLE采访时表示,使用 Retriever以母语嵌入和检索数据还能提高准确性。这种情况的部分原因是英语在大多数人工智能数据训练集中占主导地位。任何人如果将某些德语的内容翻译成英语,然后再翻译回德语,都会发现“翻译遗失”效应,即每次都会遗失上下文或准确性。
Briski表示:“准确性是必要的,而世界上大多数数据、开放数据恰好都是英语,这就是为什么要推动主权人工智能的原因。”“加强其他语言,让数据和检索器使用他们的自然语言,将有助于提高准确性。”
Briski表示,Retriever刚发布时,由于使用翻译软件会失去准确性,因此客户要求提供多语言支持。企业业务并非只使用一种语言。他们可能会嵌入英文文档、德文测试、日文内容,或者调入用俄文撰写的研究报告。结果是,这些信息需要通过相同的模型进行搜索,但通过的工具越多,准确性就越低。
除了摄取之外,NeMo Retriever还能对结果进行“评估和重排”,以确保答案的准确性。当通过Retriever发送查询时,它会检查矢量数据库的响应,并对检索到的信息进行排序,以便根据与查询的相关性对答案进行排序,从而提高准确性。
NVIDIA与DataStax合作,采用NeMo Retriever对免费在线志愿者众包的维基百科的内容进行矢量嵌入。利用NVIDIA提供的技术和专用软件,该公司能够在三天内将1千万个数据条目的内容矢量化为人工智能可以使用的格式,这项工作原本通常需要30 天。
其他一些NVIDIA的合作伙伴——包括Cohesity、Cloudera、SAP SE和VAST Data等已经在整合对这些新的微服务的支持,以支持大型多语言数据源。其中包括检索增强生成技术等服务,这些技术允许预训练的生成式人工智能使用实时数据源获取更丰富、更相关的信息。适应多语言源的企业可以获取更多数据。
Briski表示,目前,NeMo Retriever for Multilingual只能用于文本检索和回答。她表示:“面向未来,我们正在研究多模态数据、图像、PDF和视频。”“我们现在只讨论文本。因为如果你能处理好文本,那么你就能在其他模式方面做得很好。”
好文章,需要你的鼓励
开源加密初创公司ZamaSAS宣布完成5700万美元B轮融资,专注于为区块链和AI应用构建全同态加密技术以保护隐私。本轮融资由BlockchangeVentures和PanteraCapital共同领投,使公司总融资超过1.5亿美元,估值突破10亿美元。同时,Zama推出保密区块链协议公开测试网,允许开发者在以太坊上构建私密通信应用。
新加坡国立大学研究团队开发了SPIRAL框架,通过让AI与自己对弈零和游戏来提升推理能力。实验显示,仅训练AI玩简单扑克游戏就能让其数学推理能力提升8.6%,通用推理提升8.4%,且无需任何数学题目作为训练材料。研究发现游戏中的三种推理模式能成功转移到数学解题中,为AI训练提供了新思路。
英国网络铁路公司、Neos Networks和Freshwave联合启动"触达项目",旨在消除英国主要铁路干线上的信号盲区。该项目将公私合营模式相结合,预计为纳税人节省约3亿英镑。项目将部署1000公里超高速432芯光纤电缆,覆盖东海岸主线等多条线路,并在12个主要车站提供4G/5G室内连接,在57个隧道中部署4G移动连接。新网络将大幅提升铁路通信基础设施能力,支持轨道传感器和监控应用,为乘客提供更快更可靠的列车服务。
同济大学团队开发的GIGA-ToF技术通过融合多帧图像的"图结构"信息,创新性地解决了3D相机噪声问题。该技术利用图像间的不变几何关系,结合深度学习和数学优化方法,在合成数据集上实现37.9%的精度提升,并在真实设备上展现出色泛化能力,为机器人、AR和自动驾驶等领域提供更可靠的3D视觉解决方案。