为了使生成式人工智能的跨语言数据检索更加准确,NVIDIA通过面向开发人员的应用编程接口目录,推出了使用Nvidia NeMo Retriever的多语言功能。该软件可以理解多种语言和格式的数据,并将其转化为文本,帮助实现上下文感知结果。
NeMo Retriever允许开发人员为人工智能模型建立信息摄取和检索管道,通过转换文本、文档、表格和类似信息来提取结构化和非结构化数据,并避免重复的数据块。它将信息转换成人工智能可以理解的语言,并将其插入到使用嵌入技术的矢量数据库中。
嵌入是一种复杂的信息数学表示方法,代表了词、短语和其他类型数据之间的属性和关系。在搜索或思考两个词或句子时,它可以帮助捕捉两者意义的“接近程度”,就像“猫”和“狗”很接近,因为它们都是动物,并且都是家养宠物。然而,“烤面包机”和“狗”的区别比较大,不过两者都经常出现在房子里。
NVIDIA生成式人工智能软件副总裁Kari Briski在接受SiliconANGLE采访时表示,使用 Retriever以母语嵌入和检索数据还能提高准确性。这种情况的部分原因是英语在大多数人工智能数据训练集中占主导地位。任何人如果将某些德语的内容翻译成英语,然后再翻译回德语,都会发现“翻译遗失”效应,即每次都会遗失上下文或准确性。
Briski表示:“准确性是必要的,而世界上大多数数据、开放数据恰好都是英语,这就是为什么要推动主权人工智能的原因。”“加强其他语言,让数据和检索器使用他们的自然语言,将有助于提高准确性。”
Briski表示,Retriever刚发布时,由于使用翻译软件会失去准确性,因此客户要求提供多语言支持。企业业务并非只使用一种语言。他们可能会嵌入英文文档、德文测试、日文内容,或者调入用俄文撰写的研究报告。结果是,这些信息需要通过相同的模型进行搜索,但通过的工具越多,准确性就越低。
除了摄取之外,NeMo Retriever还能对结果进行“评估和重排”,以确保答案的准确性。当通过Retriever发送查询时,它会检查矢量数据库的响应,并对检索到的信息进行排序,以便根据与查询的相关性对答案进行排序,从而提高准确性。
NVIDIA与DataStax合作,采用NeMo Retriever对免费在线志愿者众包的维基百科的内容进行矢量嵌入。利用NVIDIA提供的技术和专用软件,该公司能够在三天内将1千万个数据条目的内容矢量化为人工智能可以使用的格式,这项工作原本通常需要30 天。
其他一些NVIDIA的合作伙伴——包括Cohesity、Cloudera、SAP SE和VAST Data等已经在整合对这些新的微服务的支持,以支持大型多语言数据源。其中包括检索增强生成技术等服务,这些技术允许预训练的生成式人工智能使用实时数据源获取更丰富、更相关的信息。适应多语言源的企业可以获取更多数据。
Briski表示,目前,NeMo Retriever for Multilingual只能用于文本检索和回答。她表示:“面向未来,我们正在研究多模态数据、图像、PDF和视频。”“我们现在只讨论文本。因为如果你能处理好文本,那么你就能在其他模式方面做得很好。”
好文章,需要你的鼓励
K Prize是由Databricks和Perplexity联合创始人推出的AI编程挑战赛,首轮比赛结果显示,获胜者巴西工程师Eduardo Rocha de Andrade仅答对7.5%的题目就获得5万美元奖金。该测试基于GitHub真实问题,采用定时提交系统防止针对性训练,与SWE-Bench 75%的最高得分形成鲜明对比。创始人承诺向首个在该测试中得分超过90%的开源模型提供100万美元奖励。
T-Tech公司研究团队开发了SAE Boost助推器系统,通过训练专门的"错误补偿器"来增强AI理解工具对专业领域的理解能力。该系统在化学、俄语和外交等领域测试中显示出显著改进效果,同时完全保持原有通用能力。这种模块化设计为AI系统的持续优化提供了安全可靠的路径,对AI可解释性研究具有重要意义。
阿里巴巴通义千问团队发布开源编程模型Qwen3-Coder-480B-A35B-Instruct,专门用于软件开发辅助。该模型采用混合专家架构,拥有4800亿参数,支持25.6万token上下文长度,可在数秒内创建完整功能应用。在SWE-bench基准测试中得分67.0%,表现优于GPT-4和Gemini。模型基于Apache 2.0开源许可,企业可免费使用。AI研究者称其可能是目前最佳编程模型,特别适合企业级代码库理解、自动化代码审查和CI/CD系统集成。
斯坦福大学研究团队开发出革命性AI系统,能够像生物学家一样"看懂"蛋白质三维结构并预测功能。该系统通过多层次分析方法,在蛋白质功能预测方面达到90%以上准确率,为新药开发和精准医疗开辟新道路。这项技术不仅加速了蛋白质研究进程,更为解决复杂疾病提供了强大的AI助手,预示着人工智能与生物医学融合的美好前景。