在计算机视觉与模式识别(CVPR)大会上,NVIDIA宣布推出全新的数据增强库和图像解码库。
基于深度学习的计算机视觉应用程序包括复杂的多阶段预处理数据管道,该管道包括诸多计算密集型步骤,如:从磁盘加载和提取数据、解码、裁剪和调整大小、上色、空间转换和格式转换。
利用GPU加速数据增强,NVIDIA DALI解决了当今计算机视觉深度学习应用的性能瓶颈问题,这些应用程序一般会包括复杂的多阶段数据增强步骤。借助DALI,深度学习研究人员可以在图像分类模型上扩展训练性能,如:具备MXNet的ResNet-50、TensorFlow、适用于所有Amazon Web Services P3 8 GPU实例的PyTorch或带有Volta GPU的DGX-1系统。得益于各框架之间一致的高性能数据加载和增强,框架用户将大大减少代码重复的情况。
DALI依靠全新的NVIDIA nvJPEG库进行高性能的GPU加速解码。nvJPEG支持单一与批量图像的解码、颜色空间转换、多相位解码以及采用CPU和GPU的混合解码。与仅通过CPU的解码相比,采用nvJPEG解码的应用具有更高的吞吐量和更低的延迟率。
DALI的优势包括:
nvJPEG优势包括:
好文章,需要你的鼓励
韩国科学技术院研究团队提出"分叉-合并解码"方法,无需额外训练即可改善音视频大语言模型的多模态理解能力。通过先独立处理音频和视频(分叉阶段),再融合结果(合并阶段),该方法有效缓解了模型过度依赖单一模态的问题,在AVQA、MUSIC-AVQA和AVHBench三个基准测试中均取得显著性能提升,特别是在需要平衡音视频理解的任务上表现突出。
这项研究利用大语言模型解决科学新颖性检测难题,南洋理工大学团队创新性地构建了闭合领域数据集并提出知识蒸馏框架,训练轻量级检索器捕捉想法层面相似性而非表面文本相似性。实验表明,该方法在市场营销和NLP领域显著优于现有技术,为加速科学创新提供了有力工具。
un?CLIP是一项创新研究,通过巧妙反转unCLIP生成模型来增强CLIP的视觉细节捕捉能力。中国科学院研究团队发现,虽然CLIP在全局图像理解方面表现出色,但在捕捉细节时存在不足。他们的方法利用unCLIP生成模型的视觉细节表示能力,同时保持与CLIP原始文本编码器的语义对齐。实验结果表明,un?CLIP在MMVP-VLM基准、开放词汇语义分割和视觉中心的多模态任务上显著优于原始CLIP和现有改进方法,为视觉-语言模型的发展提供了新思路。
这项研究介绍了RPEval,一个专为评估大语言模型角色扮演能力而设计的新基准。研究团队从法国里尔大学开发的这一工具专注于四个关键维度:情感理解、决策制定、道德对齐和角色一致性,通过单轮交互实现全自动评估。研究结果显示Gemini-1.5-Pro在总体表现上领先,而GPT-4o虽在决策方面表现出色,但在角色一致性上存在明显不足。这一基准为研究人员提供了一个可靠、可重复的方法来评估和改进大语言模型的角色扮演能力。