在计算机视觉与模式识别(CVPR)大会上,NVIDIA宣布推出全新的数据增强库和图像解码库。
基于深度学习的计算机视觉应用程序包括复杂的多阶段预处理数据管道,该管道包括诸多计算密集型步骤,如:从磁盘加载和提取数据、解码、裁剪和调整大小、上色、空间转换和格式转换。

利用GPU加速数据增强,NVIDIA DALI解决了当今计算机视觉深度学习应用的性能瓶颈问题,这些应用程序一般会包括复杂的多阶段数据增强步骤。借助DALI,深度学习研究人员可以在图像分类模型上扩展训练性能,如:具备MXNet的ResNet-50、TensorFlow、适用于所有Amazon Web Services P3 8 GPU实例的PyTorch或带有Volta GPU的DGX-1系统。得益于各框架之间一致的高性能数据加载和增强,框架用户将大大减少代码重复的情况。
DALI依靠全新的NVIDIA nvJPEG库进行高性能的GPU加速解码。nvJPEG支持单一与批量图像的解码、颜色空间转换、多相位解码以及采用CPU和GPU的混合解码。与仅通过CPU的解码相比,采用nvJPEG解码的应用具有更高的吞吐量和更低的延迟率。
DALI的优势包括:
nvJPEG优势包括:
好文章,需要你的鼓励
英特尔携手戴尔以及零克云,通过打造“工作站-AI PC-云端”的协同生态,大幅缩短AI部署流程,助力企业快速实现从想法验证到规模化落地。
意大利ISTI研究院推出Patch-ioner零样本图像描述框架,突破传统局限实现任意区域精确描述。系统将图像拆分为小块,通过智能组合生成从单块到整图的统一描述,无需区域标注数据。创新引入轨迹描述任务,用户可用鼠标画线获得对应区域描述。在四大评测任务中全面超越现有方法,为人机交互开辟新模式。
阿联酋阿布扎比人工智能大学发布全新PAN世界模型,超越传统大语言模型局限。该模型具备通用性、交互性和长期一致性,能深度理解几何和物理规律,通过"物理推理"学习真实世界材料行为。PAN采用生成潜在预测架构,可模拟数千个因果一致步骤,支持分支操作模拟多种可能未来。预计12月初公开发布,有望为机器人、自动驾驶等领域提供低成本合成数据生成。
MIT研究团队发现,AI系统无需严格配对的多模态数据也能显著提升性能。他们开发的UML框架通过参数共享让AI从图像、文本、音频等不同类型数据中学习,即使这些数据间没有直接对应关系。实验显示这种方法在图像分类、音频识别等任务上都超越了单模态系统,并能自发发展出跨模态理解能力,为未来AI应用开辟了新路径。