2018年11月2日,南京 – 腾讯全球合作伙伴大会上,英特尔人工智能产品事业部副总裁兼首席运营官Remi El-Ouazzane宣布了与腾讯优图实验室合作开发的人工智能(AI)新成果:腾讯优图AI摄像机以及优图AI盒子。
英特尔人工智能产品事业部副总裁兼首席运营官Remi El-Ouazzane发表演讲
“借助人工智能,企业可以更好的提升用户体验,实现智能化转型升级。腾讯优图最新的人工智能系列产品利用英特尔公司Movidius Myriad芯片的性能优势,可实现在摄像头上的直接推理,从而为企业提供实时以及切实可行的解决方案。”----英特尔人工智能产品事业部副总裁兼首席运营官Remi El-Ouazzane。
以零售应用场景为例,通过搭载英特尔® Movidius™ Myriad™ 2视觉处理器(VPU),腾讯优图AI摄像机可为企业提供顾客在店内的活动情况以及每天各时间段的顾客数量。同时,数据在经过基于英特尔®至强®可扩展处理器的腾讯云端进行深入的分析后,这款智能摄像机可以进行预处理和对象检测。
现在,需要智能分析的零售商可以将摄像头连接到优图AI盒子上,并且将AI视觉智能添加到其系统中。优图盒子所搭载的英特尔® Movidius™ Myriad™ X VPU拥有可进行神经网络推理的专用硬件加速器。
“在打造灵活的行业解决方案方面,英特尔是我们的重要合作伙伴。优图盒子创新采用英特尔处理器和Movidius MyriadX平台,能在边缘进行AI推理,为各种用户的需求提供很好的性价比和高度的灵活性,广泛用于零售,楼宇,建筑等场景。”—腾讯优图实验室总经理吴运声。
这款AI摄像机的重要性在于,以零售场景为例,通过AI所分析的消费者行为趋势、实时的消费者行为跟踪以及产品周转情况,零售商可以预测销售业绩。此外,它们还能够自动提醒店员调整货架上的货物,无需进行耗时费力的人工库存管理。这也有助于零售商提供个性化客户体验并且改善客户服务,因为它们将能够随时掌握产品摆放位置、是否需要发货以及产品库存等情况。
好文章,需要你的鼓励
这项来自苹果公司的研究揭示了视频大语言模型评测的两大关键问题:许多测试问题不看视频就能回答正确,且打乱视频帧顺序后模型表现几乎不变。研究提出VBenchComp框架,将视频问题分为四类:语言模型可回答型、语义型、时序型和其他类型,发现在主流评测中高达70%的问题实际上未测试真正的视频理解能力。通过重新评估现有模型,研究团队证明单一总分可能掩盖关键能力差距,并提出了更高效的评测方法,为未来视频AI评测提供了新方向。
这篇来自KAIST AI研究团队的论文提出了"差分信息分布"(DID)这一创新概念,为理解直接偏好优化(DPO)提供全新视角。研究证明,当偏好数据编码了从参考策略到目标策略所需的差分信息时,DPO中的对数比率奖励形式是唯一最优的。通过分析DID熵,研究解释了对数似然位移现象,并发现高熵DID有利于通用指令跟随,而低熵DID适合知识密集型问答。这一框架统一了对DPO目标、偏好数据结构和策略行为的理解,为语言模型对齐提供理论支持。
VidText是一个全新的视频文本理解基准,解决了现有评估体系的关键缺口。它涵盖多种现实场景和多语言内容,提出三层评估框架(视频级、片段级、实例级),并配对感知与推理任务。对18个先进多模态模型的测试显示,即使最佳表现的Gemini 1.5 Pro也仅达46.8%平均分,远低于人类水平。研究揭示输入分辨率、OCR能力等内在因素和辅助信息、思维链推理等外部因素对性能有显著影响,为未来视频文本理解研究提供了方向。
ZeroGUI是一项突破性研究,实现了零人工成本下的GUI代理自动化在线学习。由上海人工智能实验室和清华大学等机构联合开发,这一框架利用视觉-语言模型自动生成训练任务并提供奖励反馈,使AI助手能够自主学习操作各种图形界面。通过两阶段强化学习策略,ZeroGUI显著提升了代理性能,在OSWorld环境中使UI-TARS和Aguvis模型分别获得14%和63%的相对改进。该研究彻底消除了传统方法对昂贵人工标注的依赖,为GUI代理技术的大规模应用铺平了道路。