----Bing.Yan ICSD ISG
在机器视觉普及的时代,图像传感器作为其“眼睛”有着越来越多的各样的应用。安森美(onsemi)的图像传感技术通过不断地技术创新,力求满足越来越广泛的市场领域需要。如今,越来越多的家庭和企业安装摄像头做监控,据Yole统计,预计到2030年底,此市场将增长两倍。因此,消费者需要有更优秀的图像质量、更可靠和更长电池寿命的设备,来提升整体使用体验。由于这些相机通常会被放置在难以更换电池或充电的位置,因此低功耗成为一个关键需求。对此,安森美推出了一些低功耗的高质量图像传感技术,场景覆盖智能门禁、安防摄像头、增强现实(AR)/虚拟现实(VR)/扩展现实(XR)头戴装置、机器视觉和视频会议等。比如其中的智能运动侦测唤醒技术(smart Wake on Motion),非常适用于对运动侦测有需求的低功耗物联网设备,例如安防领域的智能门铃门锁等。
安森美的Hyperlux LP系列图像传感器即具备上述的Wake on Motion低功耗技术。在增强了设备的侦测能力的同时,有效地降低功耗。Hyperlux LP系列同时具有高分辨率的非常优秀的图像解析力,客户可以根据使用情况,选用500万分辨率的AR0544、800万分辨率的AR0830或2000万分辨率的AR2020。另外此产品系列还采用堆叠式架构设计,能最大限度地减少产品体积,最小型号小如一粒米,成为受尺寸限制困扰的紧凑型设备的理想选择,大大适应了相关领域产品的发展需求。下面,将针对Wake on Motion低功耗技术做一些较为详尽的介绍。
顾名思义,wake on motion即为运动侦测唤醒,即当传感设备检测到前方某距离内有移动物体时,则退出休眠状态,进入工作状态,这样降低了功耗,保证了设备在需要工作的状态才工作,其他时候可以通过休眠节电。
传统的wake on motion实现一般基于被动红外传感器(PIR)。这种传感器应用广泛,但存在误触发率高的问题,导致系统功耗优化有限,产生50%左右的功耗额外消耗。
针对PIR的误触发问题,安森美推出智能运动侦测唤醒技术,其方案是采用图像传感器融合PIR进行运动侦测唤醒。核心关键在于在很低的功耗下赋予图像传感器运动侦测能力。该方案采用了独有的Motion-DCT 算法,结合图像传感器的scale或binning技术在获取的较低分辨率图像上快速实时准确地做出运动侦测。该方案的特点为:
方案示例如下图。从图中可见,左侧采用了PIR和图像传感器两方进行运动侦测并反馈到CPU处理器。该方案有两种使用策略:Cascade级联和Parallel并行。具体含义为:

此方案适用的参数范围为:
AR0830运动侦测技术支持感兴趣区域选择功能,以进一步降低系统功耗。即:将整幅图像分成若干区域,供用户选择是否使用该区域图像做运动侦测,以避免无效区域,从而降低算法的计算量,提升检测速度及降低功耗。
如下图展示的一个区域选择示例。图中,将整幅图像分成了5X5的区域块,选取了A,B,C三个方块区域作为MASK区域,即不感兴趣区域,不参与运动侦测计算,其他方块区域作为感兴趣区域参与运动侦测计算。除ABC区域外的任何区域中检测到运动物体,则该区域将得到一个运动标记。以上区域划分和设定均可以由图像传感器的寄存器操作完成。

下图是在实际应用场景中的示例:

可以看到,在该图中,只有中间区域被选作了感兴趣区域。而我们对画面进行运动捕捉block 分区,只需关注开启区域的运动检测,像上图中典型的可视门铃场景内存在树木花草,一旦有什么“风吹草动”或者小动物经过,很可能系统就开启误报,而可编程的运动捕捉区域,可以很好的降低这种误报。配合PIR,通过sensor自带的运动捕捉和超级低功耗模式,可以让整机系统电池使用时间延长40%。
安森美图像传感器AR0830采用的Motion-DCT运动侦测算法基本原理是计算每帧Gr像素的DCT和,并比较两个连续帧之间DCT和的差异。如果差值等于或大于预定义阈值,则检测到物体运动发生。
如前所述,安森美的智能运动侦测唤醒技术采用图像传感器融合PIR进行运动侦测唤醒,且该方案有两种使用策略模式:Cascade和Parallel。下面详细介绍一下。


需要注意的是,Cascade和Parallel两种模式互斥,同时只能选其一。
在实际产品应用的时候二者特点或区别在于:
下图是当人在垂直于光轴方向水平走过摄像头时候的运动侦测准确率情况:
下图是当人沿光轴方向径直走向摄像头时候的运动侦测准确率情况:

可以看到:
另外,此方案的功耗性能为:
Host CPU wake up + image sensor – 800~1200mw
Host CPU wake up + image sensor +Wifi module – 1.2~1.8W
总体而言,在前述的适用参数范围内,该方案具备良好的适用性和准确性能以及低功耗的显著特点。
好文章,需要你的鼓励
随着员工自发使用生成式AI工具,CIO面临影子AI的挑战。报告显示43%的员工在个人设备上使用AI应用处理工作,25%在工作中使用未经批准的AI工具。专家建议通过六项策略管理影子AI:建立明确规则框架、持续监控和清单跟踪、加强数据保护和访问控制、明确风险承受度、营造透明信任文化、实施持续的角色化AI培训。目标是支持负责任的创新而非完全禁止。
NVIDIA研究团队开发的OmniVinci是一个突破性的多模态AI模型,能够同时理解视觉、听觉和文本信息。该模型仅使用0.2万亿训练样本就超越了使用1.2万亿样本的现有模型,在多模态理解测试中领先19.05分。OmniVinci采用三项核心技术实现感官信息协同,并在机器人导航、医疗诊断、体育分析等多个实际应用场景中展现出专业级能力,代表着AI向真正智能化发展的重要进步。
英国正式推出DaRe2THINK数字平台,旨在简化NHS全科医生参与临床试验的流程。该平台由伯明翰大学和MHRA临床实践研究数据链开发,能够安全传输GP诊所与NHS试验研究人员之间的健康数据,减少医生的管理负担。平台利用NHS现有健康信息,安全筛查来自450多家诊所的1300万患者记录,并使用移动消息系统保持试验对象参与度,为传统上无法参与的人群开辟了研究机会。
Salesforce研究团队发布BLIP3o-NEXT,这是一个创新的图像生成模型,采用自回归+扩散的双重架构设计。该模型首次成功将强化学习应用于图像生成,在多物体组合和文字渲染方面表现优异。尽管只有30亿参数,但在GenEval测试中获得0.91高分,超越多个大型竞争对手。研究团队承诺完全开源所有技术细节。