从我们的智能手机到监控摄像头,人工智能在将模糊、颗粒状的照片转化为高分辨率照片方面做得越来越好。
这些改进背后的秘密是一对被称为人工智能超分辨率和人工智能升级的技术,在这两种技术中,人工智能模型在巨大的数据集上进行训练,可以提升模糊图像的质量或增加其分辨率。
IEEE会员Yale Fox表示:“由于几项关键技术的进步,人工智能的升级在这些年里有了显著的提高。其中一个进步是迁移学习,它允许开发人员将预先训练好的模型用于新任务,大大提高了升级的速度和准确性。另一个关键发展是大型图像数据集的可用性,这对于训练深度学习算法识别和生成高质量图像至关重要。”
Fox表示,图形处理单元(GPU)的进步也改善了这项技术。
“GPU和深度学习的结合对于使人工智能更快、更高效地升级也至关重要。GPU可以同时处理大量数据,从而实现更快的训练和推理。”
许多智能手机使用人工智能升级来提高照片的质量和分辨率。但这项技术也在其他领域有应用,包括医疗、卫星和娱乐行业。
卫星成像:近年来,发射到轨道上的卫星数量激增。发射更小、更轻的卫星变得更容易、更便宜。但较小的卫星可能无法像较大的卫星那样携带昂贵的高分辨率相机。正如IEEE Xplore®的这篇文章(https://ieeexplore.ieee.org/document/9757881)所示,人工智能超分辨率使较小的卫星能够用较小的相机捕捉更好的图像。
天气预报:一些气象卫星监视着地球的大部分地区。他们拍摄的照片可能只显示了几平方英里大小的细节。IEEE Access的一篇文章(https://ieeexplore.ieee.org/document/9001044)描述了一种教低分辨率气象卫星如何拍摄更好照片的系统。它通过使用旧的天气和气候数据来做到这一点,这有助于提高这些大面积气象卫星的图片质量。
视频会议:通过笔记本电脑甚至手机传输的实时视频使用了大量的互联网带宽。几十年来,这些服务一直依靠音频和视频编解码器来压缩和解压缩数据流(https://spectrum.ieee.org/ai-video-codecs-waveone)。这些编解码器中的许多都有几十年的历史,是在互联网速度慢得多的时候开发的。
Fox说:“最先进的算法现在只需要一个人的一张高分辨率照片,然后相机跟踪他们的面部肌肉是如何运动的,以创建一种深度伪造的图像。这意味着带宽和文件大小减少了近800倍,这对视频通话等应用程序至关重要。这是一个巨大的增长,它确实稍微进行了改变。”
视频游戏和流媒体视频:与在线视频会议一样,图像放大在视频游戏中产生了巨大影响。IEEE Spectrum(https://spectrum.ieee.org/ai-graphics-neural-rendering)的一份报告显示,对于一些图形密集的视频游戏,每八个像素中就有七个是由人工智能生成的,因此速度快了530%。对于如何将超分辨率技术应用于点播视频流,也有重要的研究(https://ieeexplore.ieee.org/document/10019712)。
医学成像:超分辨率技术在医学领域有着广泛的应用。许多医学图像,如X射线和MRI扫描,由于各种因素,包括扫描时间长度和设备的限制,分辨率较低。例如,提高肿瘤周围微小血管的分辨率可以帮助癌症的识别和治疗(https://ieeexplore.ieee.org/document/8854062)。超分辨率还可以改善胎儿的成像,因为胎儿往往会四处移动,使成像变得困难。
那么,是什么让这些技术变得更好呢?
IEEE高级会员Fabrizzio Soares说,更好的训练数据。
Soares说:“值得一提的是,这些算法依赖于图像中先前的知识,因此提供的样本越多,模型就越准确。但建立最完整的图像数据库是一个难题。此外,提供的样本越多,模型就越大。因此,训练和维护模型需要付出更大的努力。”
好文章,需要你的鼓励
本文评测了六款控制台平铺终端复用器工具。GNU Screen作为老牌工具功能强大但操作复杂,Tmux更现代化但学习曲线陡峭,Byobu为前两者提供友好界面,Zellij用Rust编写界面简洁易用,DVTM追求极简主义,Twin提供类似TurboVision的文本界面环境。每款工具都有各自特点和适用场景。
韩国汉阳大学联合高通AI研究院开发出InfiniPot-V框架,解决了移动设备处理长视频时的内存限制问题。该技术通过时间冗余消除和语义重要性保留两种策略,将存储需求压缩至原来的12%,同时保持高准确性,让手机和AR眼镜也能实时理解超长视频内容。
网络安全公司Snyk宣布收购瑞士人工智能安全研究公司Invariant Labs,收购金额未公开。Invariant Labs从苏黎世联邦理工学院分拆成立,专注于帮助开发者构建安全可靠的AI代理工具和框架。该公司提供Explorer运行时观察仪表板、Gateway轻量级代理、Guardrails策略引擎等产品,并在工具中毒和模型上下文协议漏洞等新兴AI威胁防护方面处于领先地位。此次收购将推进Snyk保护下一代AI原生应用的使命。
纽约大学研究团队通过INT-ACT测试套件全面评估了当前先进的视觉-语言-动作机器人模型,发现了一个普遍存在的"意图-行动差距"问题:机器人能够正确理解任务和识别物体,但在实际动作执行时频频失败。研究还揭示了端到端训练会损害原有语言理解能力,以及多模态挑战下的推理脆弱性,为未来机器人技术发展提供了重要指导。