从我们的智能手机到监控摄像头,人工智能在将模糊、颗粒状的照片转化为高分辨率照片方面做得越来越好。
这些改进背后的秘密是一对被称为人工智能超分辨率和人工智能升级的技术,在这两种技术中,人工智能模型在巨大的数据集上进行训练,可以提升模糊图像的质量或增加其分辨率。
IEEE会员Yale Fox表示:“由于几项关键技术的进步,人工智能的升级在这些年里有了显著的提高。其中一个进步是迁移学习,它允许开发人员将预先训练好的模型用于新任务,大大提高了升级的速度和准确性。另一个关键发展是大型图像数据集的可用性,这对于训练深度学习算法识别和生成高质量图像至关重要。”
Fox表示,图形处理单元(GPU)的进步也改善了这项技术。
“GPU和深度学习的结合对于使人工智能更快、更高效地升级也至关重要。GPU可以同时处理大量数据,从而实现更快的训练和推理。”
许多智能手机使用人工智能升级来提高照片的质量和分辨率。但这项技术也在其他领域有应用,包括医疗、卫星和娱乐行业。
卫星成像:近年来,发射到轨道上的卫星数量激增。发射更小、更轻的卫星变得更容易、更便宜。但较小的卫星可能无法像较大的卫星那样携带昂贵的高分辨率相机。正如IEEE Xplore®的这篇文章(https://ieeexplore.ieee.org/document/9757881)所示,人工智能超分辨率使较小的卫星能够用较小的相机捕捉更好的图像。
天气预报:一些气象卫星监视着地球的大部分地区。他们拍摄的照片可能只显示了几平方英里大小的细节。IEEE Access的一篇文章(https://ieeexplore.ieee.org/document/9001044)描述了一种教低分辨率气象卫星如何拍摄更好照片的系统。它通过使用旧的天气和气候数据来做到这一点,这有助于提高这些大面积气象卫星的图片质量。
视频会议:通过笔记本电脑甚至手机传输的实时视频使用了大量的互联网带宽。几十年来,这些服务一直依靠音频和视频编解码器来压缩和解压缩数据流(https://spectrum.ieee.org/ai-video-codecs-waveone)。这些编解码器中的许多都有几十年的历史,是在互联网速度慢得多的时候开发的。
Fox说:“最先进的算法现在只需要一个人的一张高分辨率照片,然后相机跟踪他们的面部肌肉是如何运动的,以创建一种深度伪造的图像。这意味着带宽和文件大小减少了近800倍,这对视频通话等应用程序至关重要。这是一个巨大的增长,它确实稍微进行了改变。”
视频游戏和流媒体视频:与在线视频会议一样,图像放大在视频游戏中产生了巨大影响。IEEE Spectrum(https://spectrum.ieee.org/ai-graphics-neural-rendering)的一份报告显示,对于一些图形密集的视频游戏,每八个像素中就有七个是由人工智能生成的,因此速度快了530%。对于如何将超分辨率技术应用于点播视频流,也有重要的研究(https://ieeexplore.ieee.org/document/10019712)。
医学成像:超分辨率技术在医学领域有着广泛的应用。许多医学图像,如X射线和MRI扫描,由于各种因素,包括扫描时间长度和设备的限制,分辨率较低。例如,提高肿瘤周围微小血管的分辨率可以帮助癌症的识别和治疗(https://ieeexplore.ieee.org/document/8854062)。超分辨率还可以改善胎儿的成像,因为胎儿往往会四处移动,使成像变得困难。
那么,是什么让这些技术变得更好呢?
IEEE高级会员Fabrizzio Soares说,更好的训练数据。
Soares说:“值得一提的是,这些算法依赖于图像中先前的知识,因此提供的样本越多,模型就越准确。但建立最完整的图像数据库是一个难题。此外,提供的样本越多,模型就越大。因此,训练和维护模型需要付出更大的努力。”
好文章,需要你的鼓励
英特尔第三季度财报超华尔街预期,净收入达41亿美元。公司通过裁员等成本削减措施及软银、英伟达和美国政府的大额投资实现复苏。第三季度资产负债表增加200亿美元,营收增长至137亿美元。尽管财务表现强劲,但代工业务的未来发展策略仍不明朗,该业务一直表现不佳且面临政府投资条件限制。
美国认知科学研究院团队首次成功将进化策略扩展到数十亿参数的大语言模型微调,在多项测试中全面超越传统强化学习方法。该技术仅需20%的训练样本就能达到同等效果,且表现更稳定,为AI训练开辟了全新路径。
微软发布新版Copilot人工智能助手,支持最多32人同时参与聊天会话的Groups功能,并新增连接器可访问OneDrive、Outlook、Gmail等多项服务。助手记忆功能得到增强,可保存用户信息供未来使用。界面新增名为Mico的AI角色,并提供"真实对话"模式生成更机智回应。医疗研究功能也得到改进,可基于哈佛健康等可靠来源提供答案。同时推出内置于Edge浏览器的Copilot Actions功能,可自动执行退订邮件、预订餐厅等任务。
纽约大学等机构联合开发的ThermalGen系统能够将普通彩色照片智能转换为对应的热成像图片,解决了热成像数据稀缺昂贵的难题。该系统采用创新的流匹配生成模型和风格解耦机制,能适应从卫星到地面的多种拍摄场景,在各类测试中表现优异。研究团队还贡献了三个大规模新数据集,并计划开源全部技术资源,为搜救、建筑检测、自动驾驶等领域提供强有力的技术支撑。