万物互联时代,物联网的真正价值在于万物被越来越多地链接起来。海量数据的大爆发,需要利用大量机器学习和人工智能进行分析。
边缘计算的快速发展使得计算能力加速向边缘迁移,AI也逐步从中心节点向更贴近数据源和业务现场的边缘侧拓展。
当边缘智能与边缘计算和人工智能相结合,能有效地执行实时、小数据的处理,开展AI模型的推理,并将结果回传至云端,这种“云—边—端”协同的边缘智能架构,解决了目前AI应用中存在的海量数据处理、实时响应以及数据安全等问题,为AI在更多行业的应用奠定了基础。
根据德勤的分析,现在的AI计算已经在制造业、政府、零售、电信、医疗等不同应用场景下获得应用。很显然,边缘智能在拓展AI边界过程中发挥了重要作用,它能显著提升AI针对现场多样化业务场景的适应性,从而更好地支撑业务运营、为客户创造更多的价值。
软件赋能加速AI应用开发
如果在没有嵌入式处理器供应商提供的合适工具和软件的支持下,既想设计高能效的边缘人工智能(AI)系统,同时又要加快产品上市时间,这项工作难免会冗长乏味。
同时,企业也会面临的一系列挑战包括选择恰当的深度学习模型、针对性能和精度目标对模型进行训练和优化,以及学习使用在嵌入式边缘处理器上部署模型的专用工具。
在硬件层面,NVIDIA提出了Jetson产品家族,打造领先的边缘AI平台。同时,在软件层面,NVIDIA也推出了NVIDIA TAO工具包和Metropolis SDK,帮助企业加速创建、部署和扩展从边缘到云端的AI和IoT应用程序。
其中,TAO工具包是NVIDIA的人工智能模型适应平台,可简化和加速人工智能的创建。TAO平台汇集了加速模型适应过程所需的各种NVIDIA技术,包括迁移学习工具包或TLT。使用TAO工具套件训练的模型可以部署在包括Jetson在内的任何NVIDIA平台。
基于英伟达TAO的软件栈,中科创达提供了一个名为Model Farm的AI全流程应用平台,包括数据采集、数据清洗与标注、训练集的组织、训练实施、推理模型的部署与推理结果的二次验证,通过AIOPS的思路,实现数据闭环与业务场景的闭环,帮助客户快速打造场景化的AI行业解决方案。
2022年4月29日,中科创达高级产品与解决方案总监许春亮将分享“基于TAO的AI全流程应用系统”的主题分享,详细介绍如何基于Model Farm实现AI应用的快速开发。
NVIDIA Metropolis SDK提供一套端到端的应用开发工具和框架,从数据中心到边缘端,实现应用的高效开发和加速部署。结合NVIDIA推出的EGX企业平台,更好的实现云边协同及企业级稳定可靠的运行保障。
2022年4月27日,NVIDIA开发者发展经理崔晓楠将进行主题为《利用Metropolis SDK,快速开发和部署AI应用》的在线直播培训,届时您可以了解更多Metropolis SDK的开发技巧。
场景优先加速边缘AI落地
在智慧城市建设中,AI应用已经渗透到城市管理、交通、民生等诸多方面,随着智慧城市向精细化和社区化下沉,边缘智能在智慧交通、应急响应、城市安全等场景下的应用日渐增多。IDC的预测是,在未来几年,边缘智能支出在城市运维管理场景这一市场将保持25%的增速。
比如在智慧交通方面,亚利桑那州马里科帕县交通部(MCDOT)管理着全美第14大交通繁忙地区,交通拥堵问题严重。NVIDIA Metropolis合作伙伴NoTraffic通过基于人工智能的交通管理平台为他们提供了所需的答案,该平台优化流程基于实时性利用率和需求进行优化。
AI传感器单元安装在每个交叉口,通过机器视觉和雷达的融合提供道路用户检测和分类。这些传感器们利用NVIDIA Jetson边缘AI设备和NVIDIA Metropolis AI框架进行交叉路口的视频处理。NoTraffic的路边单元可以检测和分类道路使用者,包括轿车、公交车、卡车、自行车、行人,甚至在任何光线或天气条件下的应急车辆。
使用边缘计算对处理后的数据进行优化可以改善交通信号灯 , 节省带宽并降低延迟。城市工程师可以使用定制仪表盘进行数据查看与实时分析,从而实现如碰撞预测和定义特定道路用户优先级等功能。
与常见的边缘计算产品相比,NVIDIA Jetson嵌入式GPU产品线具有大算力、低功耗、低延时等优点,配合其云边一体的软件栈和工具链,使在云端训练的模型可以轻松地部署到边缘端,并实现动态的在线维护和更新。
作为NVIDIA Jetson Elite Partner,天准科技基于Jetson面向智慧交通车路协同场景研发了一套完整的端到端的解决方案,包括边缘计算MEC、智能感知相机、多传感器时空同步和融合感知解决方案等,广泛应用于全息路口、智慧高速、自主泊车等场景,在达到业内领先的精度和准确度水平的同时,实现业内最低的系统延时。
2022年4月28日,天准科技机器人事业部总经理刘军传将为您介绍基于Jetson和Deepstream实现端到端的智慧交通车路协同解决方案,内容精彩不容错过。
结语
随着网络架构和工具对嵌入式系统的不断适应和兼容,越来越多的人工智能应用也可以直接运行在边缘设备上,因此“边缘AI”成为业界的热点。
展望未来,边缘AI高速增长,AI与边缘计算融合加速落地,将推动我们步入“万物互联”的AI新时代。
好文章,需要你的鼓励
这项研究由德累斯顿工业大学等机构的研究团队完成,旨在解决主动学习未被广泛应用的问题。研究者构建了包含460万种超参数组合的实验网格,系统分析了各参数对主动学习性能的影响。研究发现,不同策略实现间存在显著差异,基于边缘的不确定性策略整体表现最佳,随机选择约4000个超参数组合即可获得可靠结果。这些发现为设计可重现、可信赖的主动学习实验提供了明确指导,有助于降低入门门槛,促进技术在实际应用中的普及。
这项由英国爱丁堡大学和上海人工智能实验室研究者共同完成的工作提出了LongBioBench,一种用于评估长文本语言模型的新型基准测试框架。通过使用人工生成的虚构人物传记作为测试环境,该框架在保持可控性的同时,提供了更真实的评估场景。研究对18个长文本模型的测试表明,即使最先进的模型在检索、推理和可信任性方面仍存在显著挑战,特别是上下文长度增加时。研究还揭示了现有合成基准测试的设计缺陷和长上下文预训练的局限性,为未来模型开发提供了重要指导。
SuperWriter是一项来自新加坡科技设计大学和清华大学的突破性研究,通过模仿人类"先思考后写作"的过程,彻底改良了AI长文生成能力。该研究团队开发的框架包含三个关键阶段:规划、写作和修改,使AI能像专业作家一样进行结构化思考。实验结果表明,经过训练的SuperWriter-LM模型不仅超越同等规模的所有AI模型,甚至在某些领域表现优于规模更大的顶级模型,为AI辅助写作开创了新的可能性。
香港大学与阿里巴巴达摩院合作开发的LayerFlow是一种突破性的层级视频生成技术,能同时生成透明前景、完整背景和混合场景视频。该技术通过创新的框架设计将不同视频层级作为子片段连接,并引入层级嵌入使模型区分各层级。面对高质量训练数据稀缺的挑战,研究团队设计了三阶段训练策略,结合Motion LoRA和Content LoRA,实现了图像和视频数据的联合训练。LayerFlow不仅支持多层视频生成,还能实现视频分解和条件层生成,为视频创作领域带来革命性变革。