AWS EC2 G4实例采用高效的Turing架构处理器,可部署加速超大规模AI推理、云游戏和最新RTX图形应用。
随着NVIDIA T4 Tensor Core GPU已陆续在北美、欧洲和亚洲地区AWS上线,云端用户现可享用多重功能,包括自动化与人性化兼得的客户服务、在任何互联设备端均能体验到的专业工作站性能以及电影级画质的PC游戏。
NVIDIA T4 GPU由一系列软件堆栈提供支持,为G4实例用户带来其所需性能及多种功能,并提升了效率。
NVIDIA的软件平台针对多种应用进行了优化,包括用于深度学习的NVIDIA cuDNN、用于数据分析及机器学习的NVIDIA RAPIDS 、用于云工作站图形的NVIDIA Quadro虚拟工作站、以及用于云游戏的NVIDIA GeForce。软件堆栈还包含了多种API、CUDA以及适用于特定领域的CUDA-X库,例如TensorRT、NCCL、OptiX和视频编解码SDK。
只需一个实例,AWS用户就能够无缝、高效地加速各类创作型工作负载。
AWS计算服务副总裁Matt Garman表示:“在利用计算密集型应用时,客户会面对各类棘手的挑战,而我们专注于解决这些挑战。AWS提供最全面的产品组合,帮助客户构建、训练并部署机器学习模型。Amazon EC2提供多种经过优化、适用于不同机器学习案例的实例类型以供用户选择。对于开发者而言,部署了T4 GPU的全新G4实例的出现,不仅让机器学习变得触手可及,也让其变得更加经济实惠。”
NVIDIA T4是第二代Tensor Core GPU,可谓GPU的华丽升级,它让AI应用能够实现最高性能,同时还能保持CUDA的可编程性。
图像分类、对象检测、自然语言理解、自动语音识别和推荐系统等AI应用的创新性、多样性和复杂性不断提升。NVIDIA T4凭借高达130TOPS的INT8性能,提供加速这些应用所需的混合精度张量处理功能。
亚马逊是业界率先针对训练和推理为NVIDIA GPU提供即用NVIDIA NGC容器支持的超大规模供应商之一。EC2 P3实例采用NVIDIA V100 Tensor Core GPU,让客户能够使用自动混合精度功能,将机器学习训练耗时从数天减少至数小时。借助EC2 G4,客户能够大规模部署AI服务,同时大幅降低运营成本。
根据NVIDIA在VMWorld期间发布的消息,VMware Cloud on AWS用户将会很快获得全新的高度可扩展的、安全的全新云服务(其中包括Amazon EC2裸机实例),该服务可通过NVIDIA T4 GPU和全新NVIDIA虚拟计算服务器(vComputeServer)软件进行加速。
使用这一企业级混合云平台,企业能够加速应用的现代化进程。从数据中心到AWS云,他们都能够基于一致的VMware基础架构来实现部署、迁移和运营的统一,以支持计算密集型工作负载,包括AI、机器学习和数据分析。
实时光线追踪是计算机图形学领域梦寐以求的技术,可实现栩栩如生的场景。借助逼真的实时渲染、AI增强型图形以及视频和图像处理,设计师和艺术家将使用全新方式开展内容创建。
NVIDIA T4是首款可用于云端的NVIDIA RTX光线追踪GPU。T4 GPU采用RT Core,这一专用型计算资源将告别过去昂贵的光线追踪方法,以非凡的效率实施光线追踪操作。
全新G4实例与NVIDIA Quadro 虚拟工作站(Quadro vWS)Amazon Machine Images相结合,支持最新光线追踪API,包括Microsoft DXR、NVIDIA Optix和Vulkan。传媒娱乐、建筑、制造、以及石油和天然气等行业的技术和创意专业人士可以在AWS云端运行最新图形软件应用。
有了AWS,只需不到5分钟就能部署虚拟工作站,简单快捷。用户可访问AWS Marketplace并选择NVIDIA Quadro vWS机器映像和G4实例,后者在Windows Server 2016和Windows Server 2019上可用。
T4采用的Turing架构也将NVIDIA在游戏领域的实力带到了AWS。该GPU的硬件编码器引擎可通过视频编解码SDK进行编程,使得要求最为严苛的游戏也能使用其进行渲染和流式传输。
游戏发行商可基于最新NVIDIA技术来构建自己的云游戏实例,而且几乎可以在任何设备端向玩家提供完整的PC游戏目录。
玩家可在高分辨率下以快速、流畅的帧速率尽享所有最新游戏的乐趣,而无需担心硬件升级或驱动程序、游戏补丁的更新。
支持此功能的NVIDIA驱动程序可通过AWS Marketplace获取,并可在Windows Server 2016、Windows Server 2019和Linux OS操作系统中的AWS G4实例上运行。
首批采用Amazon EC2 G4实例的客户包括Clarifai、Electronic Arts、GumGum和PurWeb,他们利用NVIDIA T4的全能算力和性能,能够大规模运行各类计算密集型工作负载。这几家公司都能够为客户提供强大的服务,同时降低客户的服务构建和部署成本。
未来几周内,G4实例还将支持Amazon Elastic Inference,用户可在Amazon EC2或Amazon SageMaker实例中添加GPU加速,以更低的成本实现更快速的推理,最高可节省75%的成本。
好文章,需要你的鼓励
OpenAI首席执行官Sam Altman表示,鉴于投资者的AI炒作和大量资本支出,我们目前正处于AI泡沫中。他承认投资者对AI过度兴奋,但仍认为AI是长期以来最重要的技术。ChatGPT目前拥有7亿周活跃用户,是全球第五大网站。由于服务器容量不足,OpenAI无法发布已开发的更好模型,计划在不久的将来投资万亿美元建设数据中心。
阿里巴巴团队提出FantasyTalking2,通过创新的多专家协作框架TLPO解决音频驱动人像动画中动作自然度、唇同步和视觉质量的优化冲突问题。该方法构建智能评委Talking-Critic和41万样本数据集,训练三个专业模块分别优化不同维度,再通过时间步-层级自适应融合实现协调。实验显示全面超越现有技术,用户评价提升超12%。
英伟达推出新的小型语言模型Nemotron-Nano-9B-v2,拥有90亿参数,在同类基准测试中表现最佳。该模型采用Mamba-Transformer混合架构,支持多语言处理和代码生成,可在单个A10 GPU上运行。独特的可切换推理功能允许用户通过控制令牌开启或关闭AI推理过程,并可管理推理预算以平衡准确性和延迟。模型基于合成数据集训练,采用企业友好的开源许可协议,支持商业化使用。
UC Berkeley团队提出XQUANT技术,通过存储输入激活X而非传统KV缓存来突破AI推理的内存瓶颈。该方法能将内存使用量减少至1/7.7,升级版XQUANT-CL更可实现12.5倍节省,同时几乎不影响模型性能。研究针对现代AI模型特点进行优化,为在有限硬件资源下运行更强大AI模型提供了新思路。