本周一,Scale Computing宣布与英特尔建立战略合作伙伴关系,负责提供一套全集成低功耗平台,用于部署并管理各类边缘应用程序。
成立于2007年的Scale Computing公司面向数据中心、云和边缘环境提供一系列超融合基础设施(HCI)产品,其中包括专为低功耗边缘设备提供精简版HCI软件堆栈的HC3软件平台。
该公司与英特尔的最新合作,意在将这些工作负载运行在经过验证的边缘硬件之上,借此满足零售业、工业及物联网等环境对于超低延迟应用日益增长的实际需求。
Scale公司CEO Jeff Ready在采访中表示,“边缘场景跟传统数据中心有很大不同,机房里一些不足为虑的因素很可能在这里产生重大影响——例如物理尺寸、噪音、功耗等。”
例如,在工业环境中,边缘设备需要成为更经济、更高效的大型服务器替代方案,同时保证仍能以一定的速度预处理数据、不必将其发送至云端以供分析。
由于这类应用主要处于资源有限的边缘环境,所以Scale公司决定选择英特尔打造的下一代计算单元(NUC)平台。其紧凑、高度集成的小巧设计专为边缘场景而生。
Ready解释道,“我们发现,英特尔NUC平台特别适应边缘计算环境的现实条件。”
虽然最早主要被用于小型DIY PC和瘦客户端,但英特尔NUC如今已经发展为面向游戏、边缘和物联网应用进行优化的变体形式。NUC平台大多采用15到28瓦的笔记本电脑处理器,而且主要使用SO-DIMM内存模块加SSD。
英特尔NUC企业边缘计算(EEC)则使用第11代酷睿i5-1145G7或酷睿i7-1185G7处理器运行最新一代NUC 11 Pro平台。两种配置均提供最高4.8 GHz的主频,包含4个物理核心和8个逻辑线程,最多可匹配64 GB DDR4内存。
在英特尔负责提供计算能力的同时,Scale的HC3软件平台则为客户带来集中管理和软件框架支持,可用于边缘应用程序的大规模部署和管理。
Ready解释道,“在大多数边缘环境中,客户关注的不是在同一位置部署N台服务器,而是在N个位置分别部署1台小型服务器——N可能是几百甚至几千。这种大规模横向扩展本身就会给管理构成不小的挑战。”
NUC EEC产品计划于今年晚些时候发布,并将由英特尔授权经销商进行转售。
好文章,需要你的鼓励
OpenAI首席执行官Sam Altman表示,鉴于投资者的AI炒作和大量资本支出,我们目前正处于AI泡沫中。他承认投资者对AI过度兴奋,但仍认为AI是长期以来最重要的技术。ChatGPT目前拥有7亿周活跃用户,是全球第五大网站。由于服务器容量不足,OpenAI无法发布已开发的更好模型,计划在不久的将来投资万亿美元建设数据中心。
阿里巴巴团队提出FantasyTalking2,通过创新的多专家协作框架TLPO解决音频驱动人像动画中动作自然度、唇同步和视觉质量的优化冲突问题。该方法构建智能评委Talking-Critic和41万样本数据集,训练三个专业模块分别优化不同维度,再通过时间步-层级自适应融合实现协调。实验显示全面超越现有技术,用户评价提升超12%。
英伟达推出新的小型语言模型Nemotron-Nano-9B-v2,拥有90亿参数,在同类基准测试中表现最佳。该模型采用Mamba-Transformer混合架构,支持多语言处理和代码生成,可在单个A10 GPU上运行。独特的可切换推理功能允许用户通过控制令牌开启或关闭AI推理过程,并可管理推理预算以平衡准确性和延迟。模型基于合成数据集训练,采用企业友好的开源许可协议,支持商业化使用。
UC Berkeley团队提出XQUANT技术,通过存储输入激活X而非传统KV缓存来突破AI推理的内存瓶颈。该方法能将内存使用量减少至1/7.7,升级版XQUANT-CL更可实现12.5倍节省,同时几乎不影响模型性能。研究针对现代AI模型特点进行优化,为在有限硬件资源下运行更强大AI模型提供了新思路。