当前,人工智能蓬勃发展,但由于人工智能涉及诸多前沿技术及应用领域,导致实施人工智能的成本较大,高技术门槛为行业从业者带来了挑战。作为国内领先的IT信息技术厂商,近年来曙光持续加大在人工智能相关领域的研发投入力度,致力于为客户业务发展提供强大技术支撑。2018年6月份,由曙光自主研发的深度学习一体化应用服务平台SothisAI荣获国际数字商业创新协会2018ECIAwards金奖。
针对目前人工智能市场最突出的计算服务成本、研发技术门槛两个痛点,同时聚焦图像识别、语音识别、自然语言处理、智能驾驶、科研教育等应用方向,曙光正式对外发布SothisAI2.0版本,进一步为用户优化容器化的集群调度以及深度学习私有云服务方案,通过SothisAI2.0为用户提供卓越的解决方案,以帮助用户将更多的精力集中到垂直应用的工作领域。
据介绍,SothisAI2.0具有高效稳定、弹性灵活、专注人工智能等特性,为用户提供更为快速高效的深度学习切入方式,并开放二次开发接口,可供用户根据自身需求定制特化应用服务。
SothisAI2.0采用Slurm、K8S双调度引擎调度融合容器弹性扩展技术的方式,实现了资源的动态高效调度,应用的快速分发,和进程级隔离。支持多种编译环境,如CUDA、anaconda等,及常见深度学习框架,如Caffe、TensorFlow、PyTorch等。提供了丰富的数据集和典型网络模型,同时支持内容分享和应用发布功能,协助构建平台微生态。
基于容器技术,应用容器化,应用迁移方便快捷,分布式集群最大化提高资源使用率,应用集群化,让应用更强大、可扩展、支持高并发,资源动态弹性扩展,实现可视化管理和操控。容器镜像仓库支持公有仓库、私有仓库,方便镜像管理、迁移扩展。提供调度、编排、服务发现,同时还支持节点监控、应用健康检查、弹性扩容等功能。
提供应用发布订阅、数据代码分享等功能,协助平台用户提高组间协作效率,分享研发成果,精调模型参数。对于自定义环境或框架还可采用自由容器的方式进行环境构建,并通过镜像的固化和分享实现自助发布。
曙光SothisAI目前支持深度学习领域主流的Caffe和TensorFlow等框架,实现从系统到数学库再到上层框架的多层深度学习开发环境一键部署。并有图形化的Web界面和命令行形式的SSH、Jupyter接入方式供用户选择。
面向不同应用行业提供丰富的典型数据集支持,如ImageNet、MNIST、MTVL等。同时支持用户数据集共享功能,实现平台数据集仓库的用户动态实时更新。
SothisAI2.0完整覆盖深度学习训练和容器管理全流程,提供推理服务环境,为用户提供流畅的应用开发体验和一站式深度学习服务,帮助用户加速算法优化,实现产品的快速迭代和最终落地。
目前,SothisAI平台已在多所高校、研究中心以及超算中心部署使用。未来曙光将继续围绕领先技术,对产品及服务进行持续迭代,释放人工智能所需计算力,满足更加复杂、个性化业务发展需求,推动人工智能行业发展。
好文章,需要你的鼓励
这篇研究介绍了KVzip,一种创新的查询无关KV缓存压缩方法,通过上下文重建机制为大型语言模型提供高效存储解决方案。该技术能将KV缓存大小减少394倍,同时提高解码速度约2倍,在各种任务上性能几乎不受影响。不同于传统查询相关的压缩方法,KVzip创建可在多种查询场景下重用的通用压缩缓存,特别适合个性化AI助手和企业信息检索系统。研究在LLaMA3.1-8B、Qwen2.5-14B和Gemma3-12B等多种模型上进行了验证,处理长度高达17万词元的文本,并能与KV缓存量化等其他优化技术无缝集成。
腾讯与上海交通大学联合推出的DeepTheorem研究突破了大型语言模型在数学定理证明领域的限制。该项目创建了包含12.1万个IMO级别非形式化定理的大规模数据集,开发了专门的RL-Zero强化学习策略,并设计了全面的评估框架。研究表明,通过使用自然语言而非传统形式化系统,即使是7B参数的模型也能在复杂定理证明上取得显著成果,超越许多更大的专业模型。这一成果为AI数学推理开辟了新途径,使语言模型能够像人类数学家一样思考和证明。
MAGREF是字节跳动智能创作团队开发的多主体视频生成框架,能从多张参考图像和文本提示生成高质量视频。该技术引入了区域感知动态遮罩机制,使单一模型灵活处理人物、物体和背景,无需架构变化;并采用像素级通道拼接机制,在通道维度上运作以更好地保留外观特征。实验表明,MAGREF在身份一致性和视觉质量方面优于现有技术,能将单主体训练泛化到复杂多主体场景,为内容创作者提供了强大而便捷的视频生成工具。
这项研究揭示了大型语言模型(LLMs)偏好决策的内在机制。以色列理工学院和IBM研究院的团队开发了一种自动化方法,不需人工预设即可发现和解释影响AI判断的关键概念。研究横跨八个领域(从一般问答到安全评估),分析了12种偏好机制,发现人类评判者重视权威性和清晰度,而AI评判更关注事实准确性。他们提出的层次多领域回归模型不仅能准确预测偏好,还能清晰解释判断过程,为构建更透明、更符合人类价值观的AI系统提供了新途径。