——扩大模型选择范围,帮助企业以可信和灵活的方式扩展 AI
- IBM 提供 Mixtral-8x7B 的优化版本,该版本可将延迟时间最多缩短 75%
- IBM、第三方和开源模型的目录不断增加,为客户提供更多选择和灵活性
- 是watsonx 人工智能与数据平台上最新的开源模型,watsonx提供企业就绪的人工智能开发平台、数据存储和治理功能
(2024年3月11日,北京)IBM(纽约证券交易所代码:IBM)近日宣布,由Mistral AI公司开发的广受欢迎的开源Mixtral-8x7B大型语言模型(LLM)已经可在其watsonx人工智能与数据平台上使用。
IBM 提供了 Mixtral-8x7B 的优化版本,在内部测试中,与常规模型相比,该版本能够将吞吐量(即在给定时间段内可处理的数据量)提高50%[i]。这可能可以将时间延迟减少 35-75%,从而加快获得洞察的时间,具体取决于批处理量的大小。这是通过一个称为量化的过程来实现的,该过程减少了 LLM 的模型大小和内存需求,进而可以加快处理速度,有助于降低成本和能耗。
Mixtral-8x7B 的加入扩展了 IBM 的开放、多模型战略,随时随地满足客户的需求,并为他们提供选择和灵活性,使其可以跨业务来扩展其企业级人工智能解决方案。通过数十年的人工智能研发、与 Meta 和 Hugging Face 开放式协作,以及与模型领导者的合作伙伴关系,IBM 正在扩展其 watsonx.ai 模型目录,并引入新的功能、语言和模式。
IBM 的企业就绪基础模型选择及其 watsonx 人工智能和数据平台可帮助客户利用生成式人工智能获得新的洞察力和效率,并基于信任原则创建新的业务模式。IBM 可帮助客户根据所针对的业务领域(如金融)的合适用例及性价比目标来选择合适的模型。
Mixtral-8x7B 结合了稀疏建模与专家混合技术来构建,“稀疏建模”是只查找和使用数据中最重要部分以创建更高效的模型的创新技术;而“专家混合技术”是把擅长并解决不同部分问题的不同模型(“专家”)结合在一起的技术。Mixtral-8x7B 模型因其能够快速处理和分析海量数据以提供与上下文相关的见解而广为人知。
IBM 软件公司产品管理与增长高级副总裁 Kareem Yusuf 博士表示:"客户要求在部署最适合其独特用例和业务要求的模型时拥有选择权和灵活性。通过在watsonx上提供Mixtral-8x7B和其它模型,我们不仅为客户提供了部署人工智能的可选性,还为人工智能构建者和业务领导者提供了一个强大的生态系统,使他们能够利用工具和技术推动不同行业和领域的创新。"
在同一周,IBM还宣布在watsonx上提供由ELYZA公司开源的日本LLM模型ELYZA-japanese-Llama-2-7b。IBM 还在 watsonx 上提供 Meta 的开源模型 Llama-2-13B-chat 和 Llama-2-70B-chat 以及其它第三方模型,未来几个月还将推出更多模型。
有关 IBM 未来方向和意图的声明如有更改或撤回,恕不另行通知,仅代表目标和目的。
[i] 基于 IBM 在供 IBM 使用的 watsonx 实例上使用内部工作负载进行的为期两天的测试。
好文章,需要你的鼓励
OpenAI首席执行官Sam Altman表示,鉴于投资者的AI炒作和大量资本支出,我们目前正处于AI泡沫中。他承认投资者对AI过度兴奋,但仍认为AI是长期以来最重要的技术。ChatGPT目前拥有7亿周活跃用户,是全球第五大网站。由于服务器容量不足,OpenAI无法发布已开发的更好模型,计划在不久的将来投资万亿美元建设数据中心。
阿里巴巴团队提出FantasyTalking2,通过创新的多专家协作框架TLPO解决音频驱动人像动画中动作自然度、唇同步和视觉质量的优化冲突问题。该方法构建智能评委Talking-Critic和41万样本数据集,训练三个专业模块分别优化不同维度,再通过时间步-层级自适应融合实现协调。实验显示全面超越现有技术,用户评价提升超12%。
英伟达推出新的小型语言模型Nemotron-Nano-9B-v2,拥有90亿参数,在同类基准测试中表现最佳。该模型采用Mamba-Transformer混合架构,支持多语言处理和代码生成,可在单个A10 GPU上运行。独特的可切换推理功能允许用户通过控制令牌开启或关闭AI推理过程,并可管理推理预算以平衡准确性和延迟。模型基于合成数据集训练,采用企业友好的开源许可协议,支持商业化使用。
UC Berkeley团队提出XQUANT技术,通过存储输入激活X而非传统KV缓存来突破AI推理的内存瓶颈。该方法能将内存使用量减少至1/7.7,升级版XQUANT-CL更可实现12.5倍节省,同时几乎不影响模型性能。研究针对现代AI模型特点进行优化,为在有限硬件资源下运行更强大AI模型提供了新思路。