生成AI大语言模型供应商Hugging Face已经与戴尔达成协议,计划将更多定制化生成AI模型部署在戴尔的服务器与存储产品之上。
Hugging Face对外提供各类开源大语言模型,包括用于文本分类的Distilbert-sst-2-int8等。作为Hugging Face合作伙伴,已经有越来越多的开源模型运行在AMD打造的Instinct和Alveo加速器之上,CloudFlare也有类似合作。如今,Hugging Face决定在其平台上构建戴尔门户,通过戴尔的计算与存储基础设施开放更多定制化大语言模型(LLM)的本地部署方案。
戴尔首席AI官Jeff Boudreau专门发表声明评论此番合作,“戴尔科技的生成AI优势将与Hugging Face的数据集和库集合相结合,帮助用户实现开源生成AI模型自由,并通过保障本地数据的安全性和可靠性,让他们能够安心使用更多开源生成AI模型。”
Hugging Face产品与业务增长主管Jeff Boudier也表示,“此次合作将让企业客户能够充分利用开源社区中精彩纷呈的创新成果,借此构建起自己的AI系统,同时充分享受戴尔系统带来的安全性、合规性与性能保障。”
Hugging Face上的戴尔门户将提供定制化专用容器和脚本,帮助用户在戴尔服务器和数据存储系统之上部署各类开源模型。
目前,戴尔公司正在全力进军AI领域。不久前,该公司刚刚发布了ObjectScale XF960全闪存存储设备和戴尔AI验证设计(Dell Validated Designs for AI)方案,其中就包括配备有X86 CPU以及最高8个英伟达H100 GPU的PowerEdge XE9680服务器。
Hugging Face目前的产品目录中拥有超过30万种大语言模型,同时提供预训练的模型、库、工具及资源,希望尽可能降低受众的使用门槛。该公司于2016年成立于纽约布鲁克林,主要提供开源自然语言处理技术。通过前后六轮融资,Hugging Face公司总计筹得3.952亿美元,最近一轮是今年8月进行的D轮融资、筹得2.35亿美元。Salesforce、谷歌和AMD均出资支持这家后起之秀。
好文章,需要你的鼓励
zip2zip是一项创新技术,通过引入动态自适应词汇表,让大语言模型在推理时能够自动组合常用词组,显著提高处理效率。由EPFL等机构研究团队开发的这一方法,基于LZW压缩算法,允许模型即时创建和使用"超级tokens",将输入和输出序列长度减少20-60%,大幅提升推理速度。实验表明,现有模型只需10个GPU小时的微调即可适配此框架,在保持基本性能的同时显著降低计算成本和响应时间,特别适用于专业领域和多语言场景。
时尚零售巨头维多利亚的秘密因安全事件导致网站和线上订单服务中断,已立即启动应急响应、邀请第三方专家协助恢复运营,实体店仍正常营业。
这项研究创新性地利用大语言模型(LLM)代替人类标注者,创建了PARADEHATE数据集,用于仇恨言论的无毒化转换。研究团队首先验证LLM在无毒化任务中表现可与人类媲美,随后构建了包含8000多对仇恨/非仇恨文本的平行数据集。评估显示,在PARADEHATE上微调的模型如BART在风格准确性、内容保留和流畅性方面表现优异,证明LLM生成的数据可作为人工标注的高效替代方案,为创建更安全、更具包容性的在线环境提供了新途径。