联邦机器学习又名联邦学习,联合学习,联盟学习。联邦机器学习是一个机器学习框架,能有效帮助多个机构在满足用户隐私保护、数据安全和政府法规的要求下,进行数据使用和机器学习建模。
中国上海 – 2022年8月1日
全球领先的边缘计算解决方案提供商—凌华科技与致星科技(简称“星云Clustar”)达成合作,携手打造边缘联邦学习的一体机,颠覆传统的集中式机器学习训练。此平台采用凌华科技的MECS-7211作为边缘计算服务器,与星云CLustar的FPGA隐私计算加速卡,为个资隐私解套,应用于密集型计算的加速场景,如隐私计算、机器学习、基因测序、金融业务、医疗、视频处理、网络安全等。
随着物联网的快速发展以及5G网络普及化,大量终端设备接入网络中产生海量数据,传统的数据计算分析基于云计算进行,随着数据的急剧增加,由应用终端传送至云计算过程中,会造成延时和数据泄露,及时并有效地处理数据成为云计算中心的一大挑战,边缘计算(Edge Computing)因应而生。
在靠近人、物或数据源的网络边缘侧,就近提供边缘智能服务,更有效率的网络服务响应,大大提升物联网、车联网、工业控制、智能制造、大视频等众多业务需求。边缘计算技术的引入,减轻了云中心的网络负担, 但同时也引起了安全性问题,而数据的本地化,容易阻碍数据间的交互,加之近年数据安全、应用规范不断收紧,如 GDPR 数据隐私以及数据保护的议题被高度重视。传统机器学习算法采用的数据集中化计算,无法应对数据规范要求,限制人工智能的发展。
在此背景下,联邦学习(Federated machine learning/Federated Learning)应时而生,为边缘计算的安全问题提供了解决方案。
联邦学习是一个机器学习框架,在参与方使用加密后的私有数据进行运算,仅交换加密状态后的模型参数、权重及梯度等特征,无需将原始数据移出本地,也无需将加密后的原始数据移动集中,即能帮助多个机构在满足用户隐私保护、数据安全和政府法规的要求下,进行数据使用和机器学习建模。
联邦学习作为分布式的机器学习范式,保障数据不泄露并让企业用更多的数据训练模型、联合建模,实现AI协作,从技术上打破数据孤岛,为隐私保护计算解决方案的落地提供了有力支撑。
凌华科技和星云Clustar联合推出边缘联邦学习的一体机。该系统采用凌华科技的MECS-7211作为边缘计算服务器,和星云Clustar的FPGA异构加速卡,对联邦学习中常用复杂算子进行定性分析和硬件优化,便于用户实现分布式密态机器学习任务的加速。高效的存储、计算、数据传输系统,对异构系统的高效运转起到了协同优化的作用,对比传统的CPU架构,性能提升7倍,CPU+GPU方案,提升2倍,功耗降低40%。
此边缘联邦学习一体机,应用领域广泛,适用需要大量数据分析并注重隐私的金融、医疗、数据中心等领域,并已完成多处实例布署。
星云Clustar高级副总裁尚勇表示:“作为一家以算力为核心的隐私计算基础设施提供商,星云Clustar秉承算力+赋能数据要素高效流通应用的理念,为数据密集型计算场景提供高安全、高可用综合基础设施。与凌华科技携手打造边缘联邦学习一体机,是星云Clustar扩展隐私计算算力基础设施应用生态的重要一环,双方将充分进行优势互补,不断扩展边缘计算应用场景,携手打造高安全、高性能、低时延的综合计算平台。”
凌华科技网络通讯暨公共建设事业处总监叶建良表示:“凌华科技MECS系列产品,定位于5G,边缘计算平台。作为OTII规范的发起者之一,MECS系列产品符合OTII(Open Telecom IT Infrastructure)的行业规范,采用异构架构,灵活支持FPGA、GPU、5G加速等扩展卡。紧凑尺寸设计加上支持宽温运行环境,适合分布式架构应用场景,部署于网络的边缘和应用侧。凌华科技和星云Clustar联合推出边缘联邦学习的一体机,协同优化运算系统,拓展了MECS系列产品的应用,未来也将持续与星云Clustar在AI 领域合作,丰富边缘计算的应用场景。”
凌华科技致力于边缘计算和AI行业,超过二十年在电信网通运算领域的研发投入经验,专注于网络安全、5G,边缘计算,物联网等基础设施的产品和服务,提供领先、加固和可靠的硬件和软件解决方案,成为人工智能改变世界的推手。
深圳致星科技是一家以算力为核心的隐私计算基础设施提供商,专注于高性能隐私计算算力解决方案研发与技术创新,公司产品包括隐私计算平台,软硬一体机、算力加速卡等,致力于以“算力+”为隐私计算应用规模化落地打造算力“基建”,赋能数据要素有序共享与综合应用。
好文章,需要你的鼓励
OpenAI首席执行官Sam Altman表示,鉴于投资者的AI炒作和大量资本支出,我们目前正处于AI泡沫中。他承认投资者对AI过度兴奋,但仍认为AI是长期以来最重要的技术。ChatGPT目前拥有7亿周活跃用户,是全球第五大网站。由于服务器容量不足,OpenAI无法发布已开发的更好模型,计划在不久的将来投资万亿美元建设数据中心。
阿里巴巴团队提出FantasyTalking2,通过创新的多专家协作框架TLPO解决音频驱动人像动画中动作自然度、唇同步和视觉质量的优化冲突问题。该方法构建智能评委Talking-Critic和41万样本数据集,训练三个专业模块分别优化不同维度,再通过时间步-层级自适应融合实现协调。实验显示全面超越现有技术,用户评价提升超12%。
英伟达推出新的小型语言模型Nemotron-Nano-9B-v2,拥有90亿参数,在同类基准测试中表现最佳。该模型采用Mamba-Transformer混合架构,支持多语言处理和代码生成,可在单个A10 GPU上运行。独特的可切换推理功能允许用户通过控制令牌开启或关闭AI推理过程,并可管理推理预算以平衡准确性和延迟。模型基于合成数据集训练,采用企业友好的开源许可协议,支持商业化使用。
UC Berkeley团队提出XQUANT技术,通过存储输入激活X而非传统KV缓存来突破AI推理的内存瓶颈。该方法能将内存使用量减少至1/7.7,升级版XQUANT-CL更可实现12.5倍节省,同时几乎不影响模型性能。研究针对现代AI模型特点进行优化,为在有限硬件资源下运行更强大AI模型提供了新思路。