至顶网计算频道 11月07日 新闻消息(文/李祥敬):当前数字经济蓬勃发展,我们面对源源不断的数据洪流。为了帮助企业应对数据挑战,英特尔英特尔的战略中心从以PC为中心,转到以数据为中心上面。
在以数据为中心的战略指引下,英特尔不光需要在硬件层面进行创新,还需要在软件层面进行投入。英特尔亚太研发中心总经理卢炬告诉记者,如果光通过开发和优化硬件,那么,性能的提高可能远远达不到现在以数据为中心的战略需求。如果想要实现指数级的增长,一定要软硬件协同。
近日,笔者参加了英特尔亚太研发中心的“紫竹探秘:英特尔软件生态与价值”主题活动,与专家交流了英特尔亚太研发中心在软件生态建设方面所做的卓有成效的工作。
英特尔亚太研发中心前身是1993年在上海漕河泾成立的“英特尔中国架构开发实验室”,2005年时候升格为“英特尔亚太研发有限公司”。目前,英特尔亚太研发中心正式员工超过2000人,是涵盖英特尔各个产品部在中国最大的、最完整的综合性研发机构,拥有世界一流的工程研发能力。
卢炬表示,作为一家公司来说,英特尔亚太研发有限公司的企业目标:在中国为英特尔建设世界级的工程创新中心。它的发展战略,是“根植中国、放眼世界”。“同时我们打造两个支柱:一是引领创新:作为一家研发机构,创新其实是最核心的,否则会永远赶不上行业的发展速度;二是市场/生态系统关联:我们跟市场和生态系统融合,也是我们这几年工作的重点。我们的最终目标是建立更多的工程卓越中心。”
软件对于英特尔来说是一个重要资产,英特尔在全球大概十万到十一万人,软件工程师占到15%左右(15000名左右)。
英特尔软件也是推动未来计算创新的隐形力量。因为整个计算架构不是原来的单一CPU架构,需要针对不同的架构和负载进行整合,软件在中间起了一个最关键的桥梁作用。
卢炬表示,现在的计算架构已经从CPU时代往XPU方向发展,也就是从原来比较流行的CPU(向量计算)向GPU(矢量计算)、AI(矩阵计算)和FPGA(空间计算)发展。在英特尔的“支撑未来超异构计算”六大关键支柱中间,英特尔亚太研发有限公司贡献了五个。
同时,英特尔战略中心从以PC为中心,转到以数据为中心上。在这个转型过程中间,市场的规模是已经扩大到一个总量约为3000亿美元的市场。这样目标客户更多,需要解决的问题更多,生态也就变得愈加重要。除了硬件生态方面,英特尔在软件生态也有非常大的投入和合作。
卢炬说,对于英特尔软件部门来说,实现软硬协同、生态共赢需要做好以下事情:提供简便可扩展的工具,来加速应用开发部署;坚持客户至上,针对不同类型的工作负载进行优化;秉承开放理念,推动开源、开放生态系统协作;产学研对接,培育面向未来的创新人才。
现在开源软件已经成为业界的主流,其对于整个产业的变革意义是不言而喻的。
英特尔亚太研发中心开源首席科学家冯晓焰表示,开源软件早就已经是主流的软件,在系统软件栈的各个层次都有开源软件的选项。而且国内的主要云服务供应商基本都是基于开源软件建立解决方案。
其实,英特尔全面拥抱开源软件已经有长达近20年的时间,在上世纪90年代就已经开始在做一些和Linux内核有关的开源软件。英特尔内部还成立了一个团队叫“开源软件技术中心”。
冯晓焰说,在开源软件方面,英特尔尊重开源软件的许可,做开源社区的守法公民。因为开源软件特别复杂、不同的开源软件有各自各种各样的许可证。英特尔内部有一整套的流程,保证英特尔软件符合这些开源软件不同的许可证。
英特尔还与社区合作,并贡献社区(技术、社区活动)。在技术上,英特尔把代码直接贡献给整个开源软件社区,让整个业界能够第一时间分享。比如:Linux内核、Kernel/KVM是建立各种各样的云服务最重要的两个基础软件。在Linux内核、Kernel/KVM这两个基础软件里,英特尔整个在社区里面代码贡献量常年都是高居第一的。
同时,在最短时间内提供对英特尔新技术在开源软件中的支持。创建有意义的开源软件项目,比如ACRN、Kata Container,以及StarlingX。
英特尔还帮助客户基于开源软件建立一些解决方案,包括甚至建立一些针对客户特定的优化,能够得到比较好的服务。比如英特尔推动了OpenStack在中国的社区的活跃和广泛应用。事实上英特尔一直在和这些OpenStack“超级用户”密切合作,为他们提供了很多支持。
“我们在国内建立了专门针对CSP(云服务提供商)的支持团队,密切和这些CSP们一起工作,提供直接的支持。我们还支持了国内第一个Kata Container商业化部署。包括我们对一些最新技术的支持。这些技术其实有效的帮助了像CSP提供的解决方案,包括对整个性能的优化。”冯晓焰说,“英特尔积极投身开源软件,希望整个基于开源软件的解决方案能够在英特尔平台上运行地更好,提供最好的用户体验。”
何为首席工程师?英特尔机器学习首席工程师林晓东戏称自己是“码农的码农”,开发者使用工具开发,包括:编译器、调试器、调优器、编程语言和框架等。而首席工程师的任务是优化这些编译器、框架、各种库,使得使用这些框架和编译器的人效率更高。
林晓东表示,英特尔对于未来计算的展望和承诺是:SVMS架构(S是Scalar标量,V是Vector向量,M是Matrix矩阵,S是Space空间),也就是超异构计算。而在SVNS架构之上,英特尔构建oneAPI,对这些硬件进行了抽象。开发者针对的是这个抽象来写程序,而不是具体的硬件。在oneAPI是框架和中间件框架提供了更高一层的抽象和语义,开发者可以在上面快速开发,高效部署。
“英特尔做软件,就是使能和优化,我们做的事情使所有的硬件的每一个晶体管都能够能力充分发挥起来,这是英特尔软件的目标,使得开发者能够非常容易地把软硬件充分用起来。”林晓东说。
具体到深度学习,一定是软硬件结合。英特尔借助软硬结合,将Broadwell到Skylake的机器学习性能提升了277倍。从Skylake到Cascade Lake 增长了28倍,其中通过硬件提升了4倍左右,剩下的全部是由软件优化带来的。
林晓东特别强调,这些优化成果是英特尔亚太研发中心团队带来的,包含与中国客户的交流以及工作负载优化,这包括腾讯、阿里巴巴、今日头条等。“中国的软件从刚开始是世界的软件到中国做本地化,现在我们真正在中国、根据中国的具体需求,创造了软件、服务了全球,这是我们非常值得骄傲的一点。”
英特尔中国区云计算软件性能优化团队总监李宏表示,英特尔与客户、合作伙伴的互动是双向的。“双向的意思是什么?一方面,我们会把英特尔的技术介绍到客户的软件开发当中,帮助他们提高性能。这个过程当中,我们也加深了对他们软件的了解,也知道我们的技术在里面使用得怎么样,他们在未来需要什么样的技术,然后我们把这样的信息反馈给产品部门,为未来的硬件或者软件产品打造良好的基础。”
在性能与优化层面,英特尔强调软件充分支持硬件的各种各样的功能。另一方面,英特尔也强调软硬件相互协调搭配,从而在系统角度达到最优。
在这一过程中,人才始终是第一要素。因为软件工具的使用对于人的素质要求或知识面的要求比较高。为此,英特尔专门成了团队。
李宏说,英特尔在合作伙伴和软件方面的投入是长期、持续性的,而并非短期的,因为我就在这个团队工作15年了。这个团队目前是一个全球化的团队。借助于英特尔全球的研发网络,我们的主要研发力量在各地都有分布。我们与合作伙伴一同做项目、做工程,也传播知识,帮助他们培养人才。
目前李宏所在团队与中国的合作伙伴针对70多个应用进行了优化,涵盖的范围很广,包括包括:搜索引擎、媒体处理、存储等等,尤其是AI,有超过一半的项目是和AI相关。AI相关参与的范围也十分广泛,包括新指令集使用,新的拓扑逻辑、新的框架等等。大部分的程序经过优化之后能够达到2-4倍的性能提升,个别能够提高10倍。
“英特尔拥有得天独厚的优势,能将业内的重要伙伴联合起来,共同降低各种架构和工作负载下的开发复杂性,并加速创新技术的大规模部署。唯有软硬兼施,才能更好地满足未来计算的需求。我们希望通过软件团队和合作伙伴共同合作,推动业界向前发展。”李宏如是说。
现在正处在数据变革的时代,全球超过90%的数据都是在近几年产生的,而其中超过一半的数据都是在过去两年产生的,而且我们可以预计之后当数字化的应用越来越多,包括IoT和5G,数据的生成速度和规模只会越来越大。但是与之形成对比的,这其中只有不到2%的数据经过了分析的,还有大量的“沉默数据”。
人工智能技术从实验室到真正生产线的过程当中,正面临的巨大挑战包括:本身算法上面的复杂性,部署上面的复杂性,数据处理上面的复杂性,还有成本、是不是可扩展,专有接口、数据隐私等等。
为了解决这样的难题,英特尔基于Spark开发和开源了两个项目:一个是BigDL,还有一个是Anlytics Zoo。
英特尔公司架构、图形与软件部(IAGS)资深软件架构师黄晟盛表示,BigDL是一个基于Spark的深度学习框架,使得深度学习算法能够用来处理大数据平台里面的数据,并具有可扩展性能。
Analytics Zoo进一步为大数据用户提供了一个统一的端到端的大数据分析+深度学习的平台。这个平台构建在BigDL、Tensorflow等等引擎之上,可以基于Spark平台为多种深度学习框架提供分布式支持,并且提供了很多预训练和预定义的模型以及参考案例,使得用户构建应用更容易和更高效。
黄晟盛特别指出,Analytics Zoo能够做的事情就是你在笔记本上运行的算法和在集群上运行的算法是同一套实现,所以不会有不一致的情况发生,而且原先的脚本几乎不需要修改。
目前英特尔已经与京东、银联、宝信软件、微软Azure、美的等展开合作,将BigDL和Analytics Zoo应用在不同的应用场景中,并取得了不俗的成果。
软件技术的创新和生态构建肯定离不开人才的培养。英特尔高校合作经理颜历表示,英特尔一直非常有激情去做投资与教育,并且投资于创新人才培养。“英特尔本身是一个非常创新的公司,而教育是培养创新人才的利器,可以帮助我们握有打开创新之门的钥匙,所以英特尔一直在教育方面有所布局。”
大学合作是英特尔布局教育当中相对来说最多、最重头的。“我们希望通过高等教育的布局搭建产学研的创新生态。创新人才培养是针对学生,而提高教育教学水平是针对教师、尤其是青年教师。”颜历说。
比如今年英特尔就推出了一个“AI国际人才培养计划”以及第一届中国研究生人工智能创新大赛。而英特尔杯全国大学生软件创新大赛,今年已经是第12届,赛事覆盖了包括港澳台在内的31个省份的199所高校,万余名学生直接注册参赛,涌现出近千件创新作品,三万余名师生从各种培训中受益,被列为教育部重点推荐项目之一,为进一步提升大学生创新思维,全面推动软件行业发展,以及为国家软件产业输出有创新能力和实践能力的高端人才,提升高校毕业生的就业竞争力做出积极贡献。
结合英特尔在产业界内的技术强项及产品经验,以及学校在科研方面、算法等方面的强项,能够产生“1+1>2”的分享科研成果的效果。课程共建通过课程开发、实验室共建、师资培训等形式,与各个大学建立了广泛深入的合作关系,携手打造互相支持和补充的高等教育创新支持体系,多方位共同推进高校教学体系更新。
英特尔提供了“青年教师计划”,为教师提供获得工业界项目经验的机会;以及英特尔在产业链上的成功经验运用到学术界,搭建产学研的创新平台。在这一过程中,英特尔通过开放合作来保持技术领先性,也希望和学术界一起分享最新的科研成果并且应用到最佳行业领域去共同推动社会的发展。
除此以外,英特尔也一直在积极参与教育部领导的产学合作协同育人项目。英特尔拥有前沿技术的课程,相应的师资培训,实验室的建设,学生创新项目及实习实践基地。仅今年便培养了287名高校大学生和85名高校及高职教师,而报名的人大概是10倍甚至于10倍以上。
颜历表示,英特尔倾向于把最新的技术拿到学术界,跟学校进行分享。英特尔一直在大学合作上有做“百年老店”的倾向。英特尔认识到真的是十年树木百年树人,所以一定要长期的投入才会有所成果。
英特尔在创新及创新人才培养方面有着比较深刻的理解,以及比较丰富的经验,一直在系统化的推进系统化的布局。从学生到教师,从第一课堂到第二课堂,从学校到社区、国内到国外,英特尔希望能够参与推动和引领教育改革,同时打造面向未来、面向创新的人才培养体系,推动教育的可持续性发展。
面向未来,英特尔正在借助“软件”这一强大的技术力量,联手产业生态合作伙伴软硬兼施,加快在各种架构、各种工作负载下的应用优化和开发速度,推动创新落地。
好文章,需要你的鼓励
临近年底,苹果公布了2024年App Store热门应用和游戏榜单,Temu再次成为美国下载量最多的免费应用。
云基础设施市场现在已经非常庞大,很难再有大的变化。但是,因为人们可以轻松地关闭服务器、存储和网络——就像开启它们那样,预测全球云基础设施开支可能非常困难。