至顶网计算频道 12月30日 新闻消息(文/李祥敬):随着互联网和移动互联网的快速发展,不管是长视频还是短视频行业都在快速发展。中国互联网络信息中心(CNNIC)最新发布的《中国互联网络发展状况统计报告》显示,截至2019年6月,我国网络视频用户(含短视频)规模达7.59亿,较2018年底增长3391万,占网民整体的88.8%。其中长视频用户规模为6.39亿,占网民整体的74.7%;短视频用户规模为6.48亿,占网民整体的75.8%。
各大视频平台不断开拓新兴品类市场,更加注重内容的针对性和专业性。在网络视频内容领域,为迎合多样化的用户喜好,各大视频平台以电视剧、电影、综艺、动漫等核心品类为基础,不断向游戏、电竞、音乐等品类拓展。此外,各大视频平台利用大数据、人工智能等技术,快速识别用户需求,实现内容的精准推送;同时,各大平台深入分析用户内容消费、商品消费的相关数据,还原用户真实需求,助力生产优质内容。
对于视频行业而言,除了注重内容打造,如何给用户提供更加卓越的体验也是必不可少的。而这离不开科技的加持,于是视频网站在IT方面的投入也与日俱增。
视频行业的全平台、全媒体化、以及不断升级的创新模式导致数据在指数级增长,这对视频网站提出了更高的IT能力建设需求。英特尔一直致力于推动科技技术的创新,以满足视频行业对计算、存储、人工智能等技术越来越高的需求,从而助力更多应用落地,促进产业发展。
搜狐视频是搜狐旗下专业的综合视频网站,提供正版高清电影、电视剧、综艺、纪录片、动漫等。网罗最新最热新闻、娱乐咨询,同时提供免费视频空间和视频分享服务。两年前,搜狐视频自媒体数量已经超过6100家,视频条数超过230万条,日均观看人数3000万。
搜狐大数据中心负责人王帅告诉记者,搜狐视频目前更加鼓励用户生成内容。这种用户上传内容的模式对于搜狐视频的平台敏捷性提出了更高的要求。同时,搜狐视频在超分辨率、HDR、老剧重生等场景中广泛使用了人工智能技术和深度学习技术,这些都需要强有力的IT基础设施支撑。
王帅说,在升级IT基础设施方面,搜狐与英特尔有着多年紧密的合作。双方在2011年成立了联合实验室,英特尔的诸多新硬件、产品、技术引入到了搜狐。同时,英特尔派驻了经验丰富的人员,与搜狐一起进行研究,并对搜狐提出的问题迅速响应,及时满足了搜狐视频在不同发展阶段的需求。在视频转码方面,双方进行了很多探索,降低了搜狐转码系统的总体拥有成本,加快视频上线速度,进一步提升用户体验。
据悉,借助英特尔至强金牌6132处理器的高性能,搜狐的视频转码实现了1.5倍到2倍的性能提升。目前,搜狐视频在视频转码系统中使用了第二代英特尔至强可扩展处理器,双方团队还一起优化工作负载在最新一代英特尔至强可扩展处理器上的运行,视频转码速率还会不断提高。
王帅表示,与搜狐视频云转码集群之前使用的英特尔至强处理器2680 V4相比,英特尔至强金牌6132处理器可以提供更高的性能,降低了处理器的采购量。“英特尔产品升级虽然性能提升很多,但是在成本方面并没有给用户带来太大的压力。”
此外,英特尔至强金牌6132处理器在性能大幅提升的同时,将电源效率提升了13%,从而大幅降低了单位性能的能源消耗,运维成本也得到相应的降低。王帅预计,在后期扩大英特尔至强可扩展处理器平台采购规模之后,其性价比的优势将得到更大的凸显。
在王帅看来,线上视频全部采用CPU进行转码,发挥了英特尔处理器很大的优势,因为英特尔处理器的很多指令级优化是GPU上完全没有的。“英特尔产品会根据市场需求不断优化,包括指令集比如AVX-512、VNNI、MKL-DNN,而且产品更新点是不一样的,客户总能找到值得升级的CPU。”
受益于英特尔至强可扩展处理器平台的高性能,在用户将原始视频上传到搜狐视频平台之后,搜狐视频云转码集群能够迅速完成视频的转码并实现视频上线,这一方面减少了用户的等待时间,有利于观众及时看到最新的视频内容;另一方面也增强了搜狐视频的业务敏捷性,在市场竞争中占得先机。
此外,搜狐还将英特尔至强可扩展处理器平台应用于自身私有云平台,为搜狐新闻客户端、狐友、通行证、视频统计、广告、手机搜狐等业务提供了支撑。
比如在数据库应用中,英特尔至强可扩展处理器帮助搜狐利用虚拟化技术,增加数据库云平台的服务节点。测试数据显示,在部署英特尔英特尔至强可扩展处理器之后,单个宿主机建立的虚机数量比原来提升了15%,单个节点的整体QPS提升在20%左右,有助于进一步降低机房机架成本。
英特尔相关负责人表示,英特尔不光在硬件方面对搜狐视频进行支持,还在软件和人工智能等技术方面与搜狐一起进行探索。搜狐视频与英特尔在软件定义存储性能优化、语音识别应用和推荐系统的加速与优化、DPDK网络负载均衡加速等领域开展了合作,英特尔以全栈实力与搜狐进行配合工作。“随着英特尔新技术不断推出和搜狐的引入,相信双方联动和共赢将获得更好的成果。”
2018年短视频在用户日均使用时长上首次成功逆袭,反超了长视频。2019年短视频持续保持高增长态势,市场规模将远超200亿元。目前整个短视频行业月活超过8.2亿,近三年年复合增长率达到了64%。在短视频市场,快手是重量级玩家。快手的日活用户数超过2亿,每天有破千亿的短视频曝光量,日平均视频播放量超过200亿次。
为了支撑业务的快速发展,快手的IT基础设施服务器超过10万台,数据总量超过EB级,每天的请求数超过2亿,这些已经达到了TOP级的规模。为此,快手通过开展基于英特尔傲腾数据中心级持久内存、英特尔第二代至强可扩展处理器及英特尔FPGA在快手AI应用中的实践,双方共同建立起强大的IT系统,推动业务不断发展。
快手利用英特尔至强可扩展处理器和英特尔傲腾数据中心级持久内存加速模型训练,升级IT系统,降低TCO。在异构计算方面,快手引入了英特尔FPGA用以在深度学习方面为推荐系统加速。目前,快手异构计算组为公司业务部门提供强大、高效的计算系统,研发包括CPU、GPU、FPGA、ASIC等器件的混合解决方案。
快手异构计算架构师钟辉表示,一方面CPU的性能提升每年是3%,但是数据的增长率是30%,所以供需之间有一个巨大的缺口。解决这一个问题唯一途径就是硬件采用特定域的架构(Domain Specific Architecture),也就是异构计算。快手作为一个“AI+大数据”驱动的公司,在数据中心建设方面积极拥抱异构计算趋势。“我们连接人和人,人和内容,从内容生产到理解、分发、消费、互动,业务形成的闭环都是通过AI和大数据驱动的。”
快手日均新增1500万+作品的内容数据,千亿级展示带来的行为数据,以及由数据进行特征提取带来了存储方面的挑战。另一方面,在训练和推理当中因为特征参数越来越多,深度学习模型越来越深,导致模型变得越来越大,由此带来这些数据在网络传输当中的挑战。再加上每天千亿级的展示,这当中也带来了计算和内存挑战。“我们的异构平台是本着‘从业务中来到业务中去’的原则,解决业务在数据中心部署当中带来的这三个方面的挑战。”钟辉说。
钟辉表示,快手在数据中心部署FPGA的挑战可以归结为既要“上天”又要“入地”。“上天”是说FPGA是部署在云端,所以快手需要解决的首要问题是在数据中心找到合适的业务场景,提供有价值的解决方案,它需要有一定的通用性和规模化;“入地”则谈的是部署,在成本上一定要有竞争力,这样业务才有动力去采购。另外在部署的可靠性、稳定性、能耗比上也要有竞争力。规模化部署,容器化也是必需的,从而解决资源的弹性部署。基于此,快手部署了英特尔FPGA。
定制化和可重构是FPGA的两大优势:定制化可以为业务提供量身定制的最合适、费效比最高的方案,而可重构则可在部署中同时加卸载多个不同种类的业务,比如网络、存储、计算等。因为数据中心业务发展迭代非常快,而FPGA是可编程的器件,这对数据中心的资产保值是非常重要的。
通过实际部署,快手的FPGA方案与CPU方案相比,延迟降低了约1.5倍,最大吞吐大概提升了1.7倍左右,功耗有接近5倍的降低,从功耗效率来说提升了近8倍。“我们已经在数据中心规模化部署FPGA用于承载商业化业务场景,这在业界是比较领先的。”钟辉说,“英特尔FPGA在数据中心上更具前沿,相关工具链比较成熟。快手选择英特尔还有一些‘软指标’方面的考量,比如说技术交流、支持、需求响应等。”
除了引入英特尔FPGA,快手还引入了OpenVINO、英特尔傲腾数据中心级持久内存、英特尔第二代至强可扩展处理器、配合AI战略,比如说语音识别、图像分类、目标检测等方面,第二代英特尔至强可扩展处理器具备“内置人工智能加速”能力,包括的MKL-DNN(数学核心函数库)、高性能编译器和人工智能框架优化方案等,通过一系列优化和改进举措,使得快手的推荐系统使用的AI算法效率大幅提升。
最近英特尔公布了oneAPI,以解决异构环境下的统一编程问题。对此,钟辉表示,英特尔在数据中心生态上是有优势的,快手在IT方面会积极关注oneAPI。“英特尔的OneAPI可以提高开发的生产力,又通过编译器优化实现质量和效率,我们当然愿意尝试。未来,快手和英特尔持续完善从硬件到软件的深度合作,来驱动业务的创新发展。“
不管是搜狐视频还是快手,英特尔以硬件和软件为抓手不断赋能视频行业发展,帮助他们更好地利用科技的力量为用户提供最佳的体验,从而在市场竞争中赢得主动。
好文章,需要你的鼓励
临近年底,苹果公布了2024年App Store热门应用和游戏榜单,Temu再次成为美国下载量最多的免费应用。
云基础设施市场现在已经非常庞大,很难再有大的变化。但是,因为人们可以轻松地关闭服务器、存储和网络——就像开启它们那样,预测全球云基础设施开支可能非常困难。