深度学习那么火，科大讯飞是如何做的？

ZD至顶网服务器频道 11月18日 新闻消息（文/于泽）：在“HPC China 2015结束了，一起聊聊深度学习的那点事！”一文中，笔者曾对深度学习与我们日常生活的关联、深度学习的发展现状，以及其所面临的一些挑战等做过一些探讨。虽然文中也涉及到了一些应用情况，比如百度、科大讯飞等是如何利用深度学习进行语音识别、图像识别方面的研究的，但终究没有深入，为了更好地理解深度学习的方方面面，本文将借着科大讯飞的实际案例，作进一步的探讨。当然，限于笔者水平有限，可能某些方面的表达并不尽如人意，希望谅解。 

言归正传，在讲述应用之前，我们先看看科大讯飞公司的背景。根据百度百科的注释，科大讯飞，全名科大讯飞股份有限公司，前身安徽中科大讯飞信息科技有限公司，成立于1999年12月30日，2014年4月18日变更为科大讯飞股份有限公司，专业从事智能语音及语言技术研究、软件及芯片产品开发、语音信息服务及电子政务系统集成。 

看得出，科大讯飞的主要业务都是围绕语音来展开的。如果用更好理解的话来阐述，那就是科大讯飞做的就是让机器理解语音，基于此则有很大的想象空间，比如聊天机器人……至于其中有什么难题，都是他们要致力解决的问题。那他们究竟是如何利用语音的？简单而言就是深度学习。这其中涉及到算法、模型、平台，是一个非常复杂的过程。正因为此，做语音识别的只有少数那么几家，毕竟门槛太高了。 

左：张致江，右：于振华

可能是外行看热闹、内行看门道的原因吧，在被问及此问题时，科大讯飞内核研发中心研发总监于振华倒并没有说这个难、那个难，而是一语切中要害。他说，至于算法、或者编写程序的难度其实都不是很大，我们认为重点可能在于你需要一些研究院的思维去做这件事。听起来跟互联网思维有些相像，技术水平终究是有办法解决的，但思维不改，这事就不太容易做好。 

算法、编程这些好解决，那硬件系统或者说平台好搭吗？这个说起来还确实有点难度。在谈及此时，受访嘉宾也一下子打开了话匣子。科大讯飞深度学习平台研发主管张致江表示，要做深度学习并不难，买台机器，弄套相关的软件可能就做起来了，但真要上了一定的规模后，系统的搭建可是有讲究的。 

他解释说，首先你需要了解算法，基于算法之上再进行精心的设计，包括怎么样去并行，哪些可以并行，哪些不可以，然后并行需要一些什么样的计算特点，带宽是多大类似这样的东西，以及设计出来之后，这个系统一个节点能够容忍多大的计算量，存储该怎么弄等这些都要考虑在内。总之，搭建系统是一个很复杂的事情，远不像买一台机器那么简单。当然，由此带来的直接结果就是投标、采购时，他们很少关注最低价，而是更多考虑谁提供的解决方案更好、更有利。 

其实从以上解释中也不难看出，搞深度学习对人员的要求极高，不仅需要懂硬件、还得懂软件、懂管理、懂运维。以上可以说是宏观层面的分析，要搞深度学习，需要些什么东西。下面再从微观层面看看搞深度学习更亲睐一些什么样的技术。

首先看看最重要的硬件平台，张致江表示，他们现在用的机器大致分两种，一种是2:4，一种是2:8，其中2代表一台机器中CPU的数量，4和8则代表GPU的数量。之所以用这样的机器，并非出于他们的本意，而是由于当前供应商的机器就是这样设计的。从他们实际应用的角度来看，则更希望有1:4这样的产品出现，因为CPU在其中确实不承担太多的作用，只作为基础的软件运行平台。 

NVIDIA中国区政府销售总监Tomas He

对此，NVIDIA中国区政府销售总监Tomas He在接受采访时表示，基于客户的实际需求，他们也在积极地和相关OEM厂商合作，推出更多可选机型，更好地满足客户的实际需求。 

据悉，当前张致江这一个团队深度学习这块所用的GPU就有400多块。话说在笔者看来，这确实已经是一个不小的规模，不过于振华的一番话却让笔者有了新的认识。他说，现在的神经网络链接数也就是10的8次方，跟真正的人脑差了近6个数量级，显然这400块是远远满足不了实际需求的，由此也带出了第二个问题的探讨，即除了关注机器中CPU和GPU的配比，做深度计算还关注哪些内容。 

从理想的角度出发，做深度学习，无非他们希望计算速度更快、更便宜，而且带宽更大。于振华强调，在6个数量级填满之前，他们对于速度和带宽的追求是永远不会停步的。 

但是理性也告诉我们6个数量级，显然不可能是三五年或者短时间内解决的问题，因此，科大讯飞在做的就是做一些局部的突破和发展。比如针对特定领域的相对简单的问题，把它做透。具体来说，张致江表示，一是持续优化训练平台，包括稳定性、可用性以及使用效率等的再提升；二是针对深度学习领域，一些新技术的及时跟进，比如今年提出的STM技术等，这都是我们非常关注的。 

其实话说回来，NVIDIA也一直在致力于技术的进步，推出更快的、带宽的产品。据悉NVIDIA中国区企业传播高级经理Steven Jin介绍，明年即将上市的下一代GPU产品相比现在能提升10倍左右的性能，而在去年GTC上首次露面的NV-Link技术再过不久也将得以应用，这对于深度学习的推进无疑是个重大利好。同时，在此次HPC China 2015期间，NVIDIA也宣布推出了M系列GPU产品，相比前代产品，也有着大幅的性能提高。 

总结

虽然深度学习还面临着这样、那样的困难，但是以NVIDIA为首的围绕在其周围的一群合作伙伴正在积极的解决这些问题，或许再过不了多久，10的6次方的鸿沟就能够填上。