至顶网服务器频道 09月29日 新闻消息(文/李祥敬):人工智能技术已经成为当前业界讨论最多的话题,互联网巨头纷纷布局人工智能。近日,京东技术开放日在国家会议中心隆重举行,此次开放日的主题是“京东人工智能平台的系统架构与数据处理”,这也是京东首次向业界深度分享的人工智能核心技术应用专题。
我们知道人工智能需要具备三大要素——数据、算法、计算。而京东的业务完整覆盖了从采购、售卖到配送、客服等全电商流程,拥有中国电商领域最完整、最精准、价值链最长的数据。这为京东人工智能的充分实践,提供了丰富的数据基础,这也是京东发展人工智能技术和应用的资源优势。
目前,人工智能技术业已渗透到京东业务的各个方面,包括供应链、物流、营销、金融等。登月机器学习平台代表着京东人工智能技术从应用级服务到基础算法的全面对外开放,实践着京东RaaS(零售即服务)的发展策略。
据京东集团副总裁翁志介绍,AI在京东的发展起源于2012年,并开发了JIMI客服机器人,用自然语言处理的方式来进行对客户的对话描述和回答。
“2014年、2015年我们开始应用深度学习技术,提升JIMI客服机器人的用户满意度。2016年我们大促的时候50%以上的用户客服流量都是用客服机器人回答的。”翁志说。
除此以外,京东在图像识别方面也进行了积极探索,比如京东X的智能机器人也是采用了同样的技术。
翁志表示,京东内部的人工智能发展是非常迅猛的,同时它的应用场景非常丰富。“AI平台需要做两件事情:一件事情就是共享,实现计算资源和数据的共享,所以我们的大数据和人工智能是要打通的,人工智能才能发挥效能。还有它的高效,采用Kubernetes实现效能最大化。”
在技术开放日上,京东高级工程师鲁楠详细介绍了京东人工智能平台的核心系统架构,以及“登月”平台中分布式算法框架的应用、以及平台底层容器化和对GPU调度优化的经验。
谈及推出“登月”平台的原因,鲁楠表示,一方面是京东内部的算法业务发展迅速,需要一个专门的平台进行算法运行,实现资源的贡献和算法库实时更新。
另一方面是随着京东集团的技术转型,很多业务方希望能够引入机器学习的方法,节省人力成本,提升业务执行效率。
于是,“登月”人工智能平台便应运而生。目前,“登月”平台上支持以下六大类业务,它主要分为智能投顾、风控、OCR、人脸识别、自然语言处理和机器视觉。
未来,“登月”人工智能平台走向一种智能的概念,或者说服务智能化的概念,帮助用户更好地使用AI技术实现业务创新。
随着互联网普及和大数据时代的到来,机器学习在相关领域,例如语音识别、图像识别、机器翻译方面准确率都有了成倍的提升,这种提升是由于算法和模型改进带来的,而更多部分是由于数据量的提升。
京东高级算法工程师武健表示,在机器学习流程中,数据处理和特征工程也占我们开发大部分时间,差不多70%到80%的工作内容都是负责数据清洗和特征工程。
“当我们对原始数据进行数据处理之后,不能用来直接训练模型,还需要特征建模,提取比较有价值的特征,才能最终训练出算法模型。”武健说。
目前在京东机器学习和数据挖掘在很多领域都有应用,比如用户建模,个性化推荐,搜索排序等。
武健以用户购买意向预测为例进行了介绍,他说,根据用户的历史行为数据,推测用户在未来的购买行为;通过用户购买预测,可以为精准营销提供高价值目标人群,从而为京东用户提供更好的用户体验。
这个应用大概流程是数据收集、数据处理和特征提取。特征提取主要基于以下特征,分别是:用户特征、商品特征、行为特征以及组合特征。
在特征提取之后我们需要对这些特征进行特征处理,包括用户浏览行为,加入购物车,购物车删除,下单、关注、点击等,从而预测用户购买意向。
Kubernetes是一个开源平台,用于跨主机群集自动部署,扩展和操作应用程序容器,提供以容器为中心的基础架构。京东资深架构师范振则主要分享了更多关于Kubernetes在京东人工智能平台中的应用细节。
范振表示,在应用Kubernetes之前,我们面临资源、运维、性能等挑战,比如机器资源紧张,多个用户使用一台机器;日志,监控,线上运维由算法工程师来维护等。
借助Kubernetes可以实现计算平台CPU、GPU的统一化,实现能够按需分配资源。“采用Kubernetes构建的智能调度平台可以实现高可用、负载均衡、应用打包与隔离、最大化利用整个集群资源、多租户安全保证等。”范振说。
据了解,在京东人工智能平台上,京东构建了Spark on Kubernetes、TensorFlow on Kubernetes等应用。
“京东技术开放日”由京东IT资源服务部联合京东AI与大数据部、京东CTO办公室共同举办,旨在以开放的心态,分享深技术积累,推动并打造一个互联网技术创新的平台。
京东技术开放日的口号是:交流、分享、融合、创新,可以看出京东技术开放日活动不仅仅是现场的交流,更希望能够将有价值的技术资源整合推出,让更多的技术人开始分享技术,获得价值。
未来京东将持续推出更多深入的业界技术分享交流活动。
好文章,需要你的鼓励
回顾历史,大约十年前,苹果公司在其Mac电脑产品中采用了英伟达的高性能图形处理芯片。然而,在经历了一系列商业争议之后,苹果公
根据Capital One工程副总裁Terren Peterson的说法,IT领域的一切最终都会商品化。Peterson在该银行工作了超过24年,对于商品化如何影响IT业务有着第一手的经验。
澳大利亚新南威尔士州交通局首席创新和技术官Kurt Brissett最近和我们分享了如何为交通用户提供世界首创的技术,以及如何将很高的员工参与度转化为客户满意度。
当今最先进的AI视频模型Veo 2,还有AI绘图模型Imagen 3改进版。AI视频Veo 2的效果,真的让我有点想欢呼,甚至,有点像2月16号那个