当精准广告遇到大数据

从互联网广告诞生开始，精准的概念就一直为业界所讨论，因为互联网的技术性特征使得网络广告具备了实时投放管理优化以及针对海量数据挖掘的基础。目前，在美国精准广告已经由最初基于媒体主题频道和页面内容定向，演进到基于Cookie交换等数据分析服务，实现统一平台管理跨网络媒体并通过大数据技术实现精准广告投放的阶段。精准广告营销已经成为主流的营销手段。而在中国， 精准广告营销方兴未艾。根据相关数据统计，广告精准程度、受众覆盖规模和广告平台拥有的媒体资源是广告主考量广告平台的三大关键要素，而广告精准程度以69%的比例位列广告主考量广告平台的要素之首，精准广告的重要性由此可见一斑。

（资料来源，媒介360，2015广告主投放数据报告）

要实现精准广告营销，通常需要借助DSP来进行。由于DSP可大幅提升投放的精准度，为广告主提供跨媒介、跨平台、跨终端的广告投放平台，通过数据整合、分析实现基于受众的精准投放，并且实时监控不断优化，因此所有对广告的真实效果有追求的行业都适合DSP。但随着广告主对精准广告的要求越来越高， 以及大数据技术对精准广告的巨大推动作用，DSP平台对实时数据处理效率的要求和对大数据技术的引入成为了当务之急。因此，选择合适的大数据处理平台成为了精准广告营销用户面临的难题。

来自DSP的业务挑战

众成就数字传媒集团是央视最大的广告代理公司—三人行的母公司(以下简称“众成就”)，集团下属三人行、闻成就、在身边三家子公司。业务覆盖电视广告、大内容策划、投资与代理、全媒体数字营销以及大数据研究与移动产品开发服务。基于19年积累的丰富广告服务经验，不断延伸互联网发展下数字营销领域的触角，致力于成为提供全媒体服务的综合性传媒集团。

从2012年至今，众成就文娱内容合作已超过220个IP；从2015年开始，独立投资打造《黄金线路》、《车神驾到》、《全家好拍档》、《魅力厨房》等热门IP，并以联合投资、内容代理等方式共同打造数十档IP内容；而伴随着大数据时代的来临，2015年启动以人为中心的IP文娱产业链布局，希望通过大数据分析产品开发，构建精准DSP平台，打通线上与线下，链接用户全媒体轨迹，获取大内容策划与制作的内容方向反哺与全平台投放策略。众成就DMP（数据管理平台）提供数字广告营销从曝光到转化全流程中集数据采集、存储、分析的解决方案，对外提供统计结果的前端展示和报表输出功能。众成就DMP致力于帮助广告主围绕用户受众优化媒体资源分配，辅助广告投放创意和落地页内容制作，并使数字广告投放策略实时调优成为可能，从而提升最终的销售转化。通过积累广告主历史投放数据并提供深度的数据全景洞察，广告公司和广告主结成战略伙伴关系。构建众成就的精准DSP平台，对数据的实时处理能力提出了很高的要求：

首先，众成就DSP平台由于具有接入用户众多，用户数量级达到了十亿量级，而页面也达到了百万量级，如此大规模的用户和页面处理对数据处理平台的性能是一个巨大的考验。

其次，众成就DSP平台具有高并发的特性，在线投放系统每天需要处理百亿次广告交易，这对数据处理平台的并发性能又提出了很高的要求。

最后，AD Exchange要求竞价在100ms内完成，这就要求数据处理平台具有低延时的特性，因此，网络带宽的质量有较高的需求。

华为企业云应对挑战

为了找到满足上述要求的数据处理解决方案，众成就IT部门多方比较、仔细调研，最终选择了华为企业云大数据解决方案搭建DSP的实时数据处理系统，该系统的架构图如下所示：

     该系统主要包括前端投放集群和后端大数据计算集群两部分，前端投放机业务集群使用物理机实现，后端计算集群部分使用弹性大数据服务(云服务器)，采用混合托管形式搭建。众成就面向大数据后台接入功能做了大量测试，属于高级功能群的用户，使用spark Client向大数据集群提交作业，后台JDBC和Hbase client连接使用大数据。同时基于大数据+OBS的方案解决了客户对于本地kafka和数据存储的维护成本，压力峰值满足了众成就的业务场景，最终获得了众成就的认可。

该系统中，众成就主要使用的业务包括hadoop client、spark client、hive+hbase，为此，华为企业云进一步完善了功能验证、可扩展性和用户资料，同时通过测试以及个性化的定制方案满足了客户运行态作业后台监控和多用户使用场景功能需求，这些个性化的定制包括：

混合托管搭建：前端投放集群使用物理机，后端集群使用 大数据服务

使用多种大数据服务：hadoop 、spark 、hive+hbase

高质量5线全动态BGP网络保障

       除此之外，华为企业云大数据解决方案还具有以下特点：

一，海量存储，功能丰富，管理简单

PB级存储容量，云端无限扩容；全面支持采集、存储、分析、挖掘、深度学习；一站式可视化管理，简化部署及运维。

二，高度兼容开源，商用性保障

全面兼容开源技术；整合主流开源软件，性能稳定性提升30%以上；具有多种在线、离线分析工具。

三、企业级数据安全保护

VPC 私有网络隔离、数据冗余保护，11个9存储持久性、256位传输加密、永不进行数据变现。

客户收益

     通过华为企业云大数据解决方案，众成就DSP平台交出了每天17亿条数据记录处理，10分钟完成2万次TPS查询，竞价的延时在60ms以内，充分满足了众成就的业务需求，赢得了用户的高度赞誉和信任。

众成就大数据产品副总监马益民表示：“华为企业云提供灵活的云计算资源选择，按需的资源模式可以帮助我们在流量高峰时动态扩展系统前端投放机，并在高峰过后删除以节省资费，达到资源的利用最大化。在大数据系统的搭建方面，Mapreduce服务和对象存储服务帮助我们快速的实现了数据从流入、存储、分析、展示的整个流程。其中对象存储服务良好的数据高可用性，给了以数据为核心资产的团队足够的安全感，同时比起将数据存储在本地云硬盘上又节省了很大一笔开支。而Mapreduce服务与对象存储服务良好的兼容性使得我们在清洗和分析数据时体验更加流畅，清洗处理后的数据可以第一时间存入RDS做后续分析。另外，Mapreduce服务天然支持Spark内存运算，帮助我们在数据挖掘算法的应用上提供了非常好的支持。通过深入的合作，华为企业云与众成就达成了良好的合作模式与长期信赖。华为企业云迅速的服务反馈机制让人佩服，众多项目的高效及时上线为众成就的客户带来切实有效的营销服务与有价值的项目参考数据，成功为用户、品牌与媒体搭建了广告效果卓越且具有高度信任的服务平台。希望与华为企业云的合作能继续取得更大进展，双方共同成长。“