Splunk关于暗数据现状报告的三大发现 原创

至顶网服务器频道 05月27日 新闻消息（文/李祥敬）：毋庸置疑，我们处于一个数据大爆炸的时代，我们无时无刻不在与数据打交道。在这些数据中，总有那么一些“暗数据”。我们要么不知道这些数据的存在，要么不知道如何找到、准备、分析或使用这些数据。

近日，TRUE Global Intelligence在Splunk的指导下进行了调查并完成《暗数据现状报告》。该调查采访了1300多名跨国业务经理和IT领导，了解他们所在的企业机构如何收集、管理并使用数据。研究结果表明，在这个数据以前所未有的速度连接设备、系统和人的时代，尽管数据是首要考虑因素，但行动力远远没有跟上。

Splunk中国区总经理严立忠告诉记者，暗数据指的是在数字化世界里，大量未被发现的、未被利用的，以及使用价值未被发觉的数据，怎么挖掘和利用这些被我们忽略的数据价值，这是整个调查的宗旨。

何为暗数据？

暗数据，英文称之为Dark Data，这是系统、设备的交互产生的数据，简单说就是数字世界产生的所有数据，包括所有未知的和未被开发的数据。严立忠说，现在市场都在讲大数据，很多人以为自己在用大数据，其实不是。他们只是把传统的商业数据再总结和再挖掘。这并不是严格意义上的大数据，而暗数据比大数据的范围更广，处理起来更难。

严立忠还举了一个例子，在过去，银行的信用卡部门跟银行业务部门往往是分开的，这导致他们之间的数据是没有打通的，这些数据也是没有被相互利用的，这也是一种暗数据。报告显示，60%的受访者表示，他们所在企业机构中超过一半数据是暗数据，三分之一的受访者表示，他们所在企业机构中超过75%的数据是暗数据。

Splunk最早推出了机器数据的概念，现在已经获得业界的认可。这次提出的暗数据，在严立忠看来，大数据是一个笼统的概念，机器数据是一个更指定的概念，但是暗数据是从另外角度来看数据，这些数据是传统大数据里面未被发现、未被利用的有价值数据。“对于暗数据，第一你得有数据，第二你得发现数据，第三你得分析数据，这样就会带来过去想象不到的结果和价值。”

之所以Splunk要提出暗数据的概念，就是因为Splunk在大数据领域里面积累了很多经验，基于丰富的客户实践，发现暗数据具有有无穷的价值，产生了这么一个概念，类似物理学中的“暗物质”。换个角度看，对暗数据的利用是人类的另外一个商业逻辑。过去我们基于逻辑关系的因果分析推导出一个产品或者商业模式，现在依靠数据分析，我们从过去不存在的逻辑里面找到一个新逻辑，从而实现商业创新。

AI是解锁暗数据的关键

调查显示，目前很少有企业机构正在使用人工智能，但大多数组织都看到了它的巨大潜力。全球受访者都认为人工智能通常会增加机会，而不是取代人。例如，在一系列的用例中——包括运营效率、战略决策、人力资源和客户体验，只有10%到15%的受访者说他们的组织正在为这些用例部署人工智能，而大约三分之二的人看到了人工智能的潜在价值。

大多数受访者（71％）看到了使用人工智能分析数据的潜力；73％的人认为人工智能可以弥补IT方面的技能差距；82％的受访者表示，人类永远是人工智能的核心，72％的人认为人工智能只是解决业务问题的工具；只有12％的受访者使用人工智能来指导业务战略，61％的受访者希望他们所在的企业机构在未来五年内以这种方式增加对人工智能的使用。

严立忠表示，在数据化转型中，人工智能会是一个很重要的工具或者是技术，包括暗数据这件事情也离不开人工智能。大多数人认为未来在处理暗数据的情况下，他们离不开人工智能，要依靠人工智能给他们更多的指导。82%的受访者表示人类现在和将来都将处于人工智能的核心地位。“客户和产品价值的挖掘离不开对商业数据的挖掘，这就需要用到人工智能技术。”

在严立忠看来，AI的核心是实现自动化，数据经过人工智能分析之后解决自动化问题。但是AI的学习曲线是陡峭，这也为AI的发展提出了挑战。绝大多数中国受访者对人工智能表示出了极大的热情和信心，但他们目前的采用率（20%）仅略高于全球平均水平（16%）。不过，国内互联网厂商大力推动AI的应用，以及国家政策层面的鼓励，都对国内AI的市场发展起到了推动作用。

另外，Splunk的核心业务不是人工智能，而是数据的分析能力。但是Splunk区别于很多大数据公司的一点就是Splunk对于人工智能的应用非常广，基本上所有核心产品都运用了人工智能的技术，以及大量的人工智能算法。

企业应该重视数据技能

报告显示，受访者表示在应对暗数据挑战方面，首当其冲的是数据量，其次是缺乏必要的技能和资源。尽管受访者了解暗数据的价值，但他们承认没有可以利用这些数据的工具、专业知识或员工。超过半数（56%）的受访者承认，“数据驱动”只是自己所在企业机构的一个空口号。

受访者一致认为，虽然没有一刀切方案，但最具潜力的解决方案包括：培训更多的员工从事数据科学和分析，增加对数据整理的资金投入，以及部署软件，使技术水平较低的员工能够自己分析数据。美国、英国、法国、德国、中国、日本和澳大利亚的受访者中有76％认为“拥有最多数据的企业机构将在竞争中获胜”。

严立忠表示，很多组织在架构里面设置了数据专家以及数据架构师，而且在先进企业里数据架构师不属于IT部门，直接向CEO汇报，统领整个企业或者整个机构数据的战略。“与数据相关的职位的设立，需要组织架构的认同，从人员培训到资源投入都要做相应的准备。比如Splunk与中国的合作伙伴已经在进行数据专家的培训。”

研究还发现，在接受调查的七个国家中，人们在态度和观点上存在一些明显的差异。例如，法国、德国和日本的受访者似乎不太在意数据技能对其职业生涯的价值，平均而言，持肯定态度的受访者比其它国家少25%。

中国市场最热衷于数据价值和数据整理技能。虽然大多数IT和业务经理（81％，是所有市场中最高的）认为数据技能对未来的工作极为重要或非常重要，并且有助于解决人工智能方面的挑战，但许多人对于自己具备这些技能的评价并不高。

严立忠说，数据技能和业务技能是有区别的，业务技能是对业务的理解，包括市场、销售、产品等。但是当你无法突破传统商业瓶颈的时候，数据逻辑的重要性便凸显出来。通过数据技术和数据分析，帮助人类解决商业逻辑问题。依靠技术解决现实问题是当前技术革命的重要表现。

结语

基于以上洞察，Splunk给出了自己的建议：呼吁和鼓励用户和政府拥抱AI和机器学习技术；建立数据基础设施和数据文化，比如设立数据架构师，从数据角度让企业在未来发挥出更大的价值；数据人才和技能的教育培训。总之，暗数据的提出是我们对于目前数据时代的更深一层认识，面对滚滚数据，唯有拥抱技术，积极应对，才能更大地发挥出数据的价值。