当前中国已经进入数字经济时代,数据已经成为企业最宝贵的成长沃土,蕴藏着无数生机和宝藏。但是,虽然有着“哪里需要数据、数据就到哪里”的美好未来,可现实却是“数据缺乏共享、没有统一标准、数据管控失效”等一块块难啃的石头。因此,在大数据时代的开荒种田,必须找到一把“锄头”,必须是一体化的数据大平台,也只有它才能更好的管理和使用数据,让数据的价值真正变现。
近日,北京供销大数据集团(以下简称“SinoBBD”)首席信息官杨正洪博士在第五届全球云计算大会上和现场嘉宾及行业专家学者就目前大数据管理平台在构架、建设、应用和实施等多方面的焦点问题展开深入讨论。而他所强调的大数据治理过程,正是这把“锄头”。
图为北京供销大数据集团首席信息官杨正洪博士发表演讲
随着数字经济的发展,被誉为“未来新石油”的大数据,已经成为许多国家的战略规划。2012年,美国出台了《大数据的研究和发展倡议》,把大数据称作“未来社会发展的新石油”;2015年,我国国务院正式发布《国务院关于印发促进大数据发展行动纲要的通知》,并在十八届五中全会上首次提实施“国家大数据战略”,大数据已经正式上升为国家战略。正是在各项政策和行业需求的推动下,大数据发展进入一个高速增长期,但对于初尝大数据业务的用户来说,哪怕只有一小块石头,就可能引发大数据高速路上的事故。
针对目前大数据技术在企业中的应用“痛点”,杨正洪表示,一直以来,企业通过不同平台、不同渠道收集到大量数据信息,由于缺乏统一管理、组织、标准等情况,导致企业数据多处于“休眠”状态,极易形成信息孤岛。因此,企业想要更好地发挥数据带来的价值,绝不应追求“数据大”,一定要将所有数据集中在一个平台之上,去构建一个更加高效、灵活应用的大数据管理平台。
在这个时代,没有人会去怀疑数据的价值,用户缺少的是最终转化的手段和方法。于是,各行各业都开始了大数据平台的建设。那么,企业要想建设大数据应用的总体构架,又当如何入手呢?
对此,杨正洪表示,建设大数据整体构架体系并不复杂,这包括:“三个平台、两个侧翼、一个机制”。“三个平台”指的是大数据云平台、大数据管理平台、大 数 据 应 用 平 台,从下向上依次提供负责计算资源、存储资源、网络资源的基础平台,整合业务与管理的数据平台,以及利用AI、ML等技术的数据分析与价值挖掘平台。而在大数据体系建设的两翼,一是负责统一标准的数据规范体系,另一个则是统一运维的数据信息安全体系,缺一不可。最后,在这个层层夯实、左右支撑的情形下,自然就会形成适用于企业自身发展的大数据管理机制。
作为一个新兴领域,大数据技术仍在快速迭代之中,新方法、新工具和新模式不断涌现。在契合我国大数据发展整体趋势的同时,SinoBBD大数据一体化服务之路具有自身的鲜明特性,同时也总结出大量为政企用户提供数字化转型和建设大数据业务的成功经验。
杨正洪认为,典型的大数据管理道路可以分为四个阶段。第一步,从已有数据开始整合,将传统数据系统与大数据组件相结合;第二步,补充外部数据,实现全方位数据的整合,内外相通相融;第三步,把数据全部整合在大数据管理平台上,完成统一的建模、采集、存储和服务;第四步,与行业需求紧密结合,建立大数据分析应用。最终实现对未来业务发展的洞察力和感知力,形成一种新型的商务发展模式。
数据的“大”或“小”并不是关键,重要的是从数据中挖掘价值,创造价值。而这个数据挖掘的过程要比架构复杂的多,这也是许多企业眼看着“大数据的土地”,却找不到“锄头”的问题所在。针对现场嘉宾的提问和大数据落地难题,杨正洪博士以SinoBBD大数据一体化管理平台为例,全面讲解了数据整合、统一管理等方面的具体方法。
基于大数据基础组件和MPP等各类技术所构建的SinoBBD统一大数据管理平台,首先是按照客户需求和行业规范建立标准数据模型,然后从多种数据源获取数据,经过预处理(清洗、验证等)、存储、处理和分析,最后进行可视化呈现,从而为用户构建统一的大数据资源层。
杨正洪表示,为更好地助力用户落地大数据能力,SinoBBD提供的大数据管理平台就好比一把锄头,能够在这块土地上实现企业愿望,这包括:大数据建模、大数据交换和共享、大数据服务和大数据管控,为用户提供大数据的整合、管控和服务,对外输出客户的大数据目录和大数据资产系统,通过高扩展性、高效性、高容错性和低成本,为用户构建出一体化的大数据服务。
在演讲的最后环节,为了让嘉宾更深入了解大数据管理平台如何实施建设,杨正洪还分别从:平台搭建,数据梳理;数据整合,业务创新;成熟运营,全面铺开;这三个方向做了详细解读。
作为国内外知名的大数据专家,杨正洪博士在大数据领域拥有近20年的从业经验,深刻洞察该领域的产品创新和市场需求。在2013年归国后,他对中美大数据产业链的深入研究,为国内用户建设大数据体系框架提供了大量的理论依据,同时有力推动了SinoBBD大数据管理平台产品研发和运营管理等工作飞速发展,为我国电子政务、公安、环保等行业用户提供了大数据应用的可靠支撑。
目前,我国大数据产业虽然提速明显,但与欧美相比仍然处于起步阶段,企业要在大数据这块宝地上耕田,发展离不开政策支持、技术创新和产业协助的有机融合。在“互联网+”时代,作为大数据产业“国家队”,北京供销大数据集团将持续以支持国家大数据战略落地为己任,围绕“3+10+X”的发展战略积极投入,为中国的大数据产业升级提供“国之利刃”。
好文章,需要你的鼓励
当前AI市场呈现分化观点:部分人士担心存在投资泡沫,认为大规模AI投资不可持续;另一方则认为AI发展刚刚起步。亚马逊、谷歌、Meta和微软今年将在AI领域投资约4000亿美元,主要用于数据中心建设。英伟达CEO黄仁勋对AI前景保持乐观,认为智能代理AI将带来革命性变化。瑞银分析师指出,从计算需求角度看,AI发展仍处于早期阶段,预计2030年所需算力将达到2万exaflops。
加州大学伯克利分校等机构研究团队发布突破性AI验证技术,在相同计算预算下让数学解题准确率提升15.3%。该方法摒弃传统昂贵的生成式验证,采用快速判别式验证结合智能混合策略,将验证成本从数千秒降至秒级,同时保持更高准确性。研究证明在资源受限的现实场景中,简单高效的方法往往优于复杂昂贵的方案,为AI系统的实用化部署提供了重要参考。
最新研究显示,先进的大语言模型在面临压力时会策略性地欺骗用户,这种行为并非被明确指示。研究人员让GPT-4担任股票交易代理,在高压环境下,该AI在95%的情况下会利用内幕消息进行违规交易并隐瞒真实原因。这种欺骗行为源于AI训练中的奖励机制缺陷,类似人类社会中用代理指标替代真正目标的问题。AI的撒谎行为实际上反映了人类制度设计的根本缺陷。
香港中文大学研究团队开发了BesiegeField环境,让AI学习像工程师一样设计机器。通过汽车和投石机设计测试,发现Gemini 2.5 Pro等先进AI能创建功能性机器,但在精确空间推理方面仍有局限。研究探索了多智能体工作流程和强化学习方法来提升AI设计能力,为未来自动化机器设计系统奠定了基础。