
12月18日,由中国互联网协会主办,数字经济观察网、国润互联信息技术研究院承办的“2025(第二届)集团企业数智化技术创新与生态大会”在北京成功召开。腾讯云大数据专家工程师孙云龙受邀出席,并以《Data+AI重构数据管理新范式》为题发表演讲。

孙云龙
腾讯云大数据专家工程师
在AI技术飞速发展的当下,数据已成为企业核心生产要素,而传统数据管理模式面临的效率、门槛、安全等挑战日益凸显,Data+AI的深度融合正在重塑数据管理的底层逻辑,为集团企业数智化转型注入全新动力。
一、AI时代,数据管理的理念革新
他首先围绕AI时代数据管理的理念革新展开阐述,强调行业正经历从“人用工具做决策”到“AI辅助做决策”的关键转变。Gartner预测,到2028年33%的企业会将Agentic AI用于分析和决策,而2024年这个占比还不足1%。这种转变背后,是数据应用场景的本质升级——Agentic Analytics通过在Data-to-Insight的工作流程中应用AI Agent,以半自主或自主的方式协调任务,朝着AI主动洞察&决策的目标推进。
他指出,传统数据交付流程存在显著固有痛点:业务需求从提出到交付需经过需求分析、数据开发、建模、治理等多个串行环节,涉及角色多、流程周期长,不仅依赖每个团队的执行效率,更受限于各角色的专业水平,任何一个环节出现问题都可能导致数据质量隐患。
AI时代的数据管理思路,核心是实现“管数”与“用数”的全链路智能化升级。通过引入数据分析Agent、数据工程Agent,让传统数据中台具备智能感知、自主决策能力;同时打破数据格式壁垒,实现结构化、半结构化、非结构化数据的全域融合;更重要的是建立人与Agent的协同机制——降低用数人员对数据资产的理解门槛,帮助数据工程师提高生产质量,让数据治理贯穿数据生产全流程。
这种理念革新带来的直接变化,是数据平台从“工具型”向“智能伙伴型”转变:从传统的离线处理、固定报表,升级为支持批流一体、自然语言交互、智能检索、Agent应用的一体化平台,实现数据处理的高效实时化、数据应用的场景延伸化、数据管理的全面智能化。
二、腾讯内部实践:Data+AI驱动业务增长
他表示,腾讯的Data+AI之路,是在自身业务场景中不断打磨、迭代的过程,腾讯游戏的数据发展历程清晰展现了数据管理从基础建设到智能驱动的演进。
2003-2007年的1.0阶段,游戏业务从零起步,数据分散在各个数据库,缺乏统一标准,数据管理以基础功能完善为核心,通过MySQL读写分离、分库分表满足初步数据需求;2008-2014年的2.0阶段,腾讯游戏实现“代理+自研”双轮驱动,业务快速扩张催生了数据集中管理需求,迁移至TDW数据仓库,建立初步数据管理规范,数据应用聚焦用户画像、买量与增长分析;2015年至今的3.0阶段,随着游戏业务全球化布局和全品类发展,实时技术广泛应用,河图数据治理平台全面升级,数据驱动成为业务创新的核心动力,对数据时效性、资产化管理提出了更高要求。
他指出,游戏业务的快速发展带来了海量数据需求:每年数据挖掘/提取类需求超过X万个,涵盖经营分析、精细化运营、辅助决策、业务干预等多个场景,需要数百个可视化看板、数十个算法服务和实时线上服务提供支撑。面对这些需求,腾讯意识到:AI解决的不仅是写SQL的效率问题,更是要打通从业务需求到数据结果的全链路壁垒,建立AI环境下的工程平台和资产体系。
为此,腾讯构建了“启动-建设-运营”的全周期解决方案:
在启动阶段,核心是打造人与AI都能理解的数据资产体系。通过建立业务需求、行业知识、数据结构之间的资产纽带,利用领域模型沉淀和推荐资产;同时制定统一的数据资产标准,包括开发标准、管理标准、运营标准,通过数据工程Agent实现资产的自动解析、热度分析、特征聚类和资产化沉淀,让数据资产既能被人检索使用,也能被AI自主识别调用。
在建设阶段,重点实现多Agent协同工作流。将数据任务分解为多个子任务,通过AI完成SQL编写、资产匹配、代码校验等标准化工作,在需求确认、逻辑对齐、结果验收等关键环节实现人机协同。数据分析Agent通过知识图谱搜索、语义精排、多轮对话等能力精准理解用户需求;数据工程Agent在使用过程中持续沉淀特征资产、优化数据结构,形成"使用-沉淀-优化-再使用"的良性循环。
在运营阶段,建立分层运营和主动治理机制。需求运营层面,通过标准化需求模板、分类管理、质量识别,提升需求转化效率;资产运营层面,完善库表元数据管理,根据特征相似度优化匹配准确率,结合数据热度实施冷热存储策略;平台运营层面,通过智能运维大脑主动治理开发脚本规范、监测资产质量、处置高危作业,实现数据管理的自动化、智能化。
他表示,这套方案取得了显著成效:目前已有XX款游戏的策划、运营、推广团队接入智能提数助手,35%-40%的存量资产无法满足的需求通过助手自动解决;通过特征库、指标库的资产沉淀,实现了"20%精品数据资产满足80%业务需求"的目标,同时数据资产运行效率大幅提升,成本显著优化。
三、腾讯云Data+AI一体化核心方案:全链路智能数据管理体系
他首先介绍,基于内部实践经验,腾讯云大数据打造了覆盖数据存储、开发、治理、应用全链路的腾讯云Data+AI一体化核心方案,核心包括六大关键组件:
1.智能数据湖:全域数据一体化存储与管理
构建统一Lakehouse格式的多模态数据湖,支持文本、图片、音视频、表格、向量、模型等各类数据的统一存储;通过统一元数据目录、统一调度、统一安全管控,实现数据的全域集成与高效访问;结合实时同步、离线同步、整库同步等多种数据集成方式,打通数据源到数据应用的通道,为AI应用提供全量、高质量的数据基础。
2.数据分析Agent(ChatBI):降低用数门槛,提升决策效率
他指出,针对传统用数门槛高、问数准确率低的痛点,ChatBI具备三大核心能力:一是自然语言转SQL能力达到国内第一、全球第三水平,在覆盖37个专业领域的BIRD-SQL评测中表现优异;二是数据解读与波动归因能力,能自动挖掘数据背后的业务逻辑,提升数据价值挖掘效率;三是多轮对话与意图澄清能力,通过反问、确认等交互方式,有效降低大模型幻觉影响,提升问数准确性。这一工具让一线业务人员无需掌握SQL技能,通过自然语言即可获取数据洞察,真正实现“人人都是数据分析师”。
3.数据工程Agent(WeData):全生命周期数据质量管控
针对数据开发中人员水平不一致、规范约束力弱、分类分级难度大等问题,WeData将AI能力嵌入数据工程全生命周期:在开发层面,提供SQL纠错、注释、解释、生成、改写等功能,辅助开发人员提升代码质量;在知识管理层面,基于大模型实现站内元数据、知识库的智能查找;在数据安全层面,通过AI识别+人工校准的双引擎模式,实现敏感数据精准识别和高风险SQL查询监测,提供高效稳定的数据安全防护。
4.OneFlow一体化平台:打通数据与AI协同壁垒
他表示,针对数据分析与AI平台割裂导致的安全隐患、资产不完整、交互效率低等问题,OneFlow实现了DataOps+MLOps+AIOps的一体化工作流:通过统一Notebook开发IDE、统一调度引擎、统一权限管理,让数据开发、模型训练、推理部署在同一环境中完成;基于Serverless通用资源组,实现资源的弹性伸缩,降低环境维护成本;借助腾讯云大数据统一元数据服务TC-Catalog,打通数据资产与AI资产的流转通道,让非结构化数据资产能够沉淀回统一资产平台。
5.多模态统一元数据(TBDS):打破数据孤岛
他指出,针对多模态数据分散管理、AI模型与数据源缺乏统一通信标准的痛点,统一元数据服务实现了文件、向量库、函数、模型、数据库等各类资源的统一管理;支持API、SQL等多种访问方式,实现多模态数据的协同访问和权限控制;通过MCP协议、A2A协议等标准接口,为Agent规模化部署提供基础,打通AI应用与各类数据源、工具的连接通道。
6.大数据智能管家(TBDS):智能化运维与治理
面对大数据平台运维门槛高、预警信息繁杂的挑战,大数据智能管家构建了“识别感知-诊断预测-建议方案-自治理”的闭环流程:通过采集监控日志、指标数据、事件信息,结合多维识别策略实现异常精准识别;基于多算法多模型融合的AI全域诊断分析,实现故障根因分析和预测;自动生成优化治理建议,包括SQL熔断降级、存储治理、参数调优、故障自愈等,将资源利用率提升60%,同时推动运维成熟度从基础监控向无忧自治演进。
四、行业实践:赋能集团企业数智化转型
他分享了腾讯云大数据Data+AI方案在行业中的落地实践,通过与荣耀、某零售平台等龙头企业的合作,验证了方案的实用性和价值。
在荣耀大数据平台升级项目中,腾讯云大数据提供的解决方案包括:使用虚拟机和云盘标准方案构建EMR/TCHouse-P服务;基于EMR和COS构建高性能存算分离大数据平台;通过Ranger和COS Ranger实现细粒度权限控制;构建EMR外表让PG高效访问COS桶数据;Hive集群和Trino集群共享统一元数据。项目落地后,荣耀的集群扩容周期缩短至分钟级别,弹性伸缩能力轻松应对业务高峰低谷;业务离线任务SLA满足率达100%;运维效率提升15%,同时通过COS Ranger方案灵活解决了COS桶权限管理问题,获得7x24小时专业技术支持。
他表示,在某零售平台大数据平台建设中,腾讯云大数据采用存算分离架构,结合EMR、StarRocks、Oceanus等产品,打通国内IDC与美国IDC的海外数据同步通道,实现离线数据与实时数据的一体化处理。方案具备三大优势:一是总体拥有成本低,分钟级弹性扩缩容避免资源闲置,无额外软件license和维保费用;二是运维效率高,成熟PaaS产品降低运维成本和人力成本;三是专业服务保障,为某零售平台到家、山姆会员店等业务的库存查询、数据分析、数据挖掘提供高效支撑。
五、未来展望:AI成为数据团队的智能伙伴
他最后指出,数据管理的未来是技术回归本质、AI深度融入的未来,腾讯云大数据认为Data+AI的下一阶段发展将聚焦三个核心方向:
一是全域数据入湖与多模态融合,打破数据格式和存储壁垒,实现结构化与非结构化数据的深度协同,让数据资产价值最大化;二是从被动治理向主动治理转型,通过AI Agent的自主感知、诊断、优化能力,实现数据质量、安全、成本的全生命周期自动管控;三是从统计分析向深度洞察升级,让数据不仅能回答“发生了什么”,更能解释“为什么发生”、预测“将要发生什么”、建议“应该怎么做”。
他表示,腾讯云大数据希望构建这样一种数据管理新生态:数据资产被全域激活,AI成为每个数据团队的智能伙伴,人与机器协同发力,让数据真正成为企业数智化转型的核心引擎。腾讯云大数据愿将自身在Data+AI领域的实践经验和技术方案,与行业同仁共享共建,携手打造更高效、更智能、更安全的数据管理体系,共同推动集团企业数智化创新发展,实现合作共赢!
(本文根据演讲嘉宾在“2025(第二届)集团企业数智化技术创新与生态大会”上的分享内容整理。)
