混合云时代数据治理

数据治理和数据发现和可访问性(数据民主化)成为关键问题,因为数据资产将根据与这些数据资产相关的特定目的和约束在云和本地之间进行联合。数据民主化是支持团队并从数据资产中产生价值并最大限度地降低与数据相关的风险的关键。

混合云数据平台趋势正在从以Hadoop为中心组件的本地集中式数据基础架构中脱颖而出

混合云数据平台改变了我们处理数据平台解决方案和我们做出的技术选择的方式。

混合云数据平台给企业带来:

·采用同类最佳技术的灵活性并消除对特定云或本地生态系统的锁定

·重新关注解决方案需求,而不是技术平台/生态系统驱动的解决方案决策

混合云数据平台战略将使数据资产分布在本地和多云平台之间,并带回与联合数据基础架构相关的问题。

数据治理和数据发现和可访问性(数据民主化)成为关键问题,因为数据资产将根据与这些数据资产相关的特定目的和约束在云和本地之间进行联合。数据民主化是支持团队并从数据资产中产生价值并最大限度地降低与数据相关的风险的关键。

在Hadoop上构建集中式数据基础架构时尝试进行了一次修正,通过实施治理实践和工具帮助企业避免创建数据沼泽。然而,用于管理数据资产和这些数据资产的可访问性的治理基础设施仍然存在重大差距。

鉴于从数据平台之旅中吸取的教训,在开始构建混合云数据平台的转型之旅之前,企业应谨慎考虑数据发现、可访问性、民主化和治理能力、实践和工具作为转型的一部分,以最大限度地降低数据风险并从数据资产和混合云数据平台中产生更大的价值。

需求很清楚,早期的孤立产品已经成熟,可以提供精心策划和统一的工具集,以汇集以下所有功能:

商业词汇

编目数据

数据发现

数据可访问性

IBM Cloud Pak for Data就是这样一种统一的产品,它集成了数据管理、数据治理和分析,以提高效率并改进资源的使用。Cloud Pak for Data可以部署在云端或本地,以符合混合云架构和战略以及企业的合规性要求。

我们的实施之一是为其中一家银行创建下一代数据平台,帮助简化数据治理和数据操作。银行的数据平台包括

500多TB银行DW和分析数据集市,用于客户洞察、风险和监管报告

800 TB对象存储作为数据湖来提供各种数据集——结构化、半结构化和非结构化,以支持数据科学和机器学习要求

用于链接分析的图形数据库和用于Web日志和应用程序日志的文档数据库

市场、政府和外部机构数据集,用于分析经济指标、资产相关信息和风险模式

用于实时分析的特定事务数据集

这种异构环境正在与使用Cloud Pak for Data—Watson Knowledge Catalog和Data Virtualization组件的Enterprise Data Fabric的实现统一起来。

2345截图20210806091512.png

统一解决方案如下图所示

数据虚拟化和治理目录统一部署

Cloud Pak for Data的统一功能可满足银行数据运营所需的数据需求,涵盖数据平台的治理、供应和使用方面

2345截图20210806091512.png

解决方案解决的基于角色的功能

Watson Knowledge Catalog—Watson Knowledge Catalog提供端到端解决方案,用于维护用户可以在分析项目中轻松使用的业务就绪数据。目录是一种组织、标记和搜索数据资产的方式。目录中的资产由有关数据资产的元数据组成。

定义业务术语以构建跨业务的一致语言

创建自定义数据类,使自动数据剖析更准确

使用分类来帮助编目必须如何处理数据。

通过自动发现和快速扫描发现数据。自动发现资产以进行编目、发布元数据和跟踪沿袭

定义和执行治理政策和规则。支持监督和管理活动的治理工作流

探索数据资产、术语、分析资产、用户等之间的关系

数据虚拟化——通过为所有数据资产创建数据结构(可扩展数据访问层和数据访问规范模型),帮助银行数据民主化。数据虚拟化提供查看、访问、操作和分析数据的能力,而无需知道或了解其物理格式或位置,也无需移动或复制数据。

如下图所示,在DV中创建一组数据资产。DV表发布到目录中,收集指纹信息(质量、配置文件、分类、分配业务术语、敏感信息检测和连接要求)。这形成了银行数据可访问层的关键:

2345截图20210806091512.png

Cloud Pak for Data Constellation作为Data Fabric

该解决方案将私有云上的数据资产与本地数据资产集成在一起。统一解决方案在数据虚拟化服务的帮助下提供无缝治理。

2345截图20210806091512.png

治理和数据结构的集成视图

为业务用户提供跨数据资产的单一视图

高度治理的数据平台

无需移动数据即可进行实时分析和数据配置

快速实现价值,投资回报率高

THEEND

最新评论(评论仅代表用户观点)

更多
暂无评论