内容简介作者简介编辑推荐精彩书摘目录
这是一部从技术、流程、管理等多个维度系统讲解华为数据治理和数字化转型的著作。华为是一家超大型企业,华为的数据底座和数据治理方法支撑着华为在全球170多个国家/地区开展多业态、差异化的运营。书中凝聚了大量数据治理和数字化转型方面的有价值的经验、方法论、规范、模型、解决方案和案例,不仅能让读者即学即用,还能让读者了解华为数字化建设的历程。
全书共10章,内容从逻辑上分为四个部分。
第一部分(第1~3章)
第1章以非数字原生企业在数字化转型方面面临的挑战开篇,介绍了华为在数据治理和数字化转型方面的目标、愿景、蓝图和框架;第2章从企业政策和架构协同的角度,介绍了企业级的数据综合治理体系,理顺了数据与变革、运营、IT之间的协同关系,明确了数据管理的责任主体在业务;第3章详细阐述了不同类型的数据的管理方式和要点。
第二部分(第4~6章)
详细讲解了数据治理工作中的三项重点任务:信息架构、数据底座、数据服务。第4章介绍了信息架构的四个组件,给出了建设原则和核心要素,并引出了业务对象、过程、规则三项数字化的建设方向;第5章提出了数据底座建设的整体框架,介绍了数据湖和数据主题连接两个层次的建设实践;第6章以自助、高效、复用为数据服务的目的,提出了对数据进行搜索、加工和分析的消费过程管理方案。
第三部分(第7~9章)
系统总结了数据治理的三项关键能力:数据的全量感知、综合质量提升、可控共享。第7章以数字孪生的全量、无接触感知为目标,介绍了数据的硬感知和软感知两类能力;第8章基于PDCA框架,介绍了对企业业务数据异常的全面监控;第9章介绍了如何构建以元数据为基础的数据安全隐私保护框架,如何建立动静结合的数据保护与授权管理方案。
第四部分(第10章)基于对“机器认知世界”的理解,我们提出了对数据治理未来的思考,畅想了AI治理、数据主权和数据生态建设。未来已来,让我们共同努力,把数字世界带入每个人、每个家庭、每个组织,构建万物互联的智能世界。
华为公司数据管理部
华为公司数据管理部作为集团层面的数据管理组织,主要负责如下工作:
公司数据工作的战略规划、路标举措以及实施落地;
数据从产生到消费全生命周期管理的治理框架、流程规范、方法和IT工具的制定与推行;
公司级信息架构的设计和数据资产的治理维护;
主持集团层面数据相关项目,推动以数据为核心的数字化转型;
设计公司数据质量度量模型、执行数据质量监控及重大数据问题披露;
组织跨业务领域、跨BG信息架构集成和数据问题的解决;负责公司数据管理能力提升,推动企业数据文化建立和传播。
(1)本书是华为公司在数据治理和数字化转型等方面的成功经验总结,由华为公司数据管理部撰写,华为质量与流程IT、华为云和华为大学联合出品。
(2)华为的数据底座已经能支撑华为在全球170多个国家/地区开展多业态、差异化的数字化运营。
(3)本书由华为董事、质量与流程IT总裁、CIO陶景文等华为高管写序推荐。
(4)本书公开出版前,在华为内部共发行14000余册,获得了良好的反馈和口碑。
前言
随着数字化转型的深入开展,数据成为新的生产要素。对于非数字原生企业,数据治理的重要性越来越突出。如何有效地开展数据治理工作、提升数据质量、打破数据孤岛、充分发挥数据的业务价值,成了业界的热门话题。本书基于华为数据治理的历程,介绍了华为数据工作的愿景、整体思路框架,阐述了企业级数据综合治理体系和方法论,回顾了华为数据底座的建设过程,总结了华为数据治理和数字化转型的经验。
华为公司作为典型的非数字原生企业,发展初期基本是以物理世界为中心构建的,缺乏以软件和数字平台为核心的数字世界架构,在数字化转型过程中,面临着巨大挑战。华为从小到大、从弱到强几十年不断发展的历程中,伴随着一次次重大业务变革、信息化建设和数字化转型。本书理论结合实践,通过对华为公司数据治理体系和数据底座建设方法与实践的介绍,讲述了数据工作如何支撑业务变革,如何驱动数字化转型,总结了华为数据工作的发展历程、经验和对未来的思考。书中所述的方法、规范、解决方案都经过华为内部的充分实践,相信对企业数字化转型的领导者、设计者、实施者和参与数据治理的同行,会有一定的启发和借鉴意义。
内容简介
本书共10章,内容从逻辑上可以分为四部分。
第一部分为第1~3章。第1章以非数字原生企业在数字化转型时面临的挑战为引导,阐述了数据驱动的企业数字化转型理念,介绍了华为公司的数据治理框架;第2章从企业政策和架构协同的角度,介绍了企业级的数据综合治理体系,理顺了数据与变革、运营、IT之间的协同关系,明确了数据管理的责任主体在业务;第3章以数据特性的差异为维度,详细阐述了不同类型数据的不同管理方式,明确了结构化数据、非结构化数据、外部数据、元数据的核心管理要点。
第二部分为第4~6章,介绍了数据治理工作中的三项重点建设任务:信息架构、数据底座、数据服务。第4章介绍了信息架构的四个组件,给出了建设原则和核心要素,并引出了业务对象、过程、规则三项数字化的建设方向;第5章提出了数据底座建设的整体框架,分别介绍了数据湖和数据主题联接两个层次的建设实践;第6章以自助、高效、复用为数据服务的目的,提出了对数据进行搜索、加工和分析的消费过程管理方案。
第三部分为第7~9章,介绍了数据治理的三项关键能力:数据的全量感知、综合质量提升、可控共享。第7章以数字孪生的全量、无接触感知为目标,介绍了数据的硬感知和软感知两类能力;第8章基于PDCA框架,介绍了对企业业务数据异常的全面监控,从而助力数据质量综合水平的提升;第9章介绍如何构建以元数据为基础的数据安全隐私保护框架,如何建立动静结合的数据保护与授权管理方案。
第四部分为第10章。基于对“机器认知世界”的理解,我们提出了对数据治理未来的思考,畅想了AI治理、数据主权和数据生态建设。未来已来,让我们共同努力,把数字世界带入每个人、每个家庭、每个组织,构建万物互联的智能世界。
读者对象
·企业管理者:CEO,CIO,CDO,数字化转型项目的领导者、设计者和实施者。
·数据从业人员:数据架构师、数据工程师、数据质量工程师、数据产品经理、数据分析师。
·IT从业人员:应用架构师、数据库专家、业务架构师。
致谢
本书主要作者有马运(Yun Ma)、杜浩、王强、陈实和周剑锋。参与写作的还有公司数据管理部的专家韦冬、廖华赟、赵子文、傅琨等。各位作者在数据领域耕耘和坚持多年。
本书的写作目的来自内外两方面:首先,公司内部希望我们对数据工作进行系统的梳理总结,积累企业数字化转型的经验;其次,华为云和华为中国地区部也希望我们能够写本书,以便和客户分享华为数据治理的实践,输出数据驱动企业数字化转型的理念和方法。在此感谢陶景文、熊康、邓涛、洪方明、韩晓、苏立清等领导的建议、支持和指导。
本书的内容来自华为数据体系多年的工作实践,特别是最近几年在数字化转型方面的探索。公司数据治理的实践经验是在公司变革体系、质量运营体系、流程体系、IT和数据体系等各部门的共同努力下取得的。感谢郝健康、张印臣两位领导对数据体系建设的贡献!感谢数据体系的全体同人!感谢所有支持数据工作的同事!
感谢华为云殷宏、祝向党,华为大学陈小宇、蒋文俏以及胡小敏等人从读者视角对本书进行审视,并在编写过程中给予了我们很大的帮助。
数字化转型波澜壮阔,华为数据治理也历经十多年沉淀,成果丰富,本书呈现出来的内容实属挂一漏万,加上编写时间仓促,书中难免会出现一些失误或者不准确的地方,恳请读者批评指正。
华为公司数据管理部
目 录
序一
序二
序三
前言
第1章 数据驱动的企业数字化转型
1.1 非数字原生企业的数字化转型挑战2
1.1.1 业态特征:产业链条长、多业态并存3
1.1.2 运营环境:数据交互和共享风险高4
1.1.3 IT建设过程:数据复杂、历史包袱重4
1.1.4 数据质量:数据可信和一致化的要求程度高5
1.2 华为数字化转型与数据治理6
1.2.1 华为数字化转型整体目标6
1.2.2 华为数字化转型蓝图及对数据治理的要求7
1.3 华为数据治理实践9
1.3.1 华为数据治理历程10
1.3.2 华为数据工作的愿景与目标12
1.3.3 华为数据工作建设的整体思路和框架12
1.4 本章小结15
第2章 建立企业级数据综合治理体系
2.1 建立公司级的数据治理政策18
2.1.1 华为数据管理总纲18
2.1.2 信息架构管理政策20
2.1.3 数据源管理政策21
2.1.4 数据质量管理政策22
2.2 融入变革、运营与IT的数据治理24
2.2.1 建立管理数据流程24
2.2.2 管理数据流程与管理变革项目、管理质量与运营之间的关系26
2.2.3 通过变革体系和运营体系进行决策26
2.2.4 数据治理融入IT实施27
2.2.5 通过内控体系赋能数据治理27
2.3 建立业务负责制的数据管理责任体系28
2.3.1 任命数据Owner和数据管家28
2.3.2 建立公司层面的数据管理组织29
2.4 本章小结33
第3章 差异化的企业数据分类管理框架
3.1 基于数据特性的分类管理框架35
3.2 以统一语言为核心的结构化数据管理36
3.2.1 基础数据治理39
3.2.2 主数据治理40
3.2.3 事务数据治理46
3.2.4 报告数据治理46
3.2.5 观测数据治理48
3.2.6 规则数据治理50
3.3 以特征提取为核心的非结构化数据管理52
3.4 以确保合规遵从为核心的外部数据管理54
3.5 作用于数据价值流的元数据管理56
3.5.1 元数据治理面临的挑战56
3.5.2 元数据管理架构及策略59
3.5.3 元数据管理60
3.6 本章小结71
第4章 面向“业务交易”的信息架构建设
4.1 信息架构的四个组件74
4.1.1 数据资产目录75
4.1.2 数据标准77
4.1.3 数据模型80
4.1.4 数据分布80
4.2 信息架构原则:建立企业层面的共同行为准则81
4.3 信息架构建设核心要素:基于业务对象进行设计和落地84
4.3.1 按业务对象进行架构设计84
4.3.2 按业务对象进行架构落地87
4.4 传统信息架构向业务数字化扩展:对象、过程、规则90
4.5 本章小结95
第5章 面向“联接共享”的数据底座建设
5.1 支撑非数字原生企业数字化转型的数据底座建设框架98
5.1.1 数据底座的总体架构98
5.1.2 数据底座的建设策略100
5.2 数据湖:实现企业数据的“逻辑汇聚”101
5.2.1 华为数据湖的3个特点101
5.2.2 数据入湖的6个标准103
5.2.3 数据入湖方式106
5.2.4 结构化数据入湖109
5.2.5 非结构化数据入湖113
5.3 数据主题联接:将数据转换为“信息”117
5.3.1 5类数据主题联接的应用场景117
5.3.2 多维模型设计120
5.3.3 图模型设计125
5.3.4 标签设计130
5.3.5 指标设计132
5.3.6 算法模型设计135
5.4 本章小结139
第6章 面向“自助消费”的数据服务建设
6.1 数据服务:实现数据自助、高效、复用142
6.1.1 什么是数据服务144
6.1.2 数据服务生命周期管理149
6.1.3 数据服务分类与建设规范156
6.1.4 打造数据供应的“三个1”162
6.2 构建以用户体验为核心的数据地图167
6.2.1 数据地图的核心价值167
6.2.2 数据地图的关键能力171
6.3 人人都是分析师175
6.3.1 从“保姆”模式到“服务+自助”模式175
6.3.2 打造业务自助分析的关键能力179
6.4 从结果管理到过程管理,从能“看”到能“管”187
6.4.1 数据赋能业务运营187
6.4.2 数据消费典型场景实践190
6.4.3 华为数据驱动数字化运营的历程和经验195
6.5 本章小结199
第7章 打造“数字孪生”的数据全量感知能力
7.1 “全量、无接触”的数据感知能力框架202
7.1.1 数据感知能力的需求起源:数字孪生202
7.1.2 数据感知能力架构205
7.2 基于物理世界的“硬感知”能力207
7.2.1 “硬感知”能力的分类207
7.2.2 “硬感知”能力在华为的实践213
7.3 基于数字世界的“软感知”能力215
7.3.1 “软感知”能力的分类215
7.3.2 “软感知”能力在华为的实践218
7.4 通过感知能力推进企业业务数字化220
7.4.1 感知数据在华为信息架构中的位置220
7.4.2 非数字原生企业数据感知能力的建设224
7.5 本章小结226
第8章 打造“清洁数据”的质量综合管理能力
8.1 基于PDCA的数据质量管理框架228
8.1.1 什么是数据质量228
8.1.2 数据质量管理范围229
8.1.3 数据质量的总体框架229
8.2 全面监控企业业务异常数据231
8.2.1 数据质量规则231
8.2.2 异常数据监控237
8.3 通过数据质量综合水平牵引质量提升243
8.3.1 数据质量度量运作机制243
8.3.2 设计质量度量245
8.3.3 执行质量度量248
8.3.4 质量改进253
8.4 本章小结256
第9章 打造“安全合规”的数据可控共享能力
9.1 内外部安全形势,驱动数据安全治理发展258
9.1.1 数据安全成为国家竞争的新战场258
9.1.2 数字时代数据安全的新变化258
9.2 数字化转型下的数据安全共享260
9.3 构建以元数据为基础的安全隐私保护框架261
9.3.1 以元数据为基础的安全隐私治理261
9.3.2 数据安全隐私分层分级管控策略263
9.3.3 数据底座安全隐私分级管控方案266
9.3.4 分级标识数据安全隐私271
9.4 “静”“动”结合的数据保护与授权管理272
9.4.1 静态控制:数据保护能力架构272
9.4.2 动态控制:数据授权与权限管理274
9.5 本章小结279
第10章 未来已来:数据成为企业核心竞争力
10.1 数据:新的生产要素282
10.1.1 数据被列为生产要素:制度层面的肯定282
10.1.2 数据将进入企业的资产负债表283
10.1.3 数据资产的价值由市场决定284
10.2 大规模数据交互的企业数据生态285
10.2.1 数据生态离不开底层技术的支撑286
10.2.2 数据主权是数据安全交换的核心287
10.2.3 国际数据空间的目标与原则289
10.2.4 多方安全计算强化数据主权291
10.3 摆脱传统手段的数据管理方式292
10.3.1 智能数据管理是数据工作的未来292
10.3.2 内容级分析能力提供资产全景图293
10.3.3 属性特征启发主外键智能联接293
10.3.4 质量缺陷预发现294
10.3.5 算法助力数据管理294
10.3.6 数字道德抵御算法歧视295
10.4 第四个世界:机器认知世界295
10.4.1 真实**的“物理世界”和五彩缤纷的“人类认知世界”295
10.4.2 映射“物理世界”的数字孪生—“数字世界”297
10.4.3 “数字世界”中的智能认知—“机器认知世界”298
10.5 本章小结299