《数据管理与追溯》

《数据管理与追溯》

-段方

某世界 100 强企业大数据总设计师

教授 北京大学博士后

1 数据管理的概念与特点

1.1 背景

1.1.1 数据管理的必要性

1.1.2 数据管理的重要性

1.1.3 DAMA 介绍

1.2 从数据质量到数据治理

1.2.1 数据质量的引出

1.2.2 数据治理的扩展

1.3 数据管理的概念和特点

1.3.1 概念

1.3.2 特点

1.4 数据管理中管理与技术的关系

1.4.1 “三分技术、七分管理”

1.4.2 组织架构要求

1.4.3 坚持管理先导

1.4.4 涉及到的技术内容

1.5 数据模型标准是基础

1.5.1 第三范式

1.5.2 数据模型建模方法

1.5.3 建模工具举例

1.6 数据管理的平衡

1.6.1 治理的成本

1.6.2 “度”的平衡

1.7 数据管理的趋势

1.7.1 数据的自动化治理

1.7.2 数据治理的“无人驾驶”

1.8 【例】数据治理的功能演示

2 数据管理基本内容

2.1 数据架构管理

2.1.1 企业数据模型

2.1.2 价值链分析

2.1.3 相关数据架构

2.2 数据开发

2.2.1 分析

2.2.2 数据建模

2.2.3 数据库设计

2.2.4 实施

2.3 数据操作管理

2.3.1 获取

2.3.2 恢复

2.3.3 调优

2.3.4 保留

2.3.5 清除

2.4 数据安全管理

2.4.1 标准

2.4.2 分级

2.4.3 管理

2.4.4 授权

2.4.5 审计

2.5 参考数据和主数据管理

2.5.1 外部规范

2.5.2 内部规范

2.5.3 客户数据

2.5.4 产品数据

2.5.5 维度管理

2.6 文档和内容管理

2.6.1 获取和存储

2.6.2 备份和恢复

2.6.3 内容管理

2.6.4 检索

2.6.5 保留

2.7 元数据管理

2.7.1 架构

2.7.2 整合

2.7.3 控制

2.7.4 交付

2.8 数据质量管理

2.8.1 规范

2.8.2 分析

2.8.3 度量

2.8.4 改进

2.9 数据治理应用举例

2.9.1 数据字典

2.9.2 血缘分析

2.9.3 影响分析

2.9.4 关键影响因素分析

2.9.5 自助查询小助手

2.9.6 元数据之家

2.10 【例】数据治理的案例分享

3 数据质量概念与应用

3.1 概念及特点

3.1.1 数据质量管理要求

3.1.2 特点

3.1.3 范围

3.2 数据质量与元数据关系

3.2.1 元数据是基础

3.2.2 数据质量是应用

3.3 数据质量管理功能

3.3.1 数据获取

3.3.2 监控规则存储

3.3.3 质量评估

3.3.4 质量稽核

3.3.5 告警处理

3.3.6 监控知识库

3.4 数据质量产品设计原则

3.4.1 提升易用性

3.4.2 及时发现问题

3.4.3 分段管控原则

3.4.4 闭环处理原则

3.5 数据质量产品

3.5.1 数据健康度

3.5.2 接口监控助手

3.5.3 规则库

3.5.4 产品设计及描述

3.6 数据质量运维要求

3.6.1 运维的内容

3.6.2 运维的范围

3.6.3 运维的要求

3.7 【例】某大数据系统数据质量举例

4 数据资产管理

4.1 概念和特点

4.1.1 背景

4.1.2 定义

4.1.3 特点

4.1.4 范围

4.2 属性和分类

4.2.1 属性

4.2.2 分类

4.2.3 分类编码原则

4.3 管理体系

4.3.1 管理的组织机构

4.3.2 资产规划

4.3.3 资产开发获取

4.3.4 资产注册

4.3.5 资产运维

4.3.6 资产注销

4.4 应用管理

4.4.1 资产可视化

4.4.2 资产健康度评估

4.4.3 资产价值评估

4.4.4 资产开放运营

4.5 【例】某大数据系统数据资产管理案例

5 数据追溯

5.1 概念和定义

5.1.1 基础概念

5.1.2 不同的定义

5.1.3 数据溯源的基本方法

5.2 数据溯源模型

5.2.1 基本概念

5.2.2 流溯源信息模型

5.2.3 时间-值中心溯源模型

5.2.4 四维溯源模型

5.2.5 Provenir 数据溯源模型等

5.3 数据溯源的方法

5.3.1 基本介绍

5.3.2 标注法

5.3.3 反向查询法

5.4 【例】数据溯源应用举例

6 数据溯源与区块链

6.1 区块链的基本概念

6.2 从商品溯源说起

6.3 数据溯源基于区块链的不可抵赖特性

6.4 数据处理过程的区块链实现

6.5 数据溯源的区块链实现方法

6.6 【例】基于区块链的产品溯源到数据溯源

7 总结