《DAMA数据管理支持体系指南（原书第2版）》
17个章节共2.5万字
第7章到第11章
数据安全
数据集成和互操作
文件和内容管理
参考数据和主数据
数据仓库和商务智能
为了降低理解门槛，本文会按照以下方式进行解读：
首先，每章的开头会先讲个故事，让你知道why。
其次，给出本章节的内容框架，方便你抓住中心思想。
最后，针对框架详细展开，让你深入理解。
每篇你只需要花10-20分钟，就能对数据知识管理体系有个全面的了解，让我们开始吧。
利益相关方的隐私和保密需求(如客户个人信息保护)
政府法规(如GDPR、HIPAA等)
特定业务关注点(如商业机密保护)
合法访问需求(如员工访问所需数据)
合同义务(如与供应商的保密协议)
降低风险:遵守法规、保护声誉、避免罚款等。例如,防止客户数据泄露导致的声誉损失和罚款。
业务增长:建立客户信任,支持电子商务。例如,安全的在线支付系统促进电商发展。
支持适当访问,防止不当访问
确保遵守隐私和保密法规
满足利益相关方要求
脆弱性:系统中易受攻击的弱点,如软件漏洞
威胁:可能的进攻行动,如黑客攻击
风险:潜在损失的可能性和影响,如数据泄露造成的财务损失
访问、审计、验证、授权(4A):基本安全流程
访问:允许合法用户连接系统
审计:检查用户活动日志
验证:确认用户身份
授权:赋予用户特定权限
加密:保护数据的技术手段,如对敏感文件进行加密
混淆/脱敏:降低数据可用性,如将信用卡号隐藏部分数字
数据完整性:防止不当修改,确保数据准确性
黑客/社工:威胁来源,如通过钓鱼邮件获取密码
恶意软件:病毒、蠕虫等有害程序,可能窃取或破坏数据
识别数据安全需求:分析业务需求、监管要求等
制定安全制度:企业级、IT级、数据级制度
定义安全细则:
保密等级:如公开、内部、机密等
监管类别:如个人信息、财务数据等
安全角色:如普通用户、管理员等
评估当前风险:识别系统漏洞和潜在威胁
实施控制和规程:如访问控制、加密、审计等
管理和审计:持续监控和改进安全措施
杀毒软件:检测和删除恶意程序
HTTPS:加密网络通信
身份管理:集中管理用户身份和权限
入侵检测:监控网络异常活动
防火墙:过滤网络流量
元数据跟踪:记录数据的敏感度和使用情况
数据脱敏:降低敏感数据的可识别性
CRUD矩阵:明确数据的创建、读取、更新、删除权限
即时安全补丁:及时修复系统漏洞
元数据中的安全属性:在元数据中标记安全相关信息
项目需求中的安全要求:在项目初期就考虑安全因素
进行就绪评估/风险评估:评估当前安全状况和潜在风险
推动组织和文化变革:培养全员安全意识
提高用户数据授权的可见性:清晰了解谁可以访问哪些数据
关注外包环境下的数据安全:确保外包商遵守安全规定
注意云环境中的数据安全:应对数据存储在云端带来的新挑战
将数据安全纳入企业架构:系统性规划数据安全
建立度量指标:
实施指标:如安全补丁覆盖率
意识指标:如员工安全培训通过率
保护指标:如加密数据比例
事件指标:如安全事件响应时间
监控机密数据扩散:追踪敏感数据的复制和传播
（一）数据的故事
某大型零售连锁企业决定实施一个全渠道销售战略,将线上和线下销售数据整合,以提供更好的客户体验。这需要整合来自多个系统的数据,包括:
企业面临的挑战包括:
为解决这些挑战,企业需要一套完善的数据集成和互操作解决方案。这个案例涵盖了本章将要讨论的多个方面,包括ETL、实时数据集成、主数据管理、数据虚拟化等。
接下来,让我们深入探讨数据集成和互操作的相关概念和方法。
（二）内容的框架
（三）详细的内容
1、引言
数据集成和互操作(DII)描述了数据在不同数据存储、应用程序和组织之间移动和整合的过程。其中:
DII的主要功能包括:
DII依赖于其他数据管理领域,如数据治理、数据架构、数据安全、元数据等。它对数据仓库、商业智能、主数据管理等至关重要,也是大数据管理的核心。
2、业务驱动因素
实施DII的主要原因包括:
3、目标和原则
DII的主要目标包括:
实施DII应遵循的原则:
4、基本概念
（1） ETL (抽取、转换、加载)
ETL是数据集成的核心过程:
ETL可以批量或实时执行,可以物理存储中间结果也可以完全在内存中进行。
（2）延迟
延迟指从源系统生成数据到目标系统可用该数据的时间差。主要类型包括:
（3）复制
在多个位置维护数据的精确副本,用于提高响应时间和减少对主系统的影响。
（4）归档
将不常用数据移至低成本存储解决方案,提高操作效率。
（5）规范格式
组织使用的通用数据模型,用于标准化数据共享格式,降低系统间转换的复杂性。
（6）交互模型
描述系统间建立连接传送数据的方式:
（7）数据集成和互操作架构概念
5、活动
DII活动遵循开发生命周期,主要包括:
（1）规划和分析
（2）设计数据集成解决方案
（3）开发数据集成解决方案
（4）实施和监测
6、工具
主要DII工具包括:
7、实施指南
（1）就绪评估/风险评估
（2）组织和文化变革
8、数据集成和互操作治理
（1）数据共享协议制定数据交换责任和可接受使用的协议
（2）数据血缘记录数据来源和移动信息,支持合规和变更管理
（3）度量指标衡量实施规模和收益,包括:
总结:数据集成和互操作是现代组织管理和利用数据的关键能力。通过采用合适的方法、工具和治理机制,组织可以有效整合来自不同系统和来源的数据,为业务决策和运营提供全面、准确、及时的信息支持。成功实施DII需要技术和业务的紧密协作,以及对组织数据资产的全面理解和管理。
（一）数据的故事
某大型跨国制药公司面临着复杂的文件和内容管理挑战。该公司需要:
公司决定实施一个企业内容管理(ECM)系统来解决这些挑战。在实施过程中,他们遇到了以下问题:
这个案例涵盖了本章将要讨论的多个方面,包括文件分类、内容管理、信息安全、文档生命周期管理、法规遵从等。接下来,让我们深入探讨文件和内容管理的相关概念和方法。
（二）内容的框架
（三）详细的内容
1、引言
文件和内容管理是指对存储在关系型数据库之外的数据和信息的采集、存储、访问和使用过程的管理。它的重点在于:
主要业务驱动因素包括:
目标包括:
指导原则包括:
2、基本概念
（1）内容
内容是指文件、档案或网站内的数据和信息。内容管理包括用于组织、分类和构造信息资源的流程、方法和技术。内容元数据对管理非结构化数据至关重要,包括格式、可搜索性、自我描述性等方面。
（2）受控词表
受控词表是被明确允许用于索引、分类、标引、排序和检索的术语定义列表。包括简单列表、同义词环、分类法、主题词表和本体等不同复杂程度的形式。
（3）文件和档案
文件是包含任务说明、要求和执行日志的电子或纸质对象。档案是可用于证明决策和行动符合程序的文件,作为组织业务活动和法规遵从的证据。
（4）电子取证
电子取证是查找可能作为法律诉讼证据的电子档案的过程。随着电子存储信息(ESI)数量的增加,电子取证变得越来越重要。
（5）信息架构
信息架构是为信息体或内容创建的结构,包括受控词表、分类法、元数据映射、搜索功能规格等组件。
（6）非结构化数据
非结构化数据是指存储在关系型数据库之外的数据,如文字处理文件、电子邮件、社交媒体内容等。管理非结构化数据需要应用数据管理的基本原则。
3、活动
（1）规划生命周期的管理
包括:
（2）创建内容处理制度
制定描述行为原则、方向和指南的制度,包括:
（3）定义内容信息架构
设计索引和检索机制,包括:
（4）实施的生命周期管理
包括:
（5）发布和分发内容
包括:
4、工具
主要工具包括:
5、方法
主要方法包括:
6、实施指南
（1）就绪评估/风险评估
评估内容管理需要改进的方面,以及组织对改变流程的适应程度。关注:
（2）组织和文化变革
重点包括:
7、文件和内容治理
（1）信息治理架构
建立信息治理架构,包括:
（2）管理高质量的内容
关注:
（3）度量指标
制定关键绩效指标(KPI),包括:
总结:文件和内容管理是现代组织面临的重要挑战。通过建立完善的管理体系,组织可以更好地控制非结构化信息,提高效率,降低风险,并确保合规性。成功的实施需要技术、流程和人员的协同努力,以及持续的评估和改进。
（一）数据的故事
某大型零售连锁企业决定实施数据仓库和商务智能项目，以提升决策能力和运营效率。该企业面临以下挑战:
数据分散在多个系统中，难以整合分析
生成报表耗时长，无法及时响应业务需求
缺乏对客户行为和市场趋势的深入洞察
各部门数据口径不一致，影响决策质量
为解决这些问题，企业计划建立一个集中的数据仓库，整合来自销售、库存、客户关系管理等系统的数据，并基于此开发商务智能应用。在实施过程中，他们需要考虑:
如何设计数据仓库架构，满足不同用户的需求
如何处理和集成来自不同源系统的数据
如何确保数据质量和一致性
如何开发适合不同用户群的报表和分析工具
如何推动组织进行数据驱动的决策
这个案例涵盖了本章将要讨论的多个方面，包括数据仓库架构、ETL过程、商务智能工具选择等。接下来，让我们深入探讨数据仓库和商务智能的相关概念和方法。
（二）内容的框架
（三）详细的内容
1、引言
数据仓库(Data Warehouse, DW)是一种将不同来源的数据整合到公共数据模型中的技术，为业务分析和决策支持提供基础。
解释：数据仓库就像一个大型的数据中心，它将公司各个系统的数据汇集在一起，以便于分析和使用。
商务智能(Business Intelligence, BI)则是利用这些数据进行分析和洞察的过程和工具集。
解释：商务智能就是利用数据仓库中的数据，通过各种分析工具，帮助管理者更好地理解业务情况，做出明智的决策。
主要业务驱动因素包括:
运营支持
合规需求
商务智能活动
目标包括:
支持商务智能活动
赋能商业分析和高效决策
基于数据洞察寻找创新方法
指导原则包括:
聚焦业务目标
以终为始
全局思考，局部行动
持续优化
提升透明度和自助服务
重视元数据
与其他数据活动协同
2、基本概念
（1）商务智能
商务智能有两层含义:
利用数据分析理解组织需求和寻找机会的活动
支持这类分析活动的技术工具集
（2）数据仓库
数据仓库包括两个主要部分:
集成的决策支持数据库
用于收集、清理、转换和存储数据的软件程序
（3）数据仓库建设方法
主要有两种方法:
Inmon方法:采用规范化的关系模型
Kimball方法:采用多维数据模型
解释：
Inmon方法：将数据组织成标准的关系数据库形式，类似于我们平常使用的表格结构。
Kimball方法：将数据组织成多维结构，便于从不同角度快速分析数据。
两种方法的核心理念相似:
数据来自其他系统
通过整合提升数据价值
便于数据访问和分析
为授权用户提供可靠的集成数据
支持多种用途(工作流、运营管理、预测分析等)
（4）企业信息工厂(Inmon)
Inmon将数据仓库描述为:
面向主题：按业务主题组织数据，而不是按业务流程
整合的：统一数据格式和标准
随时间变化：保留历史数据，记录变化
非易失的：数据一旦进入仓库，通常不会被修改或删除
主要组件包括:应用程序、数据暂存区、集成和转换、操作型数据存储、数据集市等。
（5）多维数据仓库(Kimball)
Kimball方法采用星型模式，包括事实表和维度表。通过”总线”架构实现多个数据集市的集成。
解释：
事实表：存储具体的业务度量值，如销售额、数量等
维度表：存储描述性信息，如产品、时间、地点等
总线架构：确保不同数据集市使用一致的维度定义，便于整合分析
（6）数据仓库架构组件
主要包括:
源系统：原始数据的来源，如交易系统、ERP系统等
数据集成：ETL(抽取、转换、加载)过程
数据存储区域：包括暂存区、中央数据仓库、操作型数据存储、数据集市等
数据立方体：预计算的多维数据结构，用于快速查询和分析
（7）加载处理方式
包括:
历史数据加载：首次加载大量历史数据
批量变更数据捕获：定期加载新增或变更的数据
准实时和实时数据加载：几乎实时地将数据加载到仓库中
3、活动
（1）理解需求（2）定义和维护数据仓库/商务智能架构（3）开发数据仓库和数据集市（4）加载数据仓库（5）实施商务智能产品组合（6）维护数据产品
4、工具
主要工具包括:
元数据存储库：存储数据的描述信息
数据集成工具：用于ETL过程的工具
商务智能工具：包括报表工具、OLAP工具、仪表板等
5、方法
主要方法包括:
驱动需求的原型：快速开发原型，验证需求
自助式商务智能：让业务用户能自主进行数据分析
可查询的审计数据：记录数据变更历史，便于追踪和审计
6、实施指南
关键考虑因素:
就绪评估/风险评估
版本路线图：规划项目的长期发展方向
配置管理：管理系统配置和变更
组织与文化变革：推动组织适应数据驱动的决策文化
7、数据仓库/商务智能治理
主要治理方面包括:
业务接受度：确保业务部门认可和使用系统
客户/用户满意度
服务水平协议(SLA)：定义系统性能和可用性标准
报表策略：规范报表的开发和使用
度量指标：衡量系统使用情况和效果
总结:数据仓库和商务智能是现代组织进行数据驱动决策的关键基础设施。通过整合多源数据，提供一致、可靠的数据视图，支持各类分析和报告需求。成功实施需要技术和业务的紧密协作，以及持续的管理和优化。随着大数据技术的发展，数据仓库和商务智能也在不断演进，以应对更大规模、更复杂的数据分析需求。
恭喜你，已经读完了DAMA的三分之二，当然你也可以通过该文的指引有针对性的去研究原始DAMA文档相关内容，未完待续。
暂无评论内容