东莞网站建设代理,如何买网站,wordpress文章特效插件,如何做网站搜索排名实现数据质量的前提就是数据本身是可靠和可信的。
导致数据质量低下的因素 组织缺乏对低质量数据影响的理解#xff0c;缺乏规划、孤岛式系统设计、不一致的开发过程、不完整的文档、缺乏标准或缺乏治理等。 所有组织都会遇到与数据质量有关的问题。数据质量需要跨职能的承诺…实现数据质量的前提就是数据本身是可靠和可信的。
导致数据质量低下的因素 组织缺乏对低质量数据影响的理解缺乏规划、孤岛式系统设计、不一致的开发过程、不完整的文档、缺乏标准或缺乏治理等。 所有组织都会遇到与数据质量有关的问题。数据质量需要跨职能的承诺和协调数据质量管理不是一个项目而是一项持续性的工作长期成功取决于组织文化的改变和质量观念的建立。高质量数据本身不是目的它只是组织获取成功的一种手段。
业务驱动因素
提高组织数据价值和数据利用的机会降低低质量数据导致的风险和成本提高组织效率和生产力保护和提高组织的声誉。【创机会、降成本、提效率、强声誉】
低质量数据造成的后果
无法正确开具发票增加客服电话量降低解决问题的能力因错失商业机会造成收入损失影响并购后的整合进展增加受欺诈的风险由错误数据驱动的错误业务决策造成损失因缺乏良好信誉而导致业务损失。
数据质量管理的目标
根据数据消费者的需求开发一种受管理的方法使数据适合要求定义数据质量控制的标准和规范并作为整个数据生命周期的一部分定义和实施测量监控和报告数据质量水平的过程。
数据质量管理的原则
重要性根据数据的重要性以及数据不正确时的风险水平来制定改进的优先顺序全生命周期管理预防。重点应放在预防数据错误和降低数据可用性等根因修正需要对流程和支持它们的系统进行更改而不仅仅是从表象来理解和解决治理数据治理活动必须支持高质量数据的开发数据质量规划活动必须支持和维持受治理的数据环境标准驱动客观测量和透明度数据质量水平需要得到客观、一致的测量嵌入业务流程业务流程所有者对通过其流程生成的数据质量负责他们必须在其流程中实施数据质量标准系统强制执行系统所有者必须让系统强制执行数据质量要求与服务水平关联数据质量报告和问题管理应纳入服务水平协议SLA。
数据质量管理的活动
定义高质量数据
定义数据质量战略
识别关键数据识别已有规则和模式。
识别关键数据和业务规则
执行初始数据质量评估
确定问题并排定优先顺序执行问题根本原因分析。
确定改进方向并排定优先顺序
根据业务影响确定行动的优先级制定预防和纠正措施确认计划的行动。
定义数据质量改进目标
开发和部署数据质量操作
开发数据质量操作规程修正数据质量缺陷度量和监控数据质量报告数据质量水平和调查结果。
重要人物
Strong-Wang框架1996侧重于数据消费者对数据的看法
描述数据质量的4大类15个指标
内在数据质量
准确性客观性可信度信誉度
场景数据质量
增值性关联性及时性完整性适量性
表达数据质量
可解释性易理解性表达一致性简洁性
访问数据质量
可访问性访问安全性
Thomas Redman 在《信息时代的数据质量》将一个数据项定义为“可表示的三元组”一个实体属性域与值的集合。维度可以和数据的任何组成部分相关联模型实体和属性及其值。定义了一类用于记录数据项规则的表达维度在三个类别中描述了20个维度
数据模型 内容详细程度属性的精确度 构成一致性应变性数据值数据表达
Larry English 在《改善数据仓库和业务信息质量》提出两个类别固有属性和实用特征
固有属性
定义的一致性值域的完备性有效性或业务规则的一致性数据源的准确性反映事实的准确性精确性非冗余性冗余或分布数据的等效性冗余或分布数据的并发性
实用质量特征
可访问性及时性语境清晰性可用性多源数据的可整合性适当性或事实完整性
DAMA UK描述数据质量6个核心维度
完备性唯一性及时性有效性准确性一致性
DAMA UK白皮书还描述了对质量有影响的其他特征
可用性时间问题灵活性置信度价值
ISO 8000 目的是帮助组织定义什么是符合质量的数据什么是不符合质量的数据使他们能够使用标准约束要求符合数据并检核他们已经收到了符合同一质量标准的数据。
数据质量改进生命周期
计划执行检查处理
数据质量常见问题
缺乏领导力导致的问题数据输入过程引起的问题数据处理功能引起的问题系统设计引起的问题解决问题引起的问题
数据剖析
统计信息识别跨列分析表间分析解决问题还需要其他形式的分析
数据质量和数据处理可能通过某种形式的数据处理来提升数据质量
数据清理或数据清洗数据增强数据解析和格式化数据转换和标准化。
定义数据质量战略
必须与业务战略保持一致一个框架包括以下方法
了解并优先考虑业务需求确定满足业务需求的关键数据根据业务需求定义业务规则和数据质量标准根据预期评估数据分享调查结果并从利益相关方那里获得反馈优先处理和管理问题确定并优先考虑改进机会测量、监控和报告数据质量管理通过数据质量流程生成的元数据将数据质量控制集成到业务和技术流程中还要考虑如何管理数据质量和如何利用数据质量工具。
