河北唐山网站建设,北极寒流wordpress,可以发布推广引流的悬赏平台,asp.net mysql 网站开发数据的质量管控工作#xff0c;整个工作应该围绕启动阶段制定的目标进行。适当引入一些质量管控工具可帮助我们更高效的完成工作。
第一步、数据剖析 首先应该进行已知数据问题的评估#xff0c;这里评估的范围也应控制本轮管控的目标范围内。其次#xff0c;通过对数据进行…数据的质量管控工作整个工作应该围绕启动阶段制定的目标进行。适当引入一些质量管控工具可帮助我们更高效的完成工作。
第一步、数据剖析 首先应该进行已知数据问题的评估这里评估的范围也应控制本轮管控的目标范围内。其次通过对数据进行剖析发现数据问题具体规则又可通过标准或业务调研进行提取。1根据标准提出标准规则比如我们可以根据标准提炼出如下图所示的编码规则并进行检验。 2调研业务提取业务规则接着我们可以从业务调研中提取规则如金融业的大中小微企业贷款当年累放额计算口径大中小微企业贷款当年累计发放额大型企业贷款当年累计发放额中型企业贷款当年累计发放额小型企业贷款当年累计发放额微型企业贷款当年累计发放额个人经营性贷款当年累计发放额这样的指标计算规则并进行检查管控。 当然业务规则也可以是围绕我们既定的业务预期展开。目标不同业务剖析的方向也应随之调整。
第二步、设计数据质量控制操作程序 获得已知数据问题后就应设计数据质量控制操作程序。主要包括以下3个方面 1制定检查和监控的频率及方式2制定质量问题评估方式和整改方式3制定质量报告内容及对象
第三步、定义数据质量需求 根据剖析的质检规则和控制操作程序对数据质量需求进行定义这里又可拆分成以下三步。1梳理数据模型梳理数据模型的主要工作是确定检查对象实体之间的关系如关键字、主外键关系梳理、字段类型、长度等。 2建立质量规则这一步是将我们剖析的数据检验业务规则转化成可执行、有结果的技术规则。 3建立质检方案将可以同时评价且主责部门划分一致的规则集合起来建立质检方案。也可根据业务或者评价规范再对规则进行细分并建立方案。
第四步、确定数据质量水平 数据质量需求定义完毕之后我们就需要确定在此需求下目前数据质量的水平处于什么位置。明确反应质量水平的并最直观的就是错误数据的详情情况如下图所示。 根据汇报的对象不同一般也需要出具质检情况的统计报告。
第五步、管理数据质量问题 问题找到下一步我们就应该进行问题的管理了。根据不同的质量问题进行不同的质量整改方案。一般方式有以下4种1源头修改即问题数据生产系统中进行修改。2补录即在数据中心建立一个新的仓库针对数据问题进行补充录入一般情况为源系统升级或其他原因导致无法从源系统进行修改而采取的变通方案。3技术修复即通过如ETL工具等技术手段对问题数据进行清洗、转换。 4遗留问题管控即对一些无法修复处理的数据进行特殊处理一般情况下进行标记或者例外处理。
