数据仓库建设持续改进数据质量（二）

数据质量改进案例分析

从实施中国电信6省营销分析情况来看，数据质量改进普遍存在如何定义数据质量评价标准、如何实现数据质量管理的闭环过程、如何界定数据质量改进过程中各系统间的功能边界三个难点问题。

如何定义数据质量评价标准——首先前端、后端、管控部门根据其专业对数据的不同要求，评价标准各有不同（如后端业务支撑部门对数据的要求是保障其系统的正常运行；前端业务部门对数据的要求是真实反映市场情况；管控部门要求数据要和财务报表保持一致）。数据仓库建设也要结合实际情况，合理制定各阶段数据质量评价标准，以保障系统建设的顺利进行。

如何实现数据质量管理的闭环过程——在实际操作中，由于没有形成数据质量的改进闭环，很容易出现“前清后乱”的情况，这需要制定一个完善的数据质量管理流程，以实现数据质量的持续改进。

如何界定数据质量改进过程中各系统间的功能边界——数据质量问题牵涉到提供源数据的生产系统和数据仓库系统，在质量改进中必然存在由谁来进行改进的问题，界定改进过程中系统间功能边界也是数据质量管理的难点问题。

针对这三个问题，通常在各省基本采用以下方法加以解决

◎建立由管理层牵头的数据管理机构，推动数据质量的改进工作

数据质量改进与管理的关系密不可分。在数据质量的管理上，需要建立一个由省公司主管部门牵头，相关部门和集成商参与的项目小组负责数据质量标准定义和控制。责任人落实到各个分公司的生产系统业务主管或省公司各生产系统业务主管。如果发现有质量问题向各个本地网分公司进行通报，从而保障了数据质量改进的有效推行。

◎制定可操作的数据质量管理制度

管理部门需要和集成商一起根据实际情况制定可操作的管理制度，主要的管理制度包括，分阶段定义的数据质量目标、数据评价办法、数据管控流程、统一编码、数据核对规则等。

◎完善的数据质量控制流程是持续改进的基础

在进行数据质量改进实施过程中，需要根据数据质量问题的特点制定一套数据质量控制流程，为提高数据质量水平起到了关键的作用。

◎ETL集中监控和元数据管理的技术实现

自行开发了ETL集中监控模块和元数据管理功能模块。

在元数据管理中对数据和处理过程做了定义，用户有了一个数据仓库地图。如果数据源或者抽取逻辑发生变化，用户可以分析对其他元数据的影响。

通过ETL集中监控模块可以对数据的整体处理流程进行定义；将数据质量评价标准以数据校验程序化，并作为流程中的一个环节配置到流程中；用户可以对处理过程实施监控，对于数据异常能够及时得到告警信息和错误报告。

通过以上措施，在数据质量上可以取得以下实际效果：

数据整合过程得以规范化，也减轻了维护人员的工作负担。

各级人员对数据质量变得敏感，如果发现有质量问题向各个本地网分公司进行通报，从领导到具体责任人都关心数据质量问题，提高了相关人员对数据质量的重视程度和工作责任心。

数据质量稳步提高，例如通过对计费、九七、渠道系统客户数据的对比、过滤、合并等方法，使得客户资料逐步趋于完整和一致。

持续改进思路

通过数据清理，将逐渐形成完整和准确的企业数据视图，为经营分析和生产支撑提供可靠的数据来源。

由于数据源系统会不断升级，同时经营分析系统的数据模型也存在优化和发展。数据质量是一个持续改进、反复迭代、螺旋上升的过程。数据质量任重道远，不可能一劳永逸，要作为长期的任务来抓。

例如在客户资料的清理上，可以按照“先大客户，然后商业客户，再次公众客户”，在客户属性上“先保证客户消费属性，后社会属性”的思路做清理。对每一种客户类型也可以划分成几个阶段：

第一阶段 整理客户、用户、帐户三户模型，通过归并、筛选、补充等方法在现有生产系统上先建立起统一的客户标识、帐户标识、用户（销售品实例）标识；建立起客户与用户之间的对应关系、客户与帐户的对应关系，用户与帐户之间的对应关系。

第二阶段 整理产品/销售品，定义新的产品目录表，按产品/优惠套餐定义销售品目录；将原有产品映射到新定义的产品目录表中；将新功能映射成附属产品；并定义出产品与产品实例对应关系、产品实例间的对应关系、产品实例与定价计划和客户协议之间的对应关系。

第三阶段 补充客户社会属性，通过第一阶段和第二阶段建立起客户消费属性，再通过CRM系统和CSS系统补充客户社会属性，形成统一的企业客户视图。