保险业数据质量管理技术及其应用

数据质量管理（Data Quality Management），是指对数据从获取、存储、数据质量评估、维护、应用、消亡生命周期的每个阶段里可能引发的各类数据质量问题进行识别、度量、监控等一系列管控活动，并通过改善和提高组织管理水平使得数据质量获得进一步提高。数据质量管理技术是循环管理的过程，其终极目标是通过可靠的数据提升数据在使用中的价值，并最终为企业赢得经济效益。数据质量管理，不仅仅是对问题数据和垃圾数据进行探查、清理、补充和完善，更是对数据质量和组织管理技术的改善。在保险业，针对数据的改善和管理，主要包括数据探查、数据评估、数据清洗、数据监控、数据稽核、错误预警等内容。

        数据质量的改善和提高都是建立在数据质量的评估基础之上，通常对数据质量的评估都需要通过以下几个维度衡量。①完整性（Completeness）：完整性用于度量数据是否丢失或者是否可用②规范性（Conformity）：规范性用于度量数据的存储格式是否规范。③一致性（Consistency）：一致性用于度量信息数据的值在不同的业务系统中是否存在冲突。④准确性(Accuracy)：准确性用于度量数据的正确性和时效性。⑤唯一性(Uniqueness)：唯一性用于度量数据的重复性和属性的重复性。⑥关联性（Integration）：关联性用于度量数据的可关联性。⑦及时性（timeliness）：及时性用于度量交易数据是否延时和有效。

1.保险业数据质量管理技术

        数据质量管理技术，都是围绕提高和改善数据质量进行的。数据质量的改善必须作为一个持续的周期进行处理。开始时，数据探查，是界定整个数据质量方案的关键元素。它能够确定高度复杂的数据的内容、结构和质量，以及发现数据源和目标应用程序之间隐藏的不一致和不兼容之处。然后，在实施数据管理项目之前，有必要结合业务部门评定数据质量工作的成果，将其真正成为BI方案的一部分,或者任何BI项目部署的前奏。因为从长远来讲，数据质量管理在信息系统中最终的受益者仍是与BI相关的项目。其次设计数据准入规则、数据校验规则、数据质量规则等，将帮助定义和衡量数据质量的目标和标准，高效的数据准入规则，既不会过滤过多有效的数据，也不会让那些劣质的数据进入系统，影响最终的决策。严谨而客观的数据校验检查规则将准确地对问题数据（有效数据）进行评估和考量以提供数据修复的最佳策略。而后确定数据评估方案、数据修复方法，并对修复前后的数据建立评估和考核的指标，这样循环持续的控制和改善就离最终数据质量管理的目标愈加接近。最后，通过集成数据准入规则、数据校验规则等流程来形成数据质量管理平台。

        1.1 保险业数据质量管理的问题和重要性
        数据是企业数据中心的重要资产，获取并维护高质量数据，对高效的IT和业务运营至关重要。面对复杂度不断增加的业务数据，如何全面保证数据质量？如何甄别、清洗、集成、交付可信的数据，并在第一时间找出并修正藏匿于任意位置的问题数据是当前数据质量管理所面对的迫切问题。在2010年英国商业应用软件研究中心(简称BARC)发起过一次2000人以上的调查，在该调查中发现BI项目的头号障碍就是低劣的数据质量。2012年Gartner研究公司针对140家公司也做过一次调查，其中22%的公司估计他们每年在坏数据上的损失能达到两千万美元。据估计，糟糕的数据通过使收入受损而会耗费商业机构多达10％～20％的操作总预算。而且，IT部门预算的40％~50％之多可能都花在了纠正由糟糕的数据所引起的错误上。

        目前，低劣的数据质量问题是险企数据仓库和商务智能项目中一个常见的缺陷。当高层和IT技术人员认识到数据分析结果中的错误或者商务智能在应用软件和数据源系统之间的不一致时，这种负面影响才被发现和引起足够的重视。通常解决上述问题的方法是：对于决策类和经营类的报表，需要对数据源做修复和改善，虽然这并不是容易实现并且快速见效的方法，但对于没有意识到数据质量重要性的企业却是无法选择的事实。即便数据源修复改善过一次，对于决策或经营状况的报表都需要重新调度相关的全部计算逻辑（因为从数据源到报表指标值，进过了层层的计算、加工、整合、汇总等操作，无法在很短的时间内确定这些数据源的调整会直接影响那些指标，并且各个层级的计算逻辑存在不可并行的依赖性），而最后报表的指标的改善可能依旧是不可容忍和不可接受的。对于商务智能的应用，都需要在数据源和支持商务智能环境的数据库之间进行协调，而且还得重新进行数据提取/转换的流程。相反，如果一开始就能识别并解决数据质量问题，并且能不间断地解决这些问题，这样就能既避免返工又能提高项目完成时用户的认可度，最终从商务智能中获得更高的价值。

        但目前很多保险公司并不能从数据质量评估的多个维度去做数据质量监控和改善的操作。原因是多方面的，有历史遗留问题，有各个业务系统建立时规划不够长远的因素，也有信息技术的局限性等等。数据的一致性、规范性、完整性在数据质量管理中尤为突出。

        综合分析，目前保险业存在下列诸多数据质量问题：（1）数据分散、数据来源多，整合后数据不一致：不同数据源的接口众多，同一类数据采用的标准、规则都不一致，另外数据源本身存在脏数据和噪声数据等。（3）数据质量低：由于大量数据的“堆积”，缺少必要的数据管理，集成数据的可用性差，质量比较低。（4）数据共享集成成本高：数据标准不统一、分散、可用质量差，数据核对、清理、映射的工作量巨大，导致共享集成和数据分析的成本非常高。（5）数据经济效益不显著：数据决策分析的结果可靠性差，投入与产出不匹配。（6）数据抽取时间点问题，由于生产业务系统的数据是随生产而变化的，在不同的时间点进行数据抽取，数据是不一致的。（7）业务规则问题，生产系统的不同版本，各个分公司市场政策的差异，同一金融产品，业务，在生产系统中业务处理规则编码差异很大。（8）统计口径问题，各个专业间的指标体系和统计规则编码不一致。

        新一代客户数据整合(CDI)软件和主数据管理(MDM)软件给数据质量的管理带来了很大方便。但是，数据质量的保证仅靠软件显然是不行的。实际上，保险业在整个数据质量的控制过程中，人仍然是关键因素。数据的录入涉及到很多人员，当数据传输到信息中心时，IT人员也会对数据进行修改、更新，处理等操作。随着保险业客户关系管理系统的日益普遍和BI方案的大量部署，越来越多的保险企业都希望借助CRM系统或者BI系统来提高客户的满意度和忠诚度，为企业带来竞争优势。但一些企业客户关系管理系统实施的成效却不尽人意。其中一个最主要的影响因素就是数据质量管理的问题。CRM系统数据质量的问题并不仅存在于数据采集环节、数据集成、数据更新甚至软件设计等环节也都会影响最终数据质量，动摇CRM系统的根基。因而我们有必要去理解CRM系统中数据及数据质量的内涵,分析影响数据质量的环节及具体影响因素并进而探求实现高质量数据的途径。

        同样地，任何BI项目的建设，其头号障碍就是数据质量问题，数据质量的改善和提高，可以增加报表平台和BI的优势。在长期的数据仓库、CRM、BI等数据分析项目的开发工作中发现，低下的数据质量往往造成开发出来的系统与用户的预期大相径庭；很多数据仓库、CRM系统和BI项目应用程度不高或最后失败，归根结底都是数据质量不高造成的。数据质量不高已经成为困扰此类项目的开发人员与用户的一个严重问题。

 1 2 3 4 5 6 下一页 尾页

扫码即可手机
阅读转发此文