银行测试数据的可复用管理研究

四、实例复用策略

        通过大量实践发现，一方面，无论数据脱敏、数据瘦身及数据提取的知识如何复用、算法如何高效，由于数据量巨大，其处理时间都难免较长。另一方面，不同应用场景的数据需求却表现出比较明显的“二八”分布特征，即大量需求对应常规处理结果，少量需求对应特殊处理结果。因此，针对三种数据管理操作，梳理常规需求，制定数据处理结果实例的标准集，使其能尽可能多地被直接使用，从而减少多余数据处理的资源开销，成为实现实例复用策略的核心思路。

        一般情况可考虑依据两个原则来设计实例标准集：一是满足尽可能广泛的应用场景需求；二是数据处理效果尽可能好。具体来说，对于数据脱敏来说，标准集可采用经过最全面脱敏处理的全量数据集；对于数据瘦身来说，标准集可采用以较大范围入口数据为基础(如覆盖全国的客户号)，对全量数据按关联关系进行瘦身的数据子集；对于数据提取来说，标准集可采用全量数据类别对应的业务数据集合。

       将数据脱敏、数据瘦身及数据提取的实例标准集管理整合起来，得到如图5所示的整合管理流程。

        在图5中，首先将生产数据集恢复到脱敏环境的数据库中，由脱敏系统以标准集方式进行脱敏，导出后生成脱敏标准集。同时，脱敏后数据库作为瘦身系统输入，以标准集方式进行瘦身，生成瘦身标准集。然后，根据数据申请，将脱敏标准集或瘦身标准集部署到相应应用环境，并由提取系统以标准集方式进行数据提取，生成与环境对应的提取标准集。在整个过程中，前文介绍的知识复用策略作为三个系统的核心驱动。

        本文结合农业银行在测试数据管理工作上的实践经验，提出了从知识复用及实例复用两个层面建设商业银行测试数据可复用管理体系的思路。

        知识复用方面，以数据脱敏、数据瘦身及数据提取等三项测试数据管理操作为分析对象，详细阐述了如何制定每项操作的知识复用策略及配套自动化系统的建设思路。这些策略将有效知识转化成结构化的信息，通过一系列表结构及相应规则来记录、描述及更新知识，使各项操作的特征、逻辑、模型及方法等知识得以有效复用。实例复用方面，分别对三项操作建立了实例标准集，最大程度满足主流数据申请的需求，减少了冗余数据处理导致的资源及时间开销。同时，结合实践经验，还提出了整合各项操作实例标准集的整体管理流程，实现了一次处理、多次使用的目标。

（文章来源：《中国金融电脑》杂志）

首页 上一页 2 3 4

扫码即可手机
阅读转发此文