分行基础数据平台优化设计及实现

农业银行分行基础数据平台自2011年底设计开发以来，成功应用于分行多个系统的数据提供，不但提供了统一的系统架构、数据模型、数据标准，保障了下游各种分析型应用的扩展性与兼容性，而且遵循数据仓库的建模思路，采用数据仓库的建模方法，在分行建立模型统一、标准统一的基础数据层，以适应目前分行分析型应用需求个性化、源系统多样化、管理要求多元化的要求。

        自该平台运行以来，针对调度系统、作业链、取数环节出现的诸多问题，湖南分行逐步从控制、取数、清理、重做、快捷键、系统监控等方面进行程序编写和系统完善，最终实现系统一键化运维。现已实现将系统故障率控制在1％以内，平均年人工干预率低于0．014。该系统故障率从优化前的34％到现在控制在1％以内，已实现无人工干预平稳运行，并实现了常见问题一键化解决，极大地减少了人力成本，保障了系统稳定，形成了完善的运维体系。

一、系统情况分析

        分行基础数据平台运行过程中，由于系统设计不完善及程序漏洞，有7类问题较常出现，已影响到系统日常平稳运行，本文根据分析、归纳、统计，可将这些问题分为调度系统、作业链、运维、取数4个方面，并对其出错频次、单次问题解决时间、引起系统中断时间进行全面分析，分析结果如表1所示。

       除了对系统造成中断的问题外，系统还存在由于通过执行日期进行取数判断、日期变化时才进行取数等问题造成的系统取数效率低等问题。

二、系统优化及功能描述

        针对上述4个方面的问题及系统效率低等情况，经过分析、综合后，分控制、取数、清理、重做、系统维护工具等五部分对系统进行优化。

        1．控制部分

        控制部分流程示意如图1所示。

        (1)进行空间控制。编写脚本，设置时间间隔，定时查看文件系统、IQ库的使用情况；设置阈值，当超过阈值时，系统报警，并停止作业调度，避免空间溢出。

        (2)同步作业链。通过查询作业量执行状态，同步所有作业链的执行时间，不但方便了数据历史迁移，同时也避免部分作业链优先级太低，导致调度停止的问题。

         (3)加入清理作业链完成判断。对于清理作业链的调用进行控制，防止同时对表进行操作导致死锁。

         (4)控制作业链开始时间，增加维护窗口时间，及减少系统消耗率，将加载时间压缩，提高上游系统效率。

         2．取数部分

         取数部分流程示意如图2所示。

         (1)增加月终取数范围判断。根据调度日期，进行月终日期和一般日期的分类判断，根据判断结果调用不同的配置文件，避免了月终缺源文件的问题。

         (2)未取到数提示。针对上游系统提供源文件缺漏的问题，生成未取到文件列表，方便维护和数据申请。

         3．清理部分

         清理部分流程示意如图3所示。针对文件系统中的5个对应目录，根据实际情况，设置不同阈值进行文件的自动化清理，定时调度，方便快捷，极大地减少人力投入。

         4．重做部分

         (1)设置重做的优先级控制。对系统进行正常、异常的判断，当系统异常时，启用作业链重做控制，根据运行日期设置作业链运行状态。

         (2)日切时调度日志控制。在每日日切时，对日志进行对应的补充。

         5．系统维护工具

         (1)增加快捷键如系统启停、作业链重做、查看日志等快捷键。简便操作，避免了操作风险。

         (2)增加状态查询界面。将查询脚本写入系统进入程序，进入系统即可进行状态查询。

         通过对优化后的系统长达1年半的监控，可以确定，系统中断时间、运维成本大大降低，执行效率大大增加。

         对系统优化前后的中断时间、出错频次、运行效率进行对比(如表2所示)，结果表明，优化后的系统基本实现无中断，中断时间控制在全年36分钟内，出错频次控制在全年0.08。运行效率大幅度提高，基本实现系统无等待时间运行，基础运维实现一键化处理，显著地提高了系统效率，减少了人工维护成本。

（文章来源：《中国金融电脑》杂志）

扫码即可手机
阅读转发此文