来源：第五届农村中小金融机构科技创新优秀案例评选
一、项目背景及目标
近年来，随着金融形式的不断发展，金融机构为应对市场变化加快了金融创新的步伐。同时，监管机构对金融机构的监管力度和范围也随之加强，数据报送从统计型指标数据到主题型业务数据、再到明细型业务数据的趋势越来越明显。
面对严监管态势下，日益增多的监管报送内容以及频繁升级的监管制度,对金融机构的数据报送范围、数据质量、数据校验、系统建设等提出了更高要求。如何降本增效，实现监管数据高质量报送是当前金融机构面临的难题。特别是农村合作金融机构，面临数据基础薄弱、法人机构多、技术自主可控性差等实际情况，监管报送工作挑战巨大。
陕西信合结合多年的实际报送经验与“痛点”问题，按照新的监管要求，基于大数据支撑体系，自主设计，构建统一技术架构和技术标准的报送服务体系。建立监管统一报送集市，实现数据共享，提升数据处理能力，完成汇总类、明细类报送数据的集中处理。基于行内开发平台，搭建统一的报送前台，为各级用户提供数据准确，操作简捷，客户体验良好的监管统一报送平台。
基于大数据技术的监管统一报送平台建设，以“夯实基础、统一数据、完善规则、拓展应用、快速响应”为总体目标，建立一套跨部门、跨业务条线的监管信息整合与综合管理平台，实现金融监管数字化转型升级。
二、项目方案
（一）平台逻辑架构
基于大数据技术监管统一报送平台，采用微服务管理理念，将预警校验、指标库、血脉追溯、报表设计器、报文生成等功能，抽象包装为公共的微服务组件，各报送模块通过微服务进行相互调用。前端技术采用主流VUE框架，后端技术采用Springcloud框架，报送数据集市的数据存储、数据加工、数据校验等基于“Hadoop+Mpp”混合的大数据平台进行实施。从前台应用到后台数据存储，整体可以分为统一报送门户、平台基础服务、报送数据集市三层结构，平台逻辑架构图如下所示。
图表1.逻辑架构图
1、统一报送门户
统一报送门户将陕西信合当前已有的19个报送模块进行统一整合接入，使用过程中通过用户的角色和权限管理，实现一次性登录，多系统访问。门户中各报送模块的基础功能应用主要通过微服务调用实现，逐步弱化各报送模块自身的功能逻辑，实现单个报送模块的轻量级开发，满足监管需求的敏捷响应。
2、平台基础服务
平台基础服务区域，整体设计理念是将各上报系统中复用性较强的功能模块进行统一的微服务封装管理，各报送模块通过微服务调用实现相应的预警校验、报文生成、血脉追溯等功能。其范围主要包含统一预警校验、统一指标管理、统一血脉追溯、报表设计器等8个基础功能服务。
3、报送数据集市
报送数据集市基于“Hadoop+Mpp”混合架构的大数据平台搭建，由数据交换平台统一提取各业务系统的上报数据，在大数据平台端进行共性数据加工处理，并将处理结果提供给报送数据集市，再由报送数据集市按照监管规则进行特色化数据计算和多环节的校验检查，最终再通过数据交换平台将报送数据集市的数据结果推送至监管统一报送平台。报送集市基于行内的大数据平台，可有效提升报送数据的处理效率，加强数据计算能力共享与数据资源共享，确保数据的集中处理与统一口径。
（二）平台物理架构
基于大数据技术监管统一报送平台是以微服务技术构建的分布式应用平台，采用前后端分离模式，进行平台各区域内微服务应用的编码、调试、构建等开发管理工作，通过集成敏捷高效的DevOps工程化交付体系。整体物理架构图如下：
图表2.物理架构图
1、基础服务架构
基础服务框架提供基础服务开发工具包、日志、异常处理、负载均衡、熔断限流、应用发现等一系列基础能力，支持微服务应用的系统管理、应用管理、配置管理、日志查看、状态监控等功能。
平台公共组件单独部署：主要包括Nginx、网关、注册中心、配置中心、监控中心、日志中心、Redis缓存、文件存储服务等组成。
2、应用服务架构
平台整体基于分布式架构搭建，系统采用集群部署方式，主要划分为以下两类：
（1）统一报送门户：
按照各结点互为主备的方式，集中进行金融统计、二代征信、数字央行、客户风险、非现场监管报表（）、银保监数据标准化（EAST）、金融统计标准化、金融业态势感知、金融基础数据、集中账户上报、支付统计分析（PISA）、支付合规结算上报、人行利率报备、现金收支报表等微服务组件的部署管理。
（2）应用基础服务：
针对统一预警管理、统一指标管理、统一血脉追溯、统一报表设计、统一批量管理、统一报文管理、统一机构管理、统一用户管理等应用基础服务组件的管理。
3、数据架构
报送数据集市的整体部署架构依赖我社现有大数据平台的“Hadoop+MPP”混合架构为基础建设而成，其中MPP数据库提供数据的夜间加工和处理，Hadoop为报送数据提供海量历史数据的存储、历史变化趋势的加工和海量历史数据的高并发查询能力。所有节点均采用X86中端+高端物理服务器部署，共70台服务器。其中Hadoop集群采用“3+49”模式部署，3台管理节点为一主两从模式，49台服务器作为数据节点。MPP集群采用“2+16”模式部署，2台管理节点为一主一从模式，16台服务器作为数据节点。两个集群的管理节点均负责接收和管理连接请求，并处理用户提交的SQL语句，是整个集群的管理调度中心。计算节点为高端数据服务器，负责数据存储和查询处理，完成管理节点的分派任务。
目前大数据集群配备可用容量为T，其中Hadoop集群为T、MPP集群为T。按照陕西信合当前的数据存储现状评估及数据量增长趋势，“Hadoop+MPP”混合大数据平台的硬件资源配置科满足未来三年的规划要求。
（三）平台应用架构
基于大数据技术监管统一报送平台的整体应用可分为：统一门户管理、基础功能管理、统一预警管理、数据血脉追溯，报表设计器、统一批量管理、后台数据支撑七大模块（图表3）。
图表3.应用架构图
1、统一预警管理
统一报送平台预警管理体系的建设工作主要有“报送数据集市预警管理”和“统一报送门户预警管理”两部分，其中，统一报送门户预警主要包括：预警规则配置、各报送模块预警、补录实时预警等；报送数据集市预警主要包括：贴源层预警、缓冲层预警、汇总层预警、指标层预警四部分，而且根据数据层级不同，预警校验执行范围也有所区别。预警应用架构如下（图表4）：
图表4.预警管理应用架构图
（1）报送数据集市预警
按照数据层次结构，报送集市的预警主要分为：贴源层预警、缓冲层预警、汇总层预警、指标层预警。贴源层预警主要是针对数据文件格式校验和数据完整性校验；缓冲层预警主要是针对该层数据的基础总分核对校验和少量的数据格式校验；汇总层的预警相对于缓冲层预警要严格较多，基本涵盖了所有明细类数据的格式校验和逻辑校验规则，并且涵盖了所有行内指标（各报送模块报表指标除外）的校验规则。
（2）统一报送门户预警
统一报送门户预警主要是针对指标类报送模块相应报表指标的表内预警和表间预警，其预警范围包括：各监管部门下发校验规则、行内业务梳理预警规则、各指标同比、环比、业务填报和系统原始值比对等。预警等级也分为“预警硬校验”和“预警软校验”，其中“预警硬校验”可以阻止上报系统的后续提交环节，“预警软校验”只作为预警提示，不影响后续填报动作。
2、数据血脉追溯
数据血脉追溯可分为指标数据血脉追溯和字段血脉追溯，其中，指标数据追溯可以分为两种应用场景：一是金融统计、非现场监管（）、支付报送等指标类报送模块的数据依赖追溯，业务填报人员可以通过系统页面，进行各上报报表指标的整条数据依赖关系查看。二是，整个报送体系中行内自定义指标数据依赖关系追溯，该部分依赖关系的展示主要是在统一报送门户中进行。其中与指标类报送模块相关联的内部指标，也可以在各报送模块中展现给业务人员查看。字段数据追溯是各报送模块表内字段的依赖关系追溯管理，通过对统一报送平台中各字段依赖关系的梳理，实现统一报送平台中所有数据字段的依赖关系展示。各报送模块也可以通过系统前台进行各上报要素字段项的数据依赖关系查看。
图表5.数据血脉追溯架构图
3、统一报表设计器
统一报表设计器是针对指标类报送模块报表的配置工具，所有报送模块报表的新增以及变更都是在报表设计器中完成。通过报表设计器可以实现报表的可视化模版样式设计，以及相应的报表基础信息配置、取值关系配置、报表指标信息配置等。主要功能模块包括：报表样式配置、报表基础信息配置、报表辅助功能设置。其整体功能架构如下（图表6）：
图表6.报表设计器应用架构图
（1）报表样式配置
根据实际用户体验需求实现报表样式的灵活设置，报表设计器可以支持已有EXCEL模板样式的解析读入，生成相应的系统页面报表模板，模板生成后可以通过相应的格式编辑控件实现报表样式的个性化开发。主要包括：报表字段编辑、报表文本编辑、报表行编辑、报表列编辑。
（2）基础信息配置
报表基础信息配置是针对表单全局信息的设定，通过前台页面进行表单信息、数据属性、明细表样式等方面的可视化配置处理。表单信息的配置，是针对整张报表的报表编号、报表名称、上报频度、报表批次等方面的配置；数据属性设置是针对整张表中数值类型、整体默认值设置、可编辑区域授权等方面配置；明细表配置是针对明细类报表可变行数设置、数据列表分页、明细展示序列等方面配置。
（3）详细信息配置
报表设计器中的内容信息主要是指报表指标信息配置和报表指标取值配置，报表指标信息配置是针对报表中单个指标项的指标名称、填报说明、取值口径等方面的配置；指标取值配置是针对报表中单个指标项取值口径的配置，包括：指标运算公式配置、运算符号配置、运算逻辑函数配置等。
（4）辅助功能配置
辅助功能配置主要是指外部EXCEL模板内容自动适配、报表升级制度的打包导出和外部制度包的导入、数据容差值的批量设定、报表填报任务分配等功能。
4、统一批量管理
基于大数据技术监管统一报送平台的批量管理建设共分成两部分进行：一是，基于大数据（GP平台）报送数据集市批量调度管理；二是，报送数据集市到统一报送门户的数据流转批量管理。
（1）批量执行调度管控
通过前台页面拖拽方式进行各模块依赖关系配置，根据模块依赖关系设置，系统可以实现单独模块的灵活调度。
数据采集频度上实现增、全、变化量的灵活配置。
灵活操作单指标、多指标批量的执行调度。
可以在前台进行定时任务设置和批量临时启停控制。
（2）批量状态实时监控
通过对批量执行时数据库表中各类标记状态的读取，可以在前台页面实时查看当前批量执行情况、历史执行情况、执行日志，系统资源占用情况，数据库资源占用情况。并且，在前台页面中可以通过对各批量环节历史执行情况数据的比对分析，帮助系统管理人员及早发现批量执行中的问题。
（3）批量执行队列配置
系统将批量的每一个环节进行编号，根据批量的依赖关系以及人工设定的先后顺序进行批量执行的优先级分配，对于上报时效要求较高的数据模块进优先处理，在该模块数据优先处理的同时，系统会根据批量依赖关系对相关联的模块数据一起处理，以保证数据的准确性和完整性。
（4）定时任务设定
根据各类上报数据执行时点要求，设定相应的定时任务计划，减少批量调度过程中的人为疏漏。
5、统一门户管理
报送统一门户管理是各上报系统的公共登录门户，是各上报系统的统一入口，主要体现以下几项作用：
对整个“统一报送管理前台”的用户权限进行统一管理。
根据用户权限的分配情况，实现对下游相应报送模块的访问控制。
建立统一消息管理模块，对待完成工作、未完成工作、上报情况等实现自动提醒。
三、创新点
基于大数据技术的监管统一报送平台从“聚合化数据管理”、“共性化数据应用”、“一体化预警校验”、“服务化监管报送”、“敏捷化组合开发”、“全局化血脉追溯”六个维度对监管报送数据进行统一整合，快速响应各级监管文件要求，通过数据采集，加工，补录，分析，传输，报送和反馈对监管数据进行全流程闭环管理，实现数据处理安全高效、日常报送简捷、客户体验良好的监管统一报送平台。其创新点主要包含以下几方面：
（一）大数据基础底座
监管统一报送平台的报送数据集市，基于“Hadoop+Mpp”混合架构的大数据平台搭建，具备高效的海量数据存储和处理能力。功能层级包括贴源层、标准层、整合模型层、共性加工层和报送集市层，数据处理流程包括数据抽取、数据加载、数据计算、数据供给等。其中，数据抽取与数据供给由全行级数据交换平台实现，该平台采用分布式Informatica集群实现，支持多作业、多线程并发，是全行的批量数据文件交换枢纽。
（二）统一报送数据处理集市
监管统一报送平台的报送集市基于大数据基础底座构建，分布式技术的应用，解决了数据处理效率不足，无法按期报送问题。数据集中处理，实现了不同报送模块间的数据共享与口径统一。
（三）平台基础服务构建
平台基础服务区域，整体设计理念是将各上报系统中复用性较强的功能模块进行统一的微服务封装管理，各报送模块通过微服务调用实现相应的预警校验、报文生成、血脉追溯等功能。其范围主要包含统一预警校验、统一指标管理、统一血脉追溯、报表设计器等8个基础功能服务。
（四）数据计算与数据应用分离
为了解决传统报送系统数据计算与前端应用共享资源而相互影响的问题，监管统一报送平台采用数据计算存储与前端应用分离的方式部署，后端负责大量的数据汇总计算，前端负责数据结果呈现与支撑业务操作，后端数据处理时不影响前端人员的操作体验。
（五）统一技术规范、统一服务管控
监管统一报送平台与其他系统之间通过全行级微服务、ESB、数据交换平台、文件传输平台完成数据同步与共享，系统“互联互通”遵循统一的技术标准，包含互联互通规范、统一日志规范、统一服务治理规范、统一密码服务规范、统一数据标准、统一错误码规范等十余个技术标准及规范。
（六）统一血脉追溯体系
监管统一报送平台建设了一套覆盖全报送范围的数据血脉管理体系，能够将整个统一报送平台的所有数据关系变成资产保留下来，最终通过数据管控平台形成数据地图，在实际使用过程中，以任何一个元数据为切入点，可找到该元数据是如何诞生的（血缘分析），也可找到该元数据的变动会影响到其他的哪些元数据（影响分析）。通过血缘分析和影响分析功能，可更高效的把控我社数据的来龙去脉，在源系统进行优化与改造时，可以据此提出相应的统计报送方面的数据需求，以持续提高上报数据质量。
（七）统一预警校验体系
建立了一套贯穿于各报送环节的统一数据校验及预警体系，使平台的校验及预警功能能够满足跨监管、跨系统要求，实现基础数据间、数据源和模型间、系统间的校验及预警机制。
四、技术实现特点
（一）应用前台技术
基于大数据技术监管统一报送平台的应用前端技术采用主流Vue框架，包含vue-router、vuex、Axios、element-ui等组件生态链。
Vue的核心库只