1. 重要性:线上银行数据体系建设是一个新课题:线上App密集存在各类数据信息,如用户资产,收益,产品利率,理财收益率,理财产品净值持仓等,每一个数据都体现着银行的安全性,专业性,稳健性;
2. 当前痛点:在银行业系统数据对账是常见的操作,通过对批量数据的跑批核对,达到数据一致性的效果,但是前端对客数据,一直游离在对账体系之外,用户看到的第一视角是前端的展示,失去了前端的数据监控管理手段,纯后端的对账无法保证前后端数据的一致性;
3. 思考方向:作为银行或者金融类的App,客户资产等数据准确性要求非常高,如何保障对客数据的实时性、准确性是我们测试过程中非常重要的一环,单靠大数据测试、单纯的系统测试无法满足要求,线上监控系统也是事后发现问题;如果能有一套能够集测试,线上预警,校正于一体工具和测试方法则可以大大提升我们的研发效率及质量;
4. 数据精度与批量数据更新的解决方案,解决数据精度丢失、每日汇总与总资产/收益差一分钱,批量数据处理更新不同步等一些列金融行业老大难问题;
一、背景
1. 重要性:线上银行数据体系建设是一个新课题:线上App密集存在各类数据信息,如用户资产,收益,产品利率,理财收益率,理财产品净值持仓等,每一个数据都体现着银行的安全性,专业性,稳健性;
2. 当前痛点:在银行业系统数据对账是常见的操作,通过对批量数据的跑批核对,达到数据一致性的效果,但是前端对客数据,一直游离在对账体系之外,用户看到的第一视角是前端的展示,失去了前端的数据监控管理手段,纯后端的对账无法保证前后端数据的一致性;
二、思路
作为银行或者金融类的App,客户资产等数据准确性要求非常高,如何保障对客数据的实时性、准确性是我们测试过程中非常重要的一环,单靠大数据测试、单纯的系统测试无法满足要求,线上监控系统也是事后发现问题;如果能有一套能够集测试,线上预警,校正于一体工具和测试方法则可以大大提升我们的研发效率及质量;
数据精度与批量数据更新的解决方案,解决数据精度丢失、每日汇总与总资产/收益差一分钱,批量数据处理更新不同步等一些列金融行业老大难问题;
三、落地方案
1. 解决了对客数据孤岛问题,把App纳入整个数据治理体系,涵盖了从前端业务系统、后端业务数据库再到业务终端的数据分析,从源头到终端再回到源头,每一个链路出现问题实时告警,形成的一个闭环负反馈系统;
2. 通过代码扫描、方法链路监控,从代码底层避免类似问题的熵增,提高整套方案的可维护性与价值;
3. 创新的监控方法,以前端差值上报,数据动态上报,flink多流数据比对,数据校验体系,增量数据更新监控等一系列工具组合支撑的端到端对账控制手段
4. 定时触发的灰度数据监控,主动触发灰度用户资产数据对账,每天批量灰度主动对账,事前发现问题;
1. 全流程数据治理方面,参考本文的解决方案搭建前端监控系统,实现从终端到底层的治理解决方案;
2. 可以参考本文解决金融业常见的数据准确性一系列问题;