1、房产交易领域大数据的使用场景
2、房产交易大数据的发展特点
1)数据应用建设度和数据生产建设度不均衡
2)批量处理场景远多于实时处理场景
3、批处理生产质量建设
1)及时性
搭建标准化事前验证能力,借鉴测试流水线思想,利用HQL解析、静态检查等能力,搭建隔离测试环境,建立HQL测试和上线流程,保证HQL可执行
2)准确性
使用数据剖析技术和数据对比技术,抽取和固化数据验证规则,提升准确性问题召回率,降低测试成本
4、数据应用质量建设
利用diff测试、UI自动化、线上巡检、内测、智测等多种手段保证数据应用服务质量
在对数据敏感的产业互联网中,数据产出不及时和数据准确性问题时有发生,如何提升数据质量和数据服务质量,保证经营指标及时精准传达,智能服务底层数据高满意度交付,是我们要解决的核心问题。
我们将问题拆解为数据生产和报表查询两个方向,分别进行质量建设:
l数据生产端,涉及各环节责任方众多,需要在算力提升、服务稳定性、变更管控、隐患排查等能力上建设流程和能力,拉齐全角色进行系统性治理
l报表查询端,由于问题最终表现是数据异常,建设分层diff、UI和智能化巡检、内测等手段,提升召回率
l搭建标准化事前验证能力,借鉴测试流水线思想,利用HQL解析、静态检查等能力,搭建隔离测试环境,建立HQL测试和上线流程,保证HQL可执行
l使用数据剖析技术和数据对比技术,抽取和固化数据验证规则,提升准确性问题召回率,降低测试成本
l利用diff测试、UI自动化、线上巡检、内测、智测等多种手段保证数据应用服务质量