|
背景
内蒙古自治区农村信用社联合社（简称“内蒙农信”）经过多年的信息化建设，目前投产使用的信息化系统近100套，产生了大量的数据。该社于2019年采用MPP架构的分布式数据库，实现了40多套业务系统数据的归集、标准化处理。近年来大数据技术与金融业务深度融合，释放出金融创新活力和应用潜能。2021年该社启动了大数据平台项目，与星环科技合作，经过一年多的努力，在金融云上部署了20个节点的大数据处理集群。
在星环科技大数据基础平台TDH的赋能下，内蒙农信提升了多元异构数据整合能力，弥补了实时数据处理、外部数据处理能力的不足，加大了数据辅助决策的力度，同时，通过客户画像，增强了客户识别、营销、分析的能力，为业务发展提供了数据支撑。本次项目建设也在业内创新地开发了线上一体化数据全流程处理产品，让数据处理不再是一个黑匣子，提高了数据使用的效率，为该社未来数字化转型、金融数据变现奠定了坚实的技术底座。
案例概述
内蒙农信在大数据平台的建设过程中，融入了互联网的先进技术，同时也借鉴了同业的最佳实践。基于大数据处理技术，内蒙农信联合星环科技构建了基于金融云部署的大数据平台，依托大数据平台，建设了统一数据门户，实现了信用社内外结构化、半结构化和非结构化数据的实时采集、实时计算、归档和标准化处理，满足了下游系统数据需要以及实时查询和计算的需求。
建立内蒙农信统一数据门户，包含外部数据管理、数据服务、客户标签管理、数据订阅与查询、实时计算、数据模型管理、指标管理及统一登录与统一权限管理功能共七个子系统，实现数据的发布、订阅和查找、数据模型、指标库和数据标签的管理、展示与维护，明细数据的查询与导出，便于数据管理和维护。
解决难点
多元异构数据的整合处理，业务办理人员获取数据的及时性、有效性等一直是业内关注的焦点。内蒙农信通过建设大数据平台，解决了行内外结构化、半结构化和非结构化数据的整合，同时实现了数据的实时采集和计算，为实际业务提供了强有力的数据支撑，提高业务的及时性和有效性。通过大数据平台建设，夯实了内蒙农信数据核心平台的技术底座，可以支持未来风险防控、精准营销、实时数据大屏等应用场景，同时将核心业务系统、农信银等业务系统的数据查询压力迁移至大数据平台，为业务系统减负。
通过大数据平台建设，内蒙农信完善了数据体系架构，加速数据资源的开发利用。项目构建了统一的数据门户，实现了数据的一体化线上管理，包括数据发布、订阅和查找，数据模型、指标库和数据标签的管理、展示与维护、历史明细数据的查询与导出等。
如何依托大数据平台，持续向外提供数据服务？数据服务功能实现对数据服务的统一定义与管理，实现数据服务的统一输出，并实现应用系统使用数据服务接口的权限的统一管理。项目完成的数据服务API接口可以实现三个方面的数据服务：内蒙农信目前运行的历史数据查询平台的数据服务接口功能；对已接入外部数据的实时查询服务；客户标签实时查询服务。
创新亮点
* 数据全流程线上化
从数据采集、数据建模、数据开发到数据服务全部实现线上化。通过批量采集、日志采集、实时采集等方式将数据采集到TDH大数据基础平台，根据数据模型管理功能模块制定的标准模型进行数据建模，线上开发实现数据的加工处理，接口数据服务和文件数据服务为法人机构和下游系统提供数据支撑，数据订阅和查询提升了数据的使用效率。
* 实时服务的数字化响应能力
传统的批量数据处理流程已无法满足业务发展需要，大数据平台引进互联网实时数据处理的先进技术，构建了一套从数据采集、计算到提供服务的完整实时数据处理链路。通过实时计算平台，监控客户实时大额动账交易，能够让网点客户经理及时察觉客户大额资金动向，有效挽留潜在客户流失，同时，也可以提醒客户避免遭受网络、电信诈骗等带来的资金损失。
* 多样化的数据服务能力支撑
大数据平台提供多种数据服务支撑业务系统及法人机构的数据需求，包括以数据订阅的方式支撑批量文件下发，以API的方式支撑实时数据的查询，API支持数据API、文件API、注册API以及聚合API等多种方式，满足不同业务场景的使用需求。
* 基于微服务的数据产品
大数据平台数据全流程实现线上化，采用多个数据产品，包括数据服务管理、数据模型管理、客户标签管理、数据订阅与查询、指标管理、外部数据管理、实时计算平台等，所有的数据产品都是基于微服务进行设计和研发，实现容器化部署，完全基于国产化服务器和操作系统部署。
应用落地
通过大数据平台的建设，从数据的采集到给应用系统提供数据服务，整个数据处理链路实现了数据全流程可视化管理，整个数据生命周期对于科技人员都是可见、可管理、可操作的。同时，通过血缘分析功能，每一项数据的加工过程都可以追溯。
按照业务发展需要，大数据平台结合MPP架构数据库和基于Hadoop框架的分布式大数据处理组件，整合了批量数据、实时数据、结构化和半/非结构化数据，通过外部数据管理平台接入了业务所需的外部数据，完善了数据来源。建设统一数据门户，实现了业务数据的全量要素集中与实时反馈。夯实了数据基础底座，丰富了数据处理能力，提升了数据服务业务的效率。
基于大数据处理技术，构建了实时计算平台，实现了实时数据采集、实时计算与实时反馈；数据订阅与查询，充分从数据使用者角度考虑，实现数据的自助化订阅与查询；数据接口服务，满足不同数据接口使用场景，使数据的使用更加灵活高效；外部数据管理，统一的外部数据管理，为业务系统提供丰富的数据来源；数据模型管理，标准化的模型建设，为数据资产管理奠定了基础；指标管理，对每个指标做到精细化管理，包括指标的归属者和血缘分析；客户标签管理，通过客户标签管理，为精准营销提供有力的数据支撑。
|
