过去多年，中国信息产业被认为“缺芯少魂”，芯片、操作系统等核心技术依赖进口，基础软件市场更是被外资垄断。根据华西证券研究报告显示，中国三大基础软件领域中，操作系统、数据库、中间件市场外资占比分别为 92.9%、64.8% 和 51.1%。可以说，整个基础软件行业现状令人担忧。
为改变这种现状，夯实数字经济“底座”和确保国家信息网络安全，IT 基础设施国产化替代势在必行。国家层面从“十四五”开始，重点关注信创产业的国产化程度，实现自主研发和自主可控，构建打破以美国为首封锁的自主创新技术体系。
然而，国内大部分基础软件的研发还是基于开源的数据库技术，或部分开源的功能方案。这种做法，依旧是在别人的地基上盖房子，存在极大的不确定性和不稳定性。星环科技通过自主研发，逐步以自研技术取代了开源技术，星环科技大数据基础平台Transwarp Data Hub（以下简称 TDH ） 也因此成为目前市场上少数自主研发的国产大数据平台。
根据工信部电子第五研究所代码扫描测试报告，TDH 的 1200 万行代码里自研代码率超过 70%，另一款分布式数据库产品 ArgoDB 的代码自主率（行数）则超过 90%。TDH平台成功实现了大数据基础软件的国产替代，在政府、金融、能源、制造业等十多个行业内落地，支撑如金融风控与营销、智慧制造、城市大脑、智慧交通等多种核心行业应用。
本文将结合某农商行从传统 Oracle 数据库向大数据管理平台平滑迁移的实践案例，介绍迁移之后效率的提升和主要功能实现。
星环 TDH 替换 Oracle，数据服务能力及处理效率得到10 倍提升
某农商行为了更快速地享受数字化果实，选择与大数据领军企业星环科技合作，希望借助星环科技在大数据、人工智能领域的技术实力，搭建一套处理能力更强，更易于扩展，性能更高的统一数据平台。本次合作中，基于星环 TDH 建设的大数据平台 ODS，为某农商行构建了全行数据基础平台，实现了该农商行从传统 Oracle 数据库向大数据管理平台平滑迁移，数据服务能力及处理效率得到了将近 10 倍的提升。并通过大屏展示项目建设，实现了数据可视化。
星环凭借业内领先的大数据、人工智能技术，结合同业最佳实践及该农商银行现状，基于星环大数据基础平台 TDH 为该农商行搭建大数据平台 ODS，实现了批量处理平台、实时处理平台、历史数据查询平台、 ODS 调度监控功能四个主要功能。
一、批量处理平台
本次项目接入的业务系统涉及卡对账平台、贷记卡系统、渠道整合平台、手机银行、CRM 对公系统、CRM 对私系统等数十个业务系统，每个平台有数百张表数据，数据量非常庞大，而随着业务的增长，数据量还在爆发式增长，该农商行原有的传统 Oracle 数据库处理效率已经跟不上业务发展。针对该农商行的需求，星环科技基于关系型分析引擎 Transwarp Inceptor 搭建了批处理平台，该平台可以实现处理效率的 10 倍提升。
Transwarp Inceptor 是星环自主研发的一款用于批处理和数据仓库的关系型分析引擎。它支持SQL 2003标准、Oracle PL/SQL以及DB2 SQL PL，对 Oracle、DB2 以及 Teradata 也有很好的方言支持。Inceptor 的另一大优势是对 ACID 的支持，可以满足用户对数据处理中一致性和可靠性保障的需求。此外，Inceptor 拥有极为优异的大数据分析性能，比 Apache Hadoop 处理速度快 10 倍以上，比MPP处理速度快 5 倍以上，在 TPC-DS 和 TPC-H基准测试中也胜于其他 Hadoop 和 MPP 产品。目前，Inceptor 被广泛地应用于数据仓库和数据集市的构建，在中国，已经有超过500 家客户在 Inceptor 上创建了他们自己的商业应用。
二、实时处理平台
由于银行业务的特殊性，使得它对数据处理时效性的要求也越来越高。比如：实时交易反欺诈业务，需要对客户交易行为进行实时分析，进而根据风险级别对客户资金交易进行预警或者阻断，保障客户资金安全；实时营销业务，需要实时采集客户各渠道行为信息，然而结合推荐模型，采取事件式实时营销；而在线业务实时监测业务，尤其是在线信贷业务，自动化审批流程替代了传统的人工审批，对后台的实时监测、分析、预警提出了更高的要求。
基于星环实时流计算引擎 SlipStream 搭建的实时数据采集平台可以满足该农商行对实施处理平台的所有需求。目前实现三个内容：监控大屏查询功能，部分 ODS 表实时落地，配合 BI 项目进行部分表的加工。
相对于采用编程的方式开发流应用，采用星环 Slipstream 具有以下优势：
1. 微批模式和事件驱动模式的一体化，在同一套系统里，用户可以根据业务需求，灵活切换微批模式的流处理和事件驱动模式的流处理；
2. 极高的易用性，以往的流处理平台有较高的入门门槛，比如 Spark Stream，Storm，必须对框架以及流处理本身，甚至是底层技术比较熟悉的情况下，才能写出高效的流处理程序。而使用 Slipstream，用户只需要有编写普通 SQL 的经验，就可以写出高效、安全、稳定的流处理应用；
3. 性能提升，在一些条件下，采用Slipstream的方式甚至比编程方式获得更高的性能提升。这是因为 Slipstream 做了一些特殊优化，在编程模式下无法轻易实现。比如，多条针对用一个输入流的 SQL 只需读取一份数据：增加迭代框架，使得原本无法利用 Spark API 进行优化的迭代计算效率大大提升；
4. 迁移成本低，用户原有的业务逻辑很多是通过 SQL 实现的，如果通过编程的方式迁移到流上，迁移成本非常高，还不能保证迁移后的逻辑是否正确。而一旦采用 Slistream 的方式，用户只需要修改少量 SQL，迁移成本几乎接近零。
三、历史数据查询平台
经过数年的发展，该农商行已经基本形成了客户历史交易数据查询体系，但随着业务的增长，传统 Oracle 数据库对用户需求响应的时效性、效率低等缺陷越来越明显。针对传统数据库查询效率较低、工作量较大的实际情况，基于星环 ArgoDB 搭建的历史数据查询平台可以解决上述问题。 Transwarp ArgoDB 分布式闪存数据库借助闪存在吞吐量方面的巨大的优势，闪存+ArgoDB的组合可以取代多种架构和多款产品共存的局面，在一套产品里就可以同时应对用户的多个需求。
目前该平台可以为该农商行提供如下功能:
1. 银行历史数据采集、存储、处理功能；
2. 接口开发功能，可开发新增服务接口；
3. 对提供历史数据管理和归档功能，历史数据区进行详细规划，给出不同热度数据的管理方案，实现数据的全生命周期管理。
目前该平台可以满足支持该农商行行内现有包括柜面、查控平台、信用卡等系统的历史数据查询需求，公检法查询需求、审计查询需求以及其他历史交易数据查询。
四、ODS 调度监控功能
针对该农商行的需求，星环采用 Moia 调度工具，主要为 J2EE 相关技术以及 Oracle 数据库相关技术实现ODS 调度监控功能，为各层的数据加工层与层间的数据转移进行服务，提供调度和监控等内容。
基于星环大数据 Slipstream +事件存储库，和 IBM 的 CDC ，农商行打造了实时的数据入库和分析的大屏展示系统。以此来解决农商银行数据实时接收，分析和展示的问题。
传统关系型数据库流式数据处理能力缺失，而星环 Slipstream利用大数据实时流处理技术，实时统计分析用户的活动行为信息，改进业务质量和产品的服务水平，提高用户体验，并对生产业务系统的实时监控分析，实时发现大量的运维风险，实现主动智能运维，保障信息系统的稳定运作。
Transwarp Slipstream 是在事件驱动计算引擎上支持批处理等复杂编程模型的实时流计算引擎，计算延迟最低可至5ms。它支持 SQL 2003、存储过程、CEP、规则引擎、流式积分、流式机器学习等复杂编程模型，还支持高可用性（CEP）和 Exactly-Once的语义，从而支持7×24小时的生产业务。
该系统实现了客户关于核心数据实时同步，及实时增删改查的需求，并将落入大数据集群的表，进行实时的计算处理，将结果插入至结果表，然后将结果表的数据展示至大屏，实现客户关于数据实时入库，转化，展现的需求。
目前，在星环科技的助力下，通过引进业内领先的大数据平台软件 TDH 结合同业最佳实践及该农商银行现状，该农商上已经成功构建符合未来业务发展需求的大数据平台，实现了结构化、半结构化、非结构化数据集中采集、存储、加工、分析和应用，形成行内外基础数据体系，给经营分析、风险防控、营销管理等业务提供全方位支撑。
搜索更多:
