知否？知否？顶尖券商这样应对数据挑战

中信建投证券数据中心负责人李海伟：数据是企业保证核心竞争力的关键资产，企业也都投入大量的人力、财力和时间，来开采数据中“金矿”，然而，这一数据之中的“采矿”路途却存在着重重阻碍。而Informatica推出的DIH数据转换平台，基于 Power Center强大的ETL引擎之上，集成了数据承载能力和ETL的高效运算能力，我们利用它大大提升了数据交换和管理的效率，打造了一体化的数据交换系统，为未来的企业级数据治理奠定了良好基础。

 

中信建投证券是一家全国性大型综合证券公司，一直处于行业领头羊的位置。随着业务和数据规模的增加，原有数据架构无法满足需求。借助Informatica DIH数据交换平台，打造了一体化的数据交换系统，为未来的企业级数据治理奠定了良好基础。

 

业务需求

• 随着企业业务的增加和数据规模大幅上涨，原有的数据架构大大超出负荷，无法满足中信建投证券的业务持续扩展需求。
• 中信建投证券致力于为客户提供精细化、综合化的金融服务，急需建设一套集数据交换任务管理、ETL控制与调度及交换任务跟踪监控为一体的数据交换系统。通过该系统对企业网的数据交换进行全过程、高可控、高效率的跟踪和管理。

数据挑战

• 业务系统相互独立，需要从不同系统中提取客户的交易行为，数据交换频繁，不仅系统负担重，数据交换安全管控也有风险。
• 自建的数据处理系统，随着数据量增大，系统的承压能力、处理能力明显不足。
• 引进了基于MPP架构的数据仓库，需要把数据仓库的数据高效地推送出去，服务于其他系统。

产品方案

• Informatica DIH数据交换平台

客户收益

• 全面的数据交换支撑：一期建设协助迁移1400余个数据ETL任务，新增了300个ETL任务；二期建设新增上线统计分析配置、DIH手工发布与事件监控、系统服务监控、任务空表校验告警等功能，完成177个ETL任务的开发。
• 管理效率提升：原来5~6个人维护2000多个数据ETL任务，现在两个人就可以实现。
• 处理性能增强：以前数据中心处理大概需要6个小时，现在3.5小时就可以完成整个数据的采集计算。
• 降低整体运营成本：从运维角度和项目管理角度来讲，Informatica DIH帮助节省了大量的时间和人力。

 

中信建投证券在证监会组织对行业的评比中，连续八年被评为行业最高等级A类2A级的证券公司。同样在IT建设中，中信建投证券也一直处于行业领先地位。但是，随着企业业务的增加和数据规模大幅上涨，导致原有的数据架构严重超出负荷，无法满足中信建投证券的业务需求。

 

数据交换频繁，原有系统处理能力不足

在证券市场大环境的推动下，中信建投证券上线了一系列新业务，相互独立的业务系统就意味着独立的业务数据。为了提高客户的服务水平、加速业务审批，中信建投证券需要从不同的系统中挖掘客户交易数据。不过，数据的频繁交换加重了业务系统的负担，也使得企业网内的数据交换安全管控面临威胁。

中信建投证券在数据采集、组合计算，以及结果推送至前端CRM之类的系统之中，所依赖的主要是自有的一套数据中心系统。不过，当数据量不断扩大时，这一系统的承压能力、处理能力却显现出严重的不足。

2016年中信建投证券启动企业数据商务系统建设，引进了基于MPP架构的数据仓库，虽然解决了并行计算性能低下的问题，但是却不能很好地应对外部并发访问请求，不能把数据仓库的数据高效地推送出去，服务于其他系统，严重影响效率。

中信建投证券一直以为客户提供精细化、综合化的金融服务为目标。面对这种情况，它急需建设一套集数据交换任务管理、ETL控制与调度及交换任务跟踪监控为一体的数据交换系统。通过该系统对企业网的数据交换进行全过程、高可控、高效率的跟踪和管理。同时，这一系统也要为企业级数据治理奠定基础。

为了解决这些问题，满足企业后续发展的需求，中信建投证券选择了Informatica DIH数据交换平台，来构建符合其业务的数据治理方案。

 

Informatica DIH：理清数据流转脉络，提高数据治理效率

Informatica DIH数据交换平台，基于PowerCenter强大的ETL引擎之上，集成了数据承载能力和ETL的高效运算能力，天然地继承了PowerCenter之前所有的这些强大功能，比如集群部署、高并发、分区式处理，以及全面的接口管理。这也是中信建投证券将Informatica DIH引进其数据治理架构中的原因。

一方面DIH就像数据总线，将所有系统之间的交互集中在一个平台之中，底层采用Power Center的高效数据运转流程，可以快速的从各个系统进行数据的访问控制，并且把数据高效的推送到消费系统之上。既有数据承载能力，又有数据运算能力，大大地满足了企业对数据系统之间解耦，降低系统依赖性的需求。

另一方面，在DIH中，将传统的ETL开发模式转变成以自助服务为核心的管理模式，采用基于数据主题的自助发布和订阅的方式，快速适应企业系统内部的数据交互需求。例如，中信建投证券有数据交换需求时，用户可以登录DIH平台，查找已有的数据主题进行订阅，从而将数据按照用户所需的方式，自动形成相应的数据流转的工作流。

再者，DIH具备数据质量检测，或者称为数据质量防火墙的功能。利用DIH平台作为数据交互唯一入口，进行数据质量验证；当数据进入到DIH后，就可以转换为标准的、可靠的数据，便于用户分享。一次清洗、多次使用的方式，大大的提升了数据质量的验证和清理效率，同时也为企业在未来维护数据质量统一模型，提供了平台支撑。

 

结果反馈：系统稳定运行，效率大幅提升

中信建投证券自2017年6月开始对Informatica DIH的第一期建设，历时6个月，协助迁移1400余个数据ETL任务，还包括基础功能和业务功能的开发，并且新增了300个ETL任务。2018年1月开始第二期建设，新增上线统计分析配置、DIH手工发布与事件监控、系统服务监控、任务空表校验告警等功能，完成177个ETL任务的开发。

 

中信建投证券数据中心负责人李海伟表示：“自从这个新的系统上线以来，一直都运行稳定。原来5至6个人维护2000多个数据任务，现在两个人就可以实现；以前数据中心处理大概需要6小时，现在3.5小时就可以完成整个数据的采集计算与下发。从运维角度和项目管理角度来讲，Informatica DIH帮助我们节省了大量的时间和人力，让我们可以更好地投入到其他业务的建设中。”