软件架构之论文篇（九）

论企业集成平台技术以及应用

摘要

       2015年2月，本人所在的某家商业银行启动了零售CRM项目建设，该项目主要实现客户管理、客户分析、营销管理、绩效管理、数据ETL处理、多渠道数据服务等功能，在此项目中，我担任架构师，负责项目总体架构设计工作。本文以该零售CRM项目建设为例，主要论述了企业集成架构设计技术在该系统中的具体应用。操作型CRM和分析型CRM两个子系统通过零售CRM门户实现界面集成；数据服务系统通过银行已有ESB与各请求系统实现应用集成；利用数据总线和数据仓库实现数据集成，建立仓内零售CRM数据集市，为客户分析、绩效管理、数据服务提供数据支持。通过以上集成架构技术将项目中多个子系统进行整合，形成有机整体，最终项目顺利上线，至今系统运行稳定，受到用户一致好评。

正文

       本人所在的某家商业银行分支机构遍布全国省会和重点城市，零售客户数量近6千万，客户经理数量约5千。客户经营维系情况参差不齐，客户经理经营维系客户的策略、方法、工具缺乏统一，抬高了经营成本，降低了客户体验。营销活动的有效性和目标性不强，往往营销成本较大但效果不明显，针对这些问题，同时为了适应竞争激烈的市场环境，该银行制定了零售CRM业务战略，并于2015年2月启动了零售CRM项目建设，主要实现客户管理、客户分析、营销管理、绩效管理、数据ETL处理、多渠道数据服务等功能，该项目旨在建立全行统一的零售客户经营管理体系和零售数据分析环境，充分发挥长期积累数据的业务价值，科学、有效的指导客户获取、营销、服务、挽留等全生命周期活动，提高客户经营和服务水平，增强客户体验，提升客户价值，从而提高零售业务的利润回报。

       在此项目中，我担任架构师，负责项目总体架构设计。项目涉及范围广泛，我采用“分而治之”策略，根据应用类型、用户角色、数据处理特征的不同，将项目分为多个（子）系统，并研究企业集成的关键技术，根据项目实际情况，选择合适的集成技术并进行架构设计。

       企业集成是指使用应用服务器、中间件等平台和技术，连接企业内的各应用系统，实现异构系统之间的交互和协作，以及数据交换和共享。企业集成模式与技术主要有以下四种：1、界面集成，把各个应用系统的界面集中在一个界面之中，常用技术为企业门户。2、过程集成，使各个应用系统连接起来支持完整的业务流程，常用技术为工作流、企业门户。3、应用集成，为两个以上应用系统中的数据和程序提供接近实时的集成，常用技术为远程过程调用、消息中间件、服务总线（ESB）、Web服务等。4、数据集成，解决的是信息系统之间数据同步（包括主数据系统向副本系统同步，源系统向数据仓库同步）和时效性（包括实时、批量）问题，常用技术为适配器、消息中间件、数据总线、数据仓库。下面我将以通过企业门户、服务总线、数据总线、数据仓库等技术或平台，来实现界面、应用、数据集成来具体论述其实现过程。

       1、操作型CRM和分析型CRM两个子系统通过零售CRM门户实现界面集成。客户管理、营销管理、客户分析、绩效管理四部分功能，属于面向银行内部用户的管理分析类需求，适宜采用BS架构搭建零售CRM系统。为了降低耦合，将零售CRM系统划分为操作型CRM（实现客户管理和营销管理功能）和分析型CRM（实现客户分析、绩效管理功能）两个子系统。但对于用户使用便捷性却不能降低，需要将两个子系统的界面集中在一起，这要使用界面集成技术，于是开发零售CRM门户进行界面集成。零售CRM门户作为零售用户的统一工作台，为两个子系统提供统一登录界面和访问入口、统一用户认证和授权、统一界面风格、统一功能菜单和待办事项，使用代理技术实现门户系统向两个子系统页面的路由和跳转，提高了用户体验，使得子系统划分对于用户透明。门户系统采用J2EE开源框架（Spring、MyBatis）进行开发，技术架构分为页面展现、接入控制、业务逻辑、数据访问四层。

       2、数据服务系统通过银行已有ESB与各请求系统实现应用集成。多渠道数据服务功能，既面向客户经理通过零售CRM系统Web界面查询客户交易数据，也面向客户通过网上银行和手机银行系统查询交易数据。经分析，查询功能可以定义为标准的服务，支持复用且面向多个请求系统提供接口访问，各系统技术异构，适宜采用SOA架构风格搭建数据服务系统，并使用应用集成技术，利用银行已有服务总线（ESB）向多个系统提供查询服务。ESB包括服务管理、协议转换、格式转换、服务路由、消息处理等功能。将数据服务系统的查询服务在ESB中注册并发布，各请求系统向ESB发起服务请求，ESB接入请求，通过适配器技术进行通讯协议和报文格式的转换，经服务路由，向数据服务系统提交查询请求。

       3、利用数据总线和数据仓库实现数据集成。数据ETL处理，指将银行前台存款、贷款、信用卡、理财等上百个、技术异构、数据标准不统一的交易系统的数据进行采集、转换、清洗、存储、整合、加工，为客户分析、绩效管理、数据服务提供数据支持，这正是数据总线和数据仓库要解决的问题，属于数据集成范畴。数据总线设计过程为：通过数据采集器（IBM II产品），每日日终自动从源系统采集数据并将编码转换为文本格式，通过数据处理器（IBM DataStage产品），进行数据质量检查（要定义检查规则）、增量数据生成、数据标准转换等（要定义数据标准）处理，通过数据传输器，将数据文件传输给目标系统（包括数据仓库）。数据仓库设计过程为：接收数据总线传输来的数据，加载至数据仓库系统（要选择具有海量数据处理能力且能水平扩展的产品），对数据按照主题模型（比如客户、产品、账户、交易、渠道等）进行归类、整合，并存放长期历史数据，之上建立零售CRM数据集市，根据本次需求的数据加工规则，对数据进行关联、聚合等加工处理，生成数据文件，传输并加载至分析型CRM子系统、数据服务系统，为客户分析、绩效管理、交易查询提供数据支持。

       项目经过一年时间的开发测试，于2016年2月上线运行，至今系统运行稳定，使用效果良好，有力地支持了零售数据分析和客户经营管理。项目总结会上，领导对于系统划分方法及采用的界面、应用、数据集成方式表示高度认同。

       近来，业务提出呼叫中心客服坐席要查询客户历史交易明细，由于采用了ESB应用集成技术，所以可以方便接入呼叫中心系统。面对客户分析和绩效管理的数据维度和指标经常发生变化且要重算，由于数据仓库积累了长期历史数据，所以方便应对数据变更需求。但面对客户提出通过网上银行和手机银行系统查询当日发生的交易明细需求，由于目前数据总线只支持数据T+1时效，所以要在数据总线中增加实现数据准实时采集机制，将交易数据准实时同步至数据服务系统，以提高数据服务时效性。

不积跬步，无以至千里；不积小流，无以成江海。骐骥一跃，不能十步；驽马十驾，功在不舍。锲而舍之，朽木不折；锲而不舍，金石可镂。