采集业务

一、平台的三大历史演变

1、第一代--数据网管

背景：产品萌芽期

职能：服务于移动，涉及采集的专业包括：资源，性能，告警。

 

2、第二代--集采平台2.0

背景：随着业务网元增多，采集功能需要进一步优化，后面功能被进一步拆分

告警采集：设备故障出现，主动或者被动产生告警

dcpp：主要有snmp采集，ftp采集，指令采集等

springXD采集：对实时性要求比较高的数据采集，多为文件，或者简单的数据库采集。

3、第三代--NFV采集

二、采集平台的定位----承上启下

1、启下

背景：采集平台向下需要对接很多的厂家，像华为、诺基亚、中兴、爱立信、大唐、亚信等等，接触的设备类型非常之多，每种数据源采集的数据格式也不尽相同，对应的采集协议也不一样。这个时候，我们需要收敛屏蔽各个厂家的差异，选择最优的采集方式，争取把数据原封不动的采集上来。

 

2、承上

背景：数据采集上来后，需要按照客户给的数据模型处理，然后对外输出。这就是对外统一输出的原则。

 

总结：我们每天跟数据打交道。对下要应付不同的数据源，选择合适的接口方式和采集方式，尽可能保证数据的完整性和无误性。对上要保证输入接口一致，我们给客户展示的是最清晰明了的处理后的数据。

 

三、采集方式

主动采集--设置定时任务，主动去源端拿去源数据。

以文件形式推送，共享模块推送，订阅，路径下拿去。

被动采集--告警的数据，就是被动接受。

接收到告警后，放入到kafka，由上层应用消费。

四、采集域的由来

背景：可以理解为，针对越来越多的业务需求，越来越复杂的现网情况。对于采集测，我们引入了采集域的概念。

我们是全网采集的平台，底层需要连接不同类型的专业