鸿蒙舆情监测系统源码分析——功能架构

在前面几篇文章中，我们介绍了舆情监测系统的基本概念以及基本使用方法，接下来我们以鸿蒙舆情系统为例，从源码角度分析舆情监测系统的功能架构。

舆情监测系统的输入、处理和输出

输入

与一般的企业软件不同，舆情监测系统的数据全部来自互联网，经过对各式各样的数据进行清洗、加工、分析、存储，从而为客户提供有使用价值的数据。

因此，舆情监测系统的输入是互联网数据，包括网站、论坛、博客、微博、贴吧、平媒、视频号、头条等。要想将各种类型的网络平台数据统一接入到系统中来，需要一个强大的数据采集系统（又称爬虫系统）。在遵循互联网数据采集规范的前提下，针对不同的平台类型使用不同的采集方法。

鸿蒙舆情监测系统的采集方法主要有以下几类：

1、通用采集方式：这种方式使用最为简单，只需要指定一个入口URL地址即可发起采集，爬虫系统从入口地址开始逐层搜索，将采集到的数据丢给消息池，直到采集结束。

2、配置采集方式：这种方式在第一种方式的基础上，增加了一些配置工作，目的是将采集的范围更加明确，提高采集的工作效率。

3、脚本采集方式：一些特定的站点无法使用前两种方式完成采集，这时可以编写脚本，从而完成在采集或者解析过程中特定的工作。