实时增量采集数据的通用方法

        如果你需要监控采集招标采购信息；或者需要监控采集财经新闻；或者需要监控采集招聘招生内容；或者需要监控采集舆情内容。请继续往下看，目标是为了及时发现网站更新内容，并在极短时间内完成数据自动采集。
        由于每个网站内容格式都不一样，需要有针对性的定制数据采集方案。
1、实时监控更新和采集内容原理：首先在一台监控主机上运行网站资讯监控软件，添加需要监控的网址，以监控网站首页或栏目列表页为主。当发现更新后，立即将更新的新闻标题和链接发送到采集主机。当采集主机收到新闻链接后，自动使用木头浏览器打开网页，采集新闻标题和正文内容，然后保存到数据库或导出Excel表格文件，也可以再填表提交到其它系统。其中监控主机和采集主机可以分别部署在不同电脑上，也可以部署在同一台电脑上，它们通过网络接口实现数据传递。

2、首先部署在监控主机的网站资讯监控软件，添加需要监控的网址，可以选择监控网站首页或栏目页面。只要是超链接列表格式的网页都可以直接监控，其它特殊格式页面则需增加对应的监控方案。每个监控网站可以设置不同的监控频率，对于实时性要求高的网站设置高频率监控。多个网址独立线程按自有频率同时监控。还可以按关键词过滤无效内容，具体参数设置请参见软件说明书及案例教程。

3、在监控报警选项卡中，勾选“发送链接到外部网络接口”，并设置接收端的ip地址和端口号，