思通舆情 在线生产环境 使用了24个节点的 Elasticsearch集群存储，每天在互联网上采集的2亿多条数据，每个月下来抓取的数据量2TB左右。

在大数据时代，数据采集或网络爬虫似乎是每个程序员的必备技能，一般情况下，工程师会通过Python爬虫框架快速的编写出爬虫程序对网页数据抓取，不过在大规模数据采集的时候就不是一个简简单单的爬虫程序了。

​取之于开源,用之于开源，我们把整套系统开源出去，回馈给技术社区。同时，我们也会逐步的讲解，在这个开源舆情系统中我们是如何使用这些技术的，以及在使用中遇到的各种问题和工程师们的解决方案。

从邮政总局到地方邮局对管辖范围发生在互联网上的负面信息、突发性事件， 将第一时间通过邮件、客户端、短信、微信、PC弹窗等多达5种方式， 向相关负责人下发预警信息，提示其第一时间介入处理。

数据工厂，是一套多组件化数据清洗加工及数据存储管理平台，同时能够管理所有的数据库的备份方案。支持多数据源类型的数据同步实现和数据仓库其他的数据源互通。对接收数据进行解压，对外提供压缩后的数据。

北京大学https://www.lab.pku.edu.cn北京大学实验室与设备管理部北京大学https://zwb.pku.edu.cn北京大学总务部北京大学http://lab.bjmu.edu.cn招标采购_北京大学医学部设备与实验室管理处中国人民大学http://cgzx.ruc.edu.cn中国人民大学采购与招标管理中心中国人民大学http://www.ruc.edu.cn中国人民大学清华大学http://sbcgczxxfb.sysc.tsinghua....

爬虫，在很多人眼里很简单、廉价一点都不奇怪，网上有大量9.9块Python培训课，包含爬虫教学。在多数人眼里是灰色产业，这也不奇怪。中国在2019年出现了很多“大数据”公司，他们采用了爬虫技术窃取用户隐私。

为什么要做这个开源项目？开源网络爬虫做这个开源项目我们主要想解决两个核心问题：有用的数据在哪儿？ & 怎么采集有用的数据？