本文探讨了网络爬虫在信息整理、搜索引擎、舆情监测及大数据领域的应用。爬虫最初用于整理网络信息，随后在搜索引擎中扮演关键角色，构建倒排索引。近年来，伴随大数据热潮，爬虫成为数据收集的重要手段，特别是在互联网金融行业，用于采集用户信息，构建用户行为模型。
网络爬虫本质就是模拟人模拟浏览器访问网站，保存网站内容。
网络爬虫最开始是为了整理网络信息，抓取初步处理成资料文档，类似heritrix爬虫。
另一个广泛的应用就是搜索引擎，搜索引擎需要全网采集内容构建倒排索引。
后来国内出现了一片做网络舆情的公司，网络爬虫需要采集的东西主要是新闻资讯，和搜索引擎的爬虫相似，
近期伴随着大数据的热潮，爬虫也被归于大数据范畴，
原因我猜是大家hadoop框架搭好之后，发现，没数据。
写爬虫吧，这其中有代表性的是互联网金融，需要采集用户信息，构建用户行为。
转载于:https://my.oschina.net/PagodaTree/blog/501104
扫一扫
8023
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
