bolingbl的专栏

我们经常需要从互联网上获取数据，在很多情况下，你需要的是特定信息，或者说是符合某些条件的信息，比如：这条需求隐含着两个有普遍意义的步骤：从互联网上聚合符合特定条件的信息；当满足阈值条件时，以某种方式通知用户。事实上有太多做互联网数据聚合的网站了，比如酷讯机票，聚合了各大航空公司的机票信息：再比如一些博客聚合网站等等。现在想想这样的场景：每到一个新地方，自动给...

最近在写一个程序，去爬热门事件和热门关键词网站上的数据。在这里介绍一下网络爬虫的种种。基本组件网络爬虫也叫做网络蜘蛛，是一种互联网机器人，把需要的网页撷取下来，组织成适当格式存储。它是搜索引擎的重要组成部分，虽然从技术实现上来说，它的难度往往要小于对于得到的网页信息的处理。上面这张图来自维基百科，scheduler调度多个多线程的下载器下载网页，并把信息和元数据存储起来。而通过解...