permike的专栏

搜索引擎蜘蛛爬虫原理 关于搜索引擎的大话还是少说些，下面开始正文搜索引擎蜘蛛爬虫原理：         1 聚焦爬虫工作原理及关键技术概述         网络爬虫是一个自动提取网页的程序，它为搜索引擎从Internet网上下载网页，是搜索引擎的重要组成。传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直到

没事做，又研究了一下爬虫搜索，两三天时间总算是把原理闹的差不多了，基本实现了爬虫搜索的原理，本次实现还是俩程序，分别是按广度优先和深度优先完成的，广度优先没啥问题，深度优先请慎用，有极大的概率会造成死循环情况，下面深度优先的测试网站就造成了死循环。。。。好吧，我承认是我人品不太好。。。下面有请代码君出场~~~~~~~~~~~~~~~ 1.广度优先 [java] view

转载请注明出处：http://blog.youkuaiyun.com/yiliumu/article/details/21335245 首先，我们先来看看，如果是人正常的行为，是如何获取网页内容的。 (1)打开浏览器，输入URL，打开源网页 (2)选取我们想要的内容，包括标题，作者，摘要，正文等信息 (3)存储到硬盘中 上面的三个过程，映射到技术层面上，其实就是：网络请求，抓取结构化数据，数据存

若只使用python3.X, 下面可以不看了, 记住有个urllib的库就行了 python2.X 有这些库名可用: urllib, urllib2, urllib3, httplib, httplib2, requests python3.X 有这些库名可用: urllib, urllib3, httplib2, requests 两者都有的urllib3和requests, 它们不是

今天写代码时碰到一个问题，花了几个小时的时间google， 首先需要安装openssl，更新到最新版本后，在浏览器里看是否可访问，如果是可以的，所以应该不是openssl有问题。 然后使用 curl尝试访问 curl -v https://ui2web1.apps.uillinois.edu/BANPROD1/bwskfcls.P_GetCrse 可以查看ssl

HTTP协议 HTTP协议主要应用是在服务器和客户端之间，客户端接受超文本。 服务器按照一定规则，发送到客户端（一般是浏览器）的传送通信协议。与之类似的还有文件传送协议(filetransferprotocol,FTP)，简单邮件传送协议(simplemailttransferprotocol,SMTP)等。 HTTP是在七层网络模型中的应用层的协议，由发送请求和接受响应构成，是