Kellbook的博客

反（反）爬虫机制说到反爬虫，不得不说下爬虫了。其实这就是一个概念，爬虫就是将手动完成的事情交给了代码去自动化的实现罢了。而反爬虫就是探查用户是真实用户还是代码的一种手段。而反反爬虫就是针对反爬虫机制的一种手段。都说“双重否定，表示肯定”，那么爬虫和反反爬虫应该是一样的了。其实不然，表面上行为是一致的，但是实际上反反爬虫做了更多的处理，而不是简单的小爬虫啦。大体上来讲，反爬虫会从如下几个...

爬虫过程中经常会用到一个叫urllib的包，但在Python2.X版本中与Python3.X版本中有所区别Python2.X版本：Urllib库 Urllin2库在pyhon3.x中，对原来的urllib做了很多的修改。将Request,error,urllib2等相关功能都归一到了urllib中。具体细节如下：Python3.X版本：Urllib库部分变动如...