chen_ke_hao的博客

本文主要记录python爬虫的基础知识点，主要知识：理论基础、爬虫技能简述、实现原理和技术、uillib库和urlerror、正则、headers属性和代理服务器设置及Cookie。1）理论基础部分网络爬虫又称网络蜘蛛、网络蚂蚁、网络机器人等，可以按照我们设置的规则自动化爬取网络上的信息，这些规则被称为爬虫算法。2）爬虫的组成有控制节点、爬虫节点和资源库个人简单理解就是控制节点相当

正则表达式python爬虫离不开正则表达式，如果说爬虫是在数据海洋收集数据的大船，那么正则就是给这艘船指明了到哪里采集数据和采集什么养的数据，筛选和过滤掉我们不想要的数据以节省爬虫的资源提高爬取效率字符匹配有普通字符和元字符首先要导入re模块‘普通字符匹配：：re.findall('kehao','cheniahfhkehaojkshs') #使用findall方法

一些网站会设置一些反爬策略来限制爬取数据，所以就需要让爬虫伪装成浏览器取爬取数据常见的反爬机制主要有，分析用户请求的Headrest信息反爬、检测用户行为比如同一IP频繁访问网站、页面的动态加载反爬，第一种比较常见，本章也主要记述这一种反爬的应对方法，就是User-Agent字段进行检测，当然除了这个字段还会检测其他字段，我们就通过程序伪装一个headers信息第二种用代理服务器也可以

登陆网页注册时用Python进行post请求，代码首先查看页面源代码，注意form表单部分，哪里是需要递交的表单信息运行代码import urllib.requestimport urllib.parseurl='http://www.iqianyue.com/mypost'postdata=urllib.parse.urlencode({'name':'chenkehk

定向爬取就是根据设置的主题进行内容的筛选，这里用一个例程简单记录假如要对腾讯视频的某部电视剧的评论内容进行爬取，首先腾讯视频的评论是在当前页面进行加载，不会显示下一页，所以就需要用Fiddler进行抓包，找到请求新评论的网址。首先点击加载更多同时查看Fiddler里会有一个请求评论的网址多点击几次，拿到两个这样的网址，然后分析这两个网址的相同与不同之处

今天安装scrapy框架，在cmd里用pip install 安装，老是报错，报缺少支持的第三方包还有C++ 14.什么的错，后来直接用pycharm安装，就成功了，安装的方法如下在右上角有一个绿色的加号点击它会弹出这个界面，把需要安装的包的名字输进去会自动检索，然后选定，再点击install Package，就会安装安装

关于python代理IP的设置，我这里用requests这个模块来实现，IP = {'https': '86.98.2.163:8080'}r = requests.get(url, proxies=IP, headers=headres,timeout=40)上面这段代码使用了代理IP，这个不用多说，但是需要注意的是requests模块有一个特性（猜的），就是在请求https的网页