EmpGro的博客

当同一ip短时间内多次链接同一网站，很可能导致ip被封，所以需要利用代理ip防止封禁。代理ip可以通过百度很容易的获取，于是这里使用Requests自动爬取代理网站上的ip，并验证是否可用，最后在利用代理建立一个简单的爬虫。 -本文全部代码见于我的Git 主要思路 1.从代理网站爬取IP地址及端口号并存储 2.验证ip能否使用 3.格式化ip地址 4.在requests中使用代理ip爬网站

在上一篇文章“使用selenium爬取知乎timeline“时，碰到一个问题： 知乎的timeline中得news有三类： 这三类都是分别包含在<div class='Card TopstoryItem TopstoryItem--experimentExpand TopstoryItem--experimentButton'>...</div>这样一个card里面，但是div内部具体实

在前之前文章中尝试用简单的Requests爬取知乎timeline时发现动态加载内容无法成功爬取，尝试分析数据包来爬取也没有成功，于是最后在这里使用selenium来尝试，终于成功。 全部代码见于我的[Git](https://github.com/EmpGro/Selsnium4Zhihu)

之前在爬取知乎timeline内容时，因为动态加载只爬取到了少量内容，于是研究了下对动态加载页面的爬取。 这篇文章主要是对非加密的ajax异步加载内容的爬取，顺便加入了一些json的知识。 然鹅很不幸知乎是加密的，所以这个办法并不能解决问题。 计划试试selenium+PhantomJS来解决知乎的问题，这个就看下一篇文章了。 全部代码见于我的GitHub页面

上次用Requests爬取了静态网页-正则表达式加Requests爬取猫眼电影排行 这次想尝试使用requests.Session进行cookie登录爬取网页内容 -全部代码见于我的Git准备素材 新建工程及文件 获取cookies和headers 编写爬虫 载入并格式化cookis 载入并格式化headers 获取网页并保存 保存网页的目的 一个注意 正则表达式匹配 一小技巧 获取结

正则表达式加Requests爬取猫眼电影排行 学习慕课网视频的课后总结 http://study.163.com/course/courseMain.htm?courseId=1003735019 正则表达式加Requests爬取猫眼电影排行 Requests获取网页数据 正则表达式匹配数据 正则表达式学习参看这里 数据格式化 多页面爬取 保存为文件Requests获取网页数据运用Requests获

今天用Python爬取豆瓣的时候,发现报错“UnicodeDecodeError: 'utf-8' codec can't decode byte 0x83in position 1:invalid start byte”,一直在找文件的错误,最后经过网友的提示,错误原因竟然是我的 headers 中有一条: “'Accept-Encoding': 'gzip, deflate'” 这一条是...