化茧成蝶007

整理的python在进行爬虫时，进行浏览器伪装import urllib.requestimport http.cookiejarurl= "http://news.163.com/16/0825/09/BVA8A9U500014SEH.html"#以字典的形式设置headersheaders={ "Accept":" text/html,application/xhtml+xml,a

1、全局命令scrapy -h 查看全局命令1）fetch 命令主要用来显示爬虫的过程显示爬取百度的首页scrapy fetch http://www.baidu.com2）  --header --nolog 参数控制了展现爬虫爬取新闻的首页的头信息，和不显示日记信息   scrapy fetch --header --nolog http://news.sina

import requestsresponse = requests.get('http://www.jianshu.com')在response时，无法返回，报错Can’t connect to HTTPS URL because the SSL module is not available解决办法:sudo apt-get install libssl-devsudo a

通过自己实践，完成了一个简单的爬取项目，爬取项目猫眼top100排名的电影信息将创建的代码上传到了github上，供搭建参考，和指出错误，谢谢https://github.com/Guazhen/maoyan_top100/tree/master/maoyantop100

最近发现一个比较全面的python爬虫框架，慢慢学习咯http://blog.youkuaiyun.com/nzjdsds/article/details/77506254

最近遇到了一个问题，Redis Desktop Manager如何连接远程的服务器的redis,教程详细解释https://yq.aliyun.com/articles/485359