
python爬虫
Noiccy
记录学习过程、学习心得;
欢迎交流,欢迎指导
展开
-
Python 爬虫:urllib.request
urllib.request.urlopen(url) :网络请求urllib.parse.quote(url, safe=string.printable):将字符串转化成python解释器可以看懂的ascii形式urllib.parse.urlencode(dict) :将字典转化成URL中的参数形式import urllib.requestdef load(): ...原创 2019-02-28 22:27:41 · 844 阅读 · 0 评论 -
Python爬虫:基础知识
http发送请求的方式1、get请求可带去参数给服务器,服务器返回完整的数据给我们弊端:参数是明文,长度有限制2、post请求数据体没有限制上传文件加密服务器返回完整的数据给我们3、put4、delete5、head请求头信息:Accept:文件格式Accept-Encoding:编码格式Connection:长链接keep-aliveCookie:验证...原创 2019-02-28 22:30:55 · 368 阅读 · 0 评论 -
[Mac] scrapy: command not found
Scrapy安装一、终端输入:pip3 install scrapy注意:mac中同时存在python2和python3,给python3安装scrapy需要使用pip3二、Pycharm-- Preferences--Project:Pycharm--Project Interpreter 中搜索scrapy安装但是在终端输入scrapy,提示:-bash: scrapy:...原创 2019-03-27 21:58:14 · 5532 阅读 · 2 评论