weixin_41719737的博客

爬虫的基本原理： 学过Python的伙伴都应该知道Python用来写爬虫是件很简单很爽的事情。但是有些小伙伴不了解爬虫到底是什么，会纳闷为什么爬虫要设置什么请求头、请求体等等，到底如何去发送这个请求啊。当然有的小伙伴使用过很多爬虫的请求库，解析库，写过很多爬虫，但是可能他们的思路脉络也不是太清晰。后面会陆续学到其中原理。 什么是爬虫？ 爬虫即网络爬虫，英文是Web Spider。翻译过来...

Requests库的操作。 （可以用命令行直接进行敲也行的，或者用各种编译器） 高级操作 1.文件上传（导包） import requests files = {'file' : open('logo.gif','rb')} resp = requests.post('http://httpbin.org/post', files=files) print(resp.text) 文...

爬取具体的数据： （记得下载安装好 pycharm方便编译） 爬取双瞳豆瓣影评： from lxml import etree; from urllib.request import urlopen url = 'https://movie.douban.com/subject/1305046/comments' #测试 request = urlopen(url); content = ...