漆黑梦工厂

七、处理xpath获得具体信息。八、写入表格的具体操作。

import requestsfrom bs4 import BeautifulSoupimport datetimefrom multiprocessing import Pool# 用request和BeautifulSoup处理网页def requestOver(url): response = requests.get(url) response.encoding = 'utf-8' if("gb2312" in response.text): r

一、预备知识处理网页的链接（只列出一种）# 用request和BeautifulSoup处理网页def requestOver(url): req = request.Request(url) response = request.urlopen(req) soup = BeautifulSoup(response, 'lxml') return soup从网页下载到本地txt的模块# 从网页下载标题和内容到txt文档def download(title

一、从网页上下载指定文件urlretrieve()方法直接将远程数据下载到本地。urlretrieve(url, filename=None, reporthook=None, data=None)url - 指定了从哪下载finename - 指定了保存本地路径（如果参数未指定，urllib会生成一个临时文件保存数据。）reporthook - 是一个回调函数，当连接上服务器、以及相应的数据块传输完毕时会触发该回调，我们可以利用这个回调函数来显示当前的下载进度。data - 指post到服务

一、辅助工具BeautifulSoup 库 ：一款优秀的HTML/XML解析库，采用来做爬虫，不用考虑编码，还有中日韩文的文档，其社区活跃度之高，可见一斑。[注] 这个在解析的时候需要一个解析器，在文档中可以看到，推荐lxml　　　 　　　　 　　　 　Requests 库：一款比较好用的HTTP库，当然python自带有urllib以及urllib2等库。　　　 　　　 　　　Fiddler工具：这是一个HTTP抓包软件，能够截获所有的HTTP通讯。二、知识点1、流程发起请求通过HTTP