weixin_43838889的博客

''' v2ex的爬虫，只爬首页面，获取贴子的标题和url，再访问帖子url获取主贴内容 长时间频繁执行会被网站封掉 BeautifulSoup4的中文文档 https://www.crummy.com/software/BeautifulSoup/bs4/doc.zh/ ''' import requests from bs4 import BeautifulSoup def get_htm...

>>> from bs4 import BeautifulSoup #用浏览器访问https://movie.douban.com/top250，保存成250.html文件 #将一段文档传入BeautifulSoup 的构造方法,就能得到一个文档的对象, 可以传入一段字符串或一个文件句柄. >>> soup = BeautifulSoup(open("250....

import requests from bs4 import BeautifulSoup import json import re import codecs import time #定义 http的头 headers = { 'Cookie':'xxxxxxxx', 'Host':'movie.douban.com', 'User-Agent':'Mozilla...