qq_39249347的博客

import requestsurl = "视频图片地址"r = requests.get(url, stream=True)if r.status_code == 200: open('视频图片存放位置', 'wb').write(r.content)

拉勾网import timefrom selenium import webdriverfrom lxml import etreeimport refrom pymongo import MongoClientclass LaGou: def __init__(self): self.url = "https://www.lagou.com/jobs...

获取ajax数据的方式直接分析ajax调用的接口，然后通过代码请求这个接口使用Selenlum+chromedriver模拟浏览器行为获取数据Selenium[səˈliːniəm]相当于是一个机器人，可以模拟人类上的一些行为，自动处理浏览器上的一些行为，比如点击，填充数据，删除cookie等。chromedriver是一个驱动chrome浏览器的驱动程序，使用他可以驱动浏览器。...

url：中国古诗词网import requestsimport refrom pymongo import MongoClientclass Poetry: def __init__(self): self.headers = { "user-agent": "Mozilla/5.0 (Macintosh; Intel Mac OS ...

from bs4 import BeautifulSoupimport requestsfrom pyecharts.charts import Barfrom pyecharts import options as optsfrom pymongo import MongoClientclass Weather: def __init__(self): ...

基本使用from bs4 import BeautifulSouphtml = """<div>test</div>"""# 第二个参数指定解释器：# 默认html.parser，容错性差# lxml速度快，需要安装c语言库，容错能力强，常使用bs = BeautifulSoup(html, 'lxml')print(bs.prettify())提...

requests库获得html页面import requestsr = requests.get(url)r.content.decode()发送带header的请求headers = {"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_2) AppleWebKit/537.36 (KHTML, like Geck...

爬取电影天堂电影列表和详情页import requestsfrom lxml import etreebase_list_url = 'https://www.dytt8.net'headers = { "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_3) AppleWebKit/537.36 (KHT...