python爬虫初学网页处理方式

#爬取方式：直接处理
#直接处理的方式适合简单的网页

#爬取网页
import requests

# headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.61 Safari/537.36'}
# response = requests.get("http://www.baidu.com",headers=headers)
#
# response.encoding = "utf-8"
# print(response.status_code)  #status_code表示获取到状态码200表示成功
#
#
# print(response.text)    #text获取到文本文件

---

#爬取图片
import requests
response = requests.get('https://www.baidu.com/img/bd_logo1.png')

print(response.content)     #context是获取到响应体二进制文件

with open('./1.png',"wb") as f:   #将二进制文件写入为图片
    f.write(response.content)
    f.close()

#json解析

#解决javaScript渲染的问题

解决方式：分析Ajax请求

安装请求库

pip install selenium -i https://pypi.douban.com/simple

from selenium import webdriver

driver = webdriver.chrome()
driver.get('http://www.zhihu.com')