PYTHON网络爬虫从入门到实践第9章解决中文乱码

wowocpp

于 2019-08-28 10:47:08 发布

阅读量134

点赞数

CC 4.0 BY-SA版权

分类专栏： python

本文链接：https://blog.youkuaiyun.com/wowocpp/article/details/100113284

python 专栏收录该内容

313 篇文章

订阅专栏

111

import requests
r = requests.get('http://www.santostang.com')
print (r.request.headers)

222

import requests

link = 'http://www.santostang.com'
headers = {'User-Agent' : 'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'} 
r = requests.get(link, headers= headers)
print (r.request.headers)

在这里插入图片描述
A — 65

在这里插入图片描述

import requests
from bs4 import BeautifulSoup
headers = {'User-Agent' : 'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'}

url = 'http://w3school.com.cn/'

r = requests.get(url, headers = headers)
r.encoding ='gbk'
soup = BeautifulSoup(r.text, "lxml")
xx = soup.find('div',id='d1').h2.text
print (xx)

在这里插入图片描述