spider_使用user-agent

最新推荐文章于 2025-07-22 13:26:56 发布

转载最新推荐文章于 2025-07-22 13:26:56 发布 · 261 阅读

1 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/YangQingHong/p/10971584.html

文章标签：

#python

本文介绍了一种常见的反反爬技术——User-Agent的使用方法。通过设置User-Agent为常见浏览器类型，可以绕过一些网站的反爬虫机制，实现网页的正常抓取。文章提供了具体的Python代码示例，展示了如何在requests库中设置User-Agent。

"""
1.使用第一种反反爬措施User-Agent（伪装浏览器）

"""
import chardet
import requests
from urllib import request
# 使用etree   python3.5以上 ，不支持etree，
from lxml import html



# 1.得到所有的章节url的html网页
# def urlsHtml():
#     # 使用user-agent代理，伪装浏览器
#     url = "https://www.biqudao.com/bqge25289/"
#     henders = {
#         "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36"
#                }
#     # 得到解析文本  不调用text的话，返回的是一个bytes(字节数组)
#     res = requests.get(url,headers=henders).text
#     print(type(res))
#
#     return res
#
# # 调用函数
# date = urlsHtml()
# print(date)


class BaiDu(object):
def baidu(self):
        url = "http://www.baidu.com/"
        headers = {
"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:66.0) Gecko/20100101 Firefox/66.0"
        }
# 声明请求对象的时候 注入请求头 修改User-Agent(身份)
        req = request.Request(url,headers=headers)
# 网页请求
        html = request.urlopen(req).read()
print(html.decode())

if __name__ == '__main__':
    bd = BaiDu()
    bd.baidu()