Python爬虫之UserAgent和常见浏览器UA值总结、Proxy代理IP、隐藏地址

最新推荐文章于 2025-05-25 22:05:52 发布

原创最新推荐文章于 2025-05-25 22:05:52 发布 · 4.4k 阅读

1 ·

CC 4.0 BY-SA版权

Python知识同时被 3 个专栏收录

43 篇文章

订阅专栏

python、rpa自动化

18 篇文章

订阅专栏

一些知识总结

8 篇文章

订阅专栏

本文介绍了Python爬虫中UserAgent的概念及其在Windows 10下不同浏览器的值，提供了设置UA的两种方法。同时，讨论了使用代理IP隐藏真实地址的重要性，并列举了获取代理IP的网站，以及实施代理爬虫的基本步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

-UserAgent

-UserAgent：用户代理，简称UA，属于heads的一部分，服务器通过UA来判断访问者身份

-常见的UA值，使用的时候可以直接复制粘贴，也可以用浏览器访问的时候抓包

windows10 下各浏览器userAgent

浏览器    userAgent
Chrome    Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36
360极速 兼容模式    Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; .NET4.0C; .NET4.0E; rv:11.0) like Gecko
360极速 极速模式    Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36
火狐开发者    Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:64.0) Gecko/20100101 Firefox/64.0
火狐    Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:61.0) Gecko/20100101 Firefox/61.0
搜狗高速    Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 SE 2.X MetaSr 1.0
IE11    Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; .NET4.0C; .NET4.0E; rv:11.0) like Gecko
Edge    Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 Edge/16.16299
QQ极速    Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.26 Safari/537.36 Core/1.63.5680.400 QQBrowser/10.2.1852.400
QQ兼容    Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; .NET4.0C; .NET4.0E; Core/1.63.5680.400 QQBrowser/10.2.1852.400; rv:11.0) like Gecko

常用UserAgent

req = request.Request(url)
req.add_header("User-Agent", "Mozilla/5.0 (Windows NT 6.2;          WOW64) AppleWebKit/537.36 (KHTML, like Gecko)      Chrome/27.0.1453.94 Safari/537.36")
        1.Android
        Mozilla/5.0 (Linux; Android 4.1.1; Nexus 7 Build/JRO03D) AppleWebKit/535.19 (KHTML, like Gecko) Chrome/18.0.1025.166 Safari/535.19
        Mozilla/5.0 (Linux; U; Android 4.0.4; en-gb; GT-I9300 Build/IMM76D) AppleWebKit/534.30 (KHTML, like Gecko) Version/4.0 Mobile Safari/534.30
        Mozilla/5.0 (Linux; U; Android 2.2; en-gb; GT-P1000 Build/FROYO) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1
        2.Firefox
        Mozilla/5.0 (Windows NT 6.2; WOW64; rv:21.0) Gecko/20100101 Firefox/21.0
        Mozilla/5.0 (Android; Mobile; rv:14.0) Gecko/14.0 Firefox/14.0
        3.Google Chrome
        Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.94 Safari/537.36
        Mozilla/5.0 (Linux; Android 4.0.4; Galaxy Nexus Build/IMM76B) AppleWebKit/535.19 (KHTML, like Gecko) Chrome/18.0.1025.133 Mobile Safari/535.19
        4.iOS
        Mozilla/5.0 (iPad; CPU OS 5_0 like Mac OS X) AppleWebKit/534.46 (KHTML, like Gecko) Version/5.1 Mobile/9A334 Safari/7534.48.3
        Mozilla/5.0 (iPod; U; CPU like Mac OS X; en) AppleWebKit/420.1 (KHTML, like Gecko) Version/3.0 Mobile/3A101a Safari/419.3

-设置UA可以通过两种方式：

-heads

-add_header

'''
访问一个网址，更改自己的UserAgent进行伪装
'''
from urllib import request,error
if __name__ == '__main__':
    url = "http://www.baidu.com"
    try:
        #使用head方法伪装UA
        # headers = {}
        # headers['User-Agent'] = 'Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.94 Safari/537.36'
        # req = request.Request(url,headers=headers)

        #使用add_header方法
        req = request.Request(url)
        req.add_header("User-Agent","Mozilla/5.0 (Linux; Android 4.1.1; Nexus 7 Build/JRO03D) AppleWebKit/535.19 (KHTML, like Gecko) Chrome/18.0.1025.166 Safari/535.19")

        #正常访问
        rsp = request.urlopen(req)
        html = rsp.read().decode()
        print(html)

    except error.HTTPError as e:
        print(e)
    except error.URLError as e:
        print(e)
    except Exception as e:
        print(e)
    print("Done>..............")

-ProxyHandler处理（代理服务器）

-使用代理IP，是爬虫的常用手段

-获取代理服务器的地址：

-www.xicidaili.com

-www.goubanjia.com

-代理用来隐藏真实访问中，代理也不允许频繁访问某一个固定网站，所以，代理一定要很多很多

-基本使用步骤：

1、设置代理地址

2、创建ProxyHander

3、创建Opener

4、安装Opener

'''
使用代理访问百度地址
'''
from urllib import request,error

if __name__ == '__main__':
    url = "https://www.baidu.com"

    #使用代理步骤
    #1、设置代理地址
    proxy = {'http':'120.194.18.90.81'}
    #2、创建ProxyHander
    proxy_handler = request.ProxyHandler(proxy)
    #3、创建Opener
    opener = request.build_opener(proxy_handler)
    #4、安装Opener
    request.install_opener(opener)

    #现在如果访问url,则使用代理服务器
    try:
        rsp = request.urlopen(url)
        html = rsp.read().decode()
        print(html)
    except error.URLError as e:
        print(e)
    except Exception as e:
        print(e)