python爬虫伪装技术应用

最新推荐文章于 2023-02-22 16:54:12 发布

scyf340

最新推荐文章于 2023-02-22 16:54:12 发布

阅读量1.9k

点赞数

分类专栏： python爬虫文章标签：爬虫伪装 IP Cookies 用户代理

本文链接：https://blog.youkuaiyun.com/sc2079/article/details/82423865

版权

本文介绍了Python爬虫伪装技术，包括设置用户代理、管理Cookies、使用IP代理，以及通过urllib和requests库进行调用。适合爬虫初学者学习，以应对网站的反爬虫策略。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

-写在前面

　　本篇博客主要是爬虫伪装技术的应用，包括用户代理，IP代理，Cooikes，适合爬虫初学者。文中如有不足，请指正。
　　PS：网上资源整合，如有侵权，联系删除

-环境配置安装

　　运行环境：Python3.6、Spyder
　　依赖的模块：urllib,requests.random等

-正文

1、用户代理

def LoadUserAgents(uafile):
    uas = []
    with open(uafile, 'rb') as uaf:
        for ua in uaf.readlines():
            if ua:
                uas.append(ua.strip()[1:-1 - 1])
    random.shuffle(uas)
    return uas
uas = LoadUserAgents("user_agents.txt")

　　下载user_agents.txt文档：链接，设置好路径后，运行即可。

２、cookies

Cookies = ['_lxsdk_s=b458c64cc9ef92adce92c199a6b7%7C%7C4; __mta=214784936.1512623224439.1512623224439.1512623226558.2; client-id=8d050bd8-51b6-46fc-be96-cb6871d91fe7; ci=89; webloc_geo=31.778615%2C119.958931%2Cwgs84; _lxsdk=1602f5eb154c8-05c63a41825c168-1b451e24-13c680-1602f5eb154c8; uuid=73a65301-f351-4cdd-bfcd-35ae40aea13c',
           '_lxsdk_s=55618265813fc43043ce562acf29%7C%7C2; ci=89; __mta=252597174.1512623399814.1512623399814.1512623399814.1; _lxsdk=1602f6161c1c8-034ae66c3842d88-1b451e24-13c680-1602f6161c170; client-id=8ca2fe5f-ba96-41ae-b919-f8d3665e2f10; webloc_geo=31.778620%2C119.958935%2Cwgs84; uuid=ae73c608-8db3-4724-b4bf-91f4a8c701c5',
           '_lxsdk_s=4ffb12d5a90c2361745e6d0993a2%7C%7

最低0.47元/天解锁文章