解决爬虫伪装之伪装User-Agent和代理IP

xiami133

于 2020-02-11 16:41:45 发布

阅读量1.3k

点赞数

本文链接：https://blog.youkuaiyun.com/sinat_33384251/article/details/104265460

版权

本文介绍了如何在爬虫中使用fake_useragent库伪装请求头，以随机User-Agent避免被目标网站识别，同时讲解了如何获取发出请求的IP地址，并探讨了利用代理IP进行网络请求的方法，包括保存有效免费代理IP到文件的实践。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

随机User-Agent scrapy
fake_useragent库，伪装请求头

from fake_useragent import UserAgent
 
ua = UserAgent()
# ie浏览器的user agent
print(ua.ie)
 
# opera浏览器
print(ua.opera)
 
# chrome浏览器
print(ua.chrome)
 
# firefox浏览器
print(ua.firefox)
 
# safri浏览器
print(ua.safari)
 
# 最常用的方式
# 写爬虫最实用的是可以随意变换headers，一定要有随机性。支持随机生成请求头
print(ua.random)
print(ua.random)
print(ua.random)

获取发出请求的ip地址

def get_local_ip():
    # headers = {"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:52.0) Gecko/20100101 Firefox/52.0"}
    ua = UserAgent()
    head = ua.random
    headers = {
   "User-Agent": head}
    url = 'http://ip.hahado.cn/ip'
    # 使用的是阿布云收费代理ip
    proxy = {
   'http':

最低0.47元/天解锁文章