python 爬取数据防止IP被封

最新推荐文章于 2025-07-04 16:05:38 发布

原创

最新推荐文章于 2025-07-04 16:05:38 发布 · 2.4k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#python

一、使用代理IP池，利用代理IP进行爬取数据（免费的IP太难找了，示例代码中还应补充如果IP不能用，可以提示用户替换，由于用不到所以没有添加。仅供参考）
二、设置浏览器信息
三、设置连接网站动态访问时间

一、使用代理IP池，利用代理IP进行爬取数据（示例代码）

#使用代理IP池
def dynamic_IP ():              
    http_ip = ['222.242.106.7:80','11.11.11.11:80']  #使用的代理IP 
    proxy_ip = {
   
   'http': random.choice(http_ip)} # choice() 方法返回一个列表，元组或字符串的随机项。
    url = "http://www.ip111.cn/"
    html = requests.get(url=url)
    soup = BeautifulSoup(html.text, 'lxml')
    print('本机IP：', soup.find_all('p')[0].text)
    print(proxy_ip)
    try:
        html2 = requests.get(url=url, proxies=proxy_ip)
        code = html2.status_code
        soup = BeautifulSoup(html2.text, 'lxml')
        print('代理IP，可以使用:', soup.find_