爬虫遇到的问题汇总

一嗒嗒

于 2020-08-20 15:17:25 发布

阅读量1.2k

点赞数

CC 4.0 BY-SA版权

分类专栏：爬虫

本文链接：https://blog.youkuaiyun.com/yiyadayan/article/details/107855047

本文总结了爬虫过程中遇到的一些关键问题，包括理解并使用xpath选择元素，处理网址重定向，解决selenium被网站反爬策略，以及面对加密网址如何获取HTML内容。还探讨了是否进行跳级爬取的策略选择。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1. 注意xpath很重要，

 # x_path的位置十分重要,根目录一定要写对
      xpath_urls = '//div[@class="fff-product-detail"]/a'
 # 获取所有的目录下的源码
      urls_pre = browser.find_elements_by_xpath(xpath_urls)

2. 网址的重定向问题，注意爬取的页面很可能是重定向过的网址，需要去除重定向

def get_real_url(fake_url,try_count = 1):
    http_headers = {'Accept': '*/*','Connection': 'keep-alive', 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.116 Safari/537.36'}
    if try_count > 3:
        return fake_url
    try:
        rs = requests.get(fake_url, headers=http_headers, timeout=10)
        if rs.status_code > 400:
            return get_real_url(fake_url, try_count + 1)
        return rs.url
    except:
        return get_real_url(fake_url, try_count + 1)

3. 解决selenium的被网站反爬的问题

from selenium.webdriver import Chrome

options = webdriver.C

最低0.47元/天解锁文章

200万优质内容无限畅学