Selenium+requests出现窗口不能跳转的情况

最新推荐文章于 2024-03-15 18:59:07 发布

「已注销」

最新推荐文章于 2024-03-15 18:59:07 发布

阅读量1k

点赞数

CC 4.0 BY-SA版权

文章标签： python爬虫 Selenium网页不跳转

本文链接：https://blog.youkuaiyun.com/qq_40584718/article/details/85609518

本文介绍使用Selenium和requests进行央视网新闻抓取时遇到的搜索页面跳转问题及解决方案。通过driver.current_window_handle和driver.window_handles判断并切换窗口，实现关键字搜索后的页面自动跳转。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

用selenium+requests进行央视网新闻抓取的时候，会出现搜索页面无法跳转的情况。

爬虫设计的思路：

def search()#主要用来打开网页，并输入关键字进行搜索
def get_link_url()#定义抓取链接
def parse_html(link_url):#link_url是个列表，解析每一个链接得到的网页（requests.get()）
def get_content(link):#link是个网址的列表，最后得到每一页的内容
def next_page():#定义翻页
def main()

爬虫在新闻搜索页面无法跳转：
可以通过：

driver.currunt_url()#driver=webdriver.Firefox()
In [203]: driver.current_url #还是之前的网址，并没有更新
Out[203]: 'http://www.cctv.com/'

In [204]: driver.current_window_handle#当前位置
Out[204]: '6442450945'

In [205]: driver.window_handles#共有多少个窗口
Out[205]: ['6442450945'] ['6442450949']

多了一个，说明搜索成功了，只是没有跳转.

通常可以通过以下方法解决：

 driver.forward()#表示前进
 driver.switch_to_window()#表示跳转

本文主要采用后者来解决search()的跳转问题。代码如下：

driver = webdriver.Firefox()
wait = WebDriverWait(driver, 10)

第一种：将关键字直接内置，但是对于多个更改关键字不方便.

def search():
    print('正在搜索')
    try:
        driver.get('http://www.cctv.com/')#初始网址
        input = wait.until(
            EC.presence_of_element_located((By.XPATH, '//span//input[@class="input_txt2"]')))
        input.clear()
        input.send_keys("互联网+")#输入关键字
        submit = wait.until(
            EC.element_to_be_clickable((By.XPATH, '//span//input[@type="button"]')))
        submit.click()
        driver.execute_script('window.scrollTo(0,"document.body.scrollHeight")')
        #跳转到新的窗口
        if driver.current_window_handle==driver.window_handles[-1]:
            driver.execute_script('window.scrollTo(0,"document.body.scrollHeight")')
            print("已经自己跳转到新窗口",driver.current_url)  
        else:
            driver.switch_to_window(driver.window_handles[-1])
            driver.execute_script('window.scrollTo(0,"document.body.scrollHeight")')
            print("手工跳转",driver.current_url)
        return driver.current_url
    except TimeoutException:
        return search()

其中：

if driver.current_window_handle==driver.window_handles[-1]:
            driver.execute_script('window.scrollTo(0,"document.body.scrollHeight")')#向下滚动
            print("已经自己跳转到新窗口",driver.current_url)  
        else:
            driver.switch_to_window(driver.window_handles[-1])#认为最后一个就是搜索得到的窗口
            driver.execute_script('window.scrollTo(0,"document.body.scrollHeight")')
            print("手工跳转",driver.current_url)`
   #  可以执行跳转，但是会出现switch_to_window的弃用警告（***暂时可以忽略***）。

第二种 :将关键字作为搜索参数.

def search(name):#name为关键字
    print('正在搜索')
    try:
        driver.get('http://www.cctv.com/')
        input = wait.until(
            EC.presence_of_element_located((By.XPATH, '//span//input[@class="input_txt2"]')))
        input.clear()
        input.send_keys(name)
        submit = wait.until(
            EC.element_to_be_clickable((By.XPATH, '//span//input[@type="button"]')))
        submit.click()
        driver.execute_script('window.scrollTo(0,"document.body.scrollHeight")')
        #跳转到新的窗口
        if driver.current_window_handle==driver.window_handles[-1]:
            driver.execute_script('window.scrollTo(0,"document.body.scrollHeight")')
            print("已经自己跳转到新窗口",driver.current_url)  
        else:
            driver.switch_to_window(driver.window_handles[-1])
            driver.execute_script('window.scrollTo(0,"document.body.scrollHeight")')
            print("手工跳转",driver.current_url)
        return driver.current_url
    except TimeoutException:
        return search()

所有的都执行完，发现这类不能自动跳转的，driver.close()并不能关闭所有的窗口，这里通过自定义函数实现：

#定义一个关浏览器的函数
def driver_close():
    for i in driver.window_handles:
        driver.switch_to_window(i)
        driver.close()

欢迎进行爬虫交流

参考
崔庆才；课时1-3的代码