动态渲染页面爬取

shallow~萱

于 2021-02-05 15:54:03 发布

阅读量1.3k

点赞数 1

分类专栏： python爬虫文章标签： selenium python 爬虫

本文链接：https://blog.youkuaiyun.com/shallow_xxx/article/details/113104224

版权

本文介绍了Selenium的基本使用，包括声明浏览器对象、访问页面、查找和交互节点，以及动作链的实现。此外，还详细阐述了Splash的使用，包括页面渲染失败的解决方案、对象属性和方法，如设置JavaScript执行、资源超时时间和页面滚动。同时，通过示例展示了如何调用Splash API进行页面渲染和截图。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Selenium的使用

基本使用

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support import expected_conditions as EC4
from selenium.webdriver.support.wait import WebDriverWait
browser=webdriver.Chrome()
try:
    browser.get('https://www.baidu.com')
    input=browser.find_element_by_id('kw')
    input.send_keys('Python')
    input.send_keys(Keys.ENTER)
    wait=WebDriverWait(browser,10)
    wait.until(EC4.presence_of_element_located((By.ID,'content_left')))
    print(browser.current_url)
    print(browser.get_cookie())
    print(browser.page_source)
finally:
    browser.close()

声明浏览器对象

from selenium import webdriver
browser=webdriver.Chrome()
browser=webdriver.Firefox()
browser=webdriver.Edge()
browser=webdriver.PhantomJS(

最低0.47元/天解锁文章