Selenium 批量执行url（附完整代码）

最新推荐文章于 2025-05-27 09:00:00 发布

TinlokLee

最新推荐文章于 2025-05-27 09:00:00 发布

阅读量3.4k

点赞数

CC 4.0 BY-SA版权

原文链接：https://blog.youkuaiyun.com/fly910905/article/details/83474092

本文介绍了一种使用Python和Selenium库批量抓取本地URL链接文件中的网页内容的方法。通过PhantomJS浏览器对象，实现自动加载指定URL并执行下拉操作，确保页面完全加载。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Python环境

3.6.6

本地URL链接文件


https://blog.youkuaiyun.com/fly910905/article/details/83418623
https://blog.youkuaiyun.com/fly910905/article/details/83417911
https://blog.youkuaiyun.com/fly910905/article/details/83144267
https://blog.youkuaiyun.com/fly910905/article/details/83143153
https://blog.youkuaiyun.com/fly910905/article/details/83055987
https://blog.youkuaiyun.com/fly910905/article/details/83022524
https://blog.youkuaiyun.com/fly910905/article/details/82868342
https://blog.youkuaiyun.com/fly910905/article/details/82869328
https://blog.youkuaiyun.com/fly910905/article/details/82869344
https://blog.youkuaiyun.com/fly910905/article/details/82800533

Python完整代码


# 导入 webdriver
from selenium import webdriver
 
# 读取本地文件中的URL链接
address = './url.txt'
fp = open(address, 'r')
lines = fp.readlines()
print('【URL链接】:%s', lines)
 
# 调用环境变量指定的PhantomJS浏览器创建浏览器对象
driver = webdriver.PhantomJS()
# 如果没有在环境变量指定PhantomJS位置
# driver = webdriver.PhantomJS(executable_path="./phantomjs"))
 
for data in lines:
 
    # get方法会一直等到页面被完全加载，然后才会继续程序，通常测试会在这里选择 time.sleep(2)
    driver.get(data)
 
    # 向下滚动10000像素
    js = "document.body.scrollTop=10000"
    # js="var q=document.documentElement.scrollTop=10000"
 
    # 执行JS语句
    driver.execute_script(js)
 
    # 查看页面快照
    # driver.save_screenshot("csdn.png")
 
    print('执行中。。。')
 
# 关闭浏览器
driver.quit()
print('执行结束。。。')
 
# 关闭文件流
fp.close()