python+urllib+selenium爬取优快云单个博主的所有博文

最新推荐文章于 2025-07-05 02:44:17 发布

Siphre

最新推荐文章于 2025-07-05 02:44:17 发布

阅读量675

点赞数

CC 4.0 BY-SA版权

分类专栏： python 爬虫文章标签：爬虫优快云 python

本文链接：https://blog.youkuaiyun.com/qq_32465127/article/details/86772175

本文介绍了如何使用Python结合Selenium爬取优快云上特定博主的所有文章。首先，通过Selenium获取JavaScript动态加载的页数，然后利用urllib抓取每一页的文章链接，最后遍历这些链接，保存每个文章的HTML内容和标题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

爬虫、优快云

前置准备：

修改代码中的url、url2成你想爬取的博主的相应域名，只需要改qq_32465127的部分。

在py文件的同目录下放一个火狐浏览器驱动geckodriver.exe

步骤：

1.通过selenium获取js动态加载的页数

页数是javascript动态加载，不能直接通过urllib获取。改为通过selenium获取页数。

2.通过urllib获取一页内所有文章的链接

根据页数、链接，获取每一页的文章链接，存入数组。

3.遍历文章链接，获取对应的文章的html文件，写好标题存储起来

所有代码如下：

import urllib.request
import re
from selenium import webdriver
url='https://blog.youkuaiyun.com/qq_32465127?viewmode=contents'
url2='https://blog.youkuaiyun.com/qq_32465127/article/list/'

#============通过selenium获取js动态加载的页数====================
fireFoxOptions = webdriver.FirefoxOptions()
fireFoxOptions.add_argument('-headless')
driver = webdriver.Firefox(firefox_options=fireFoxOptions)

try:
    driver.get(url)
except Exception as e:
    print("get website error")

try:
    ui_pagers = driver.find_elements_by_class_name("ui-pager")
except Exception as e:
    print("get class name erro