Python爬虫用Selenium抓取js生成的文件(一)

最新推荐文章于 2025-11-02 18:54:51 发布
原创 最新推荐文章于 2025-11-02 18:54:51 发布 · 5.4k 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python #selenium #javascript #html

本文介绍了如何使用Python的Selenium库抓取看云网站中由JavaScript生成的电子书链接。首先，解析首页获取最大页码，然后逐页抓取书籍链接，进入书籍详情页判断是否可下载并下载所有格式。通过Chrome浏览器驱动模拟用户操作，通过XPath定位元素进行点击。文章还提到了在爬取过程中可能遇到的问题及解决方案。

简介

我最近在看关于计算机的一些书籍,发现了这个电子书清单:计算机开放电子书汇总, 和大家分享一下. 我在下载其中的书籍时被导向了这个很好的计算机电子书网站KanCloud看云,里面有非常多的实用的编程方面的电子书,很多是该网站自己用html生成的,格式多样,包括pdf,epub,mobi. 在此表示感谢,强烈推荐.

于是,我准备用之前的静态网页爬虫来批量下载,发现书籍的链接是javascript生成的,而且难以解析(我还会写一篇抓取可以解析js的网站的博客). 这时我们可以用selenium来模拟浏览器的动作,例如下拉或者点击button之类的. 然后在看云网站里模拟下载.

要得到一个可以稳健运行的爬虫, 需要考虑一些细节问题, 因此分两篇来说,本篇先给出一个示例,了解工作的过程.

任务简述

进入网站后,看云网站界面如下图所示:

首页

要下载全部电子书,我们需要抓取70个page, 每个page有12本书,每本书有一个单独的页面,而且有的书籍不提供下载,有的可以下载多种格式.

不能下载

可以下载

因此, 我们的任务如下:
1. 解析首页,得到最大页码
2. 解析单个页面,得到该页书籍链接列表
3. 进入书籍页面
* 判断是否可以下载

最低0.47元/天 解锁文章
Python爬虫教程：使用Selenium抓取动态网页内容
2201_76125261的博客
04-10 1315
Selenium是一个开源的自动化测试工具，用于Web应用的自动化操作。Selenium支持多种编程语言，包括Python、Java、C#等。它能够模拟浏览器中的各种操作，如点击、输入、滚动、抓取页面内容等。通过使用Selenium，爬虫可以在实际的浏览器环境中运行，从而获取动态加载的数据。在本文中，我们详细介绍了如何使用Selenium抓取动态加载的网页内容。通过模拟浏览器的行为，Selenium能够处理JavaScript渲染的页面，抓取动态加载的内容。
python下载jsdelivr的内容
池塘
08-13 1076
jsdelivr.net内容下载
python selenium 爬取js加载的内容为空,Python爬虫使用Selenium+PhantomJS抓取Ajax和动态HTML内容...
weixin_35781147的博客
03-25 522
1，引言在Python网络爬虫内容提取器一文我们详细讲解了核心部件：可插拔的内容提取器类gsExtractor。本文记录了确定gsExtractor的技术路线过程中所做的编程实验。这是第二部分，第一部分实验了用xslt方式一次性提取静态网页内容并转换成xml格式。留下了一个问题：javascript管理的动态内容怎样提取？那么本文就回答这个问题。2，提取动态内容的技术部件在上一篇python使用x...
《Selenium 实战：爬取动态加载的网页内容》
最新发布
2501_93895614的博客
11-02 259
Selenium 是爬取动态网页的高效工具，通过模拟真实用户行为解决 JavaScript 渲染问题。本指南提供了从安装到实战的完整流程，核心在于等待机制和交互模拟。实践中，建议结合具体网站结构调整代码，并优先考虑道德爬取。如需扩展，可整合 Scrapy 框架提升效率。
selenium和phantomjs的介绍
weixin_33801856的博客
03-06 268
selenium和phantomjs的介绍 selenium Selenium是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。支持的浏览器包括IE（7, 8, 9, 10, 11），Mozilla Firefox，Safari，Google Chrome，Opera等主流浏览器。这个工具的主要功能包括：测试与浏览器的兼容性——测试你的应用程序看...
selenium调用js文件_如何在selenium中使用js实现定位
weixin_39622225的博客
12-18 467
学习selenium的时候经常用扫的定位方式WebDriver定位方式，但是一些Windows的窗口就无力了，这时候可以用js定位使用js定位的时候是用DOM树定位方式eg：document.getElementById("su");这里就可以看出来，和浏览器中的console控制台的定位方式一样样的——果然知识都是相通的接下来就是正题：selenium中执行js脚本：第一步首先强转成Javasc...
Python+selenium+js定位一般用法介绍！精准定位！
爬遍所有网站
05-23 3309
本篇文章主要介绍js定位的一般使用方法，案例素材和本系列文章《Python+selenium自动化测试之6--Selenium元素定位的8种方法》的基本结构保持一致，以便对比。 Selenium提供8种元素定位的方法：id,name,class name,link text,xpath,css selector,tag name ,partial link tex。其实还有js定位方法。Js语句通常使用driver.execute_script()进行调用。 JS定位 ...
Python爬虫使用Selenium+PhantomJS抓取Ajax和动态HTML内容
09-20
在这篇文章中，主要介绍的是一种特定的网络爬虫技术，即使用Python语言结合Selenium和PhantomJS这两种工具，以实现对网页中通过Ajax技术动态加载的内容和动态HTML内容的抓取。这在处理现代网页，尤其是那些含有大量...
Python3实现抓取javascript动态生成的html网页功能示例
10-19
以下是一些使用Selenium抓取JavaScript动态生成内容的基本示例： **例0**： ```python from selenium import webdriver # 创建Firefox浏览器实例 browser = webdriver.Firefox() # 访问指定URL browser.get('...
selenium html中引入的js,如何通过Selenium / Python获取JavaScript编写的html内容[复制]
weixin_28717647的博客
06-18 284
参见英文答案 >Get HTML Source of WebElement in Selenium WebDriver using Python13个我正在使用Selenium进行网络爬行,我希望在Selenium模拟点击虚假链接后获得由JavaScript编写的元素(例如链接).我尝试了get_html_source(...
python+selenium+PhantomJS爬取网页动态加载内容
Waterkong的博客
08-06 1271
原文网址 ：http://www.cnblogs.com/chenice/p/6994111.html 以下为复制粘贴内容。 一般我们使用python的第三方库requests及框架scrapy来爬取网上的资源，但是设计javascript渲染的页面却不能抓取，此时，我们使用web自动化测试化工具Selenium+无界面浏览器PhantomJS来抓取javascript渲染的页面，下面
Python Selenium 将网页另存下载(包含资源文件(js,css,图片等))
weixin_42098295的博客
05-17 2376
可以使用 Python 中的 Selenium 和 requests 库来实现将网页及其相关资源文件（例如 JavaScript、CSS、图像等）另存为本地文件的功能。chrome_options.add_argument("--headless") # 无头模式运行，不打开浏览器窗口。# 设置 Chrome WebDriver 的路径。# 设置 Chrome WebDriver 的选项。# 提取页面中的资源文件并下载。# 保存网页 HTML 文件。# 要保存的网页 URL。
python selenium 执行js_使用Python在Selenium中运行javascript
weixin_39744554的博客
11-26 210
我对Selenium完全陌生。我想在以下代码中执行一个javascript代码段（如代码中所注释），但是无法执行。请帮忙。from selenium import webdriverimport seleniumfrom selenium.common.exceptions import NoSuchElementExceptionfrom selenium.webdriver.common.ke...
python 获取js生成的网页,使用Python刮取JavaScript生成的页面
weixin_35511997的博客
01-28 222
I need to scarpe some information for https://hasjob.co/, I can scrape some of the information by getting through the login page and scrape as usual, but most of information are generated by Javascrip...
python如何获取javascript动态产生的数据
junli_chen的博客
11-20 5620
我现有有一个工作，需要从新浪新闻网站中获取数据，包括，标题，正文，和参与人数。 如图所示想得到 820，但是动态产生的。该新闻的url为http://news.sina.com.cn/c/2013-07-11/175827642839.shtml 陕西眉县发红头文件:官员卖水泥买房纳入考核 <a id="media_comment" href="#J_Comment_Wrap" r
使用Selenium来爬取网页内容
热门推荐
CoCo629vanilla的博客
08-10 1万+
Selenium Python 绑定提供了一个简单的 API 来使用 Selenium WebDriver 编写功能/验收测试。通过 Selenium Python API，我们可以直观地访问 Selenium WebDriver 的所有功能。
Webdriver (python)中调用JS
weixin_30488085的博客
01-17 123
1、Webdriver 中调用JS，由于页面中的input是被隐藏起来的，所以必须用JS把隐藏的元素显示出来； browser.find_element_by_xpath("//div[@id='surveyItemsWrap']/div/div[2]/button[2]").click() time.sleep(5) inputs=browser....
selenium获取动态网站数据
******* ▄︻┻┳═一 *******
11-12 1913
一、安装 pip install selenium 二、下载浏览器驱动 谷歌浏览器驱动下载地址：http://npm.taobao.org/mirrors/chromedriver/ 火狐浏览器驱动下载地址：http://npm.taobao.org/mirrors/geckodriver/ 查看谷歌浏览器版本：帮助 --&gt; 关于 Google Chrome 三、爬取今日头条数据 进入到...
python爬取js数据_python如何爬取js生成的数据？
weixin_36452340的博客
02-21 1347
回答中有童鞋说到了分析接口，直接爬接口，这是可行的，并且直接爬接口还不需要自己解析HTML了，因为大部分接口返回的都是json，想想都觉得开心呀~不过还是有别的方法，例如使用Phantomjs，简单易用，Python并非全能，搭配其他工具会发挥更大的价值，我自己也有一些小项目是这样的组合。这是官方的一个实例代码，稍加改造就可以达成目的了。console.log('Loading a web pag...
python爬虫使用Selenium抓取小说
03-27
### 如何使用 Python 和 Selenium 进行网络爬虫以抓取小说内容 #### 1. 基础环境准备 为了能够顺利运行 Selenium 爬虫程序，需要先安装必要的依赖库并配置好驱动程序。以下是具体操作： - 安装 `selenium` 库： 可通过 pip 工具安装该库，命令如下所示： ```bash pip install selenium ``` - 配置 WebDriver： 根据目标网站使用的浏览器版本下载对应的 WebDriver 文件，并将其放置到系统的 PATH 路径中或者与 Python 所在目录相同的文件夹内[^1]。 #### 2. 示例代码展示 下面提供一段简单的示例代码用于演示如何利用 Python 结合 Selenium 来抓取网页上的小说章节及其正文部分： ```python from selenium import webdriver import time # 初始化 Chrome 浏览器对象 driver = webdriver.Chrome() try: # 访问目标网址 driver.get('https://example.com/novel') # 替换为目标小说站点链接 # 给予一定时间让页面完全加载完毕 time.sleep(3) # 获取所有章节列表项 chapter_elements = driver.find_elements_by_css_selector('.chapter-list a') for element in chapter_elements[:5]: # 提取前五个作为例子 title = element.text # 获取章节名称 link = element.get_attribute('href') # 获取跳转地址 print(f'正在读取 {title}') # 切换至对应章节详情页 driver.execute_script("window.open(arguments[0]);", link) handles = driver.window_handles driver.switch_to.window(handles[-1]) # 等待新窗口中的数据渲染完成 time.sleep(2) content_element = driver.find_element_by_id('content') text_content = content_element.text.strip() # 清理多余空白字符 with open(f'{title}.txt', 'w', encoding='utf8') as f: f.write(text_content) # 将每章保存成独立 txt 文件 finally: driver.quit() ``` 上述代码片段实现了访问指定的小说主页、提取各章节链接以及依次打开这些链接并将其中的文字内容存储下来的功能[^3]。 #### 3. 关键技术解析 - **动态加载处理**：对于采用 JavaScript 实现异步更新的现代 Web 页面来说，传统的静态 HTML 解析方法可能无法满足需求。而 Selenium 正是因为其可以直接模拟真实用户的浏览行为从而解决了这一难题[^4]。 - **元素定位方式**：Selenium 支持多种查找 DOM 元素的方法，如 id, name, class name, tag name, XPath 表达式等等，在实际开发过程中可以根据具体情况灵活选用最合适的手段来精确定位所需的数据节点[^2]。 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值