使用selenium爬取当当网图书

最新推荐文章于 2023-12-09 01:32:01 发布
原创 最新推荐文章于 2023-12-09 01:32:01 发布 · 2.1k 阅读 · 11 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了如何使用selenium自动化爬取当当网上的日语图书信息，包括构造Webdriver对象，打开搜索页面，解析图书详情，并进行翻页操作。通过正则表达式提取每本书的名称、价格和评论数。

1.目标
利用Selenium抓取当当网图书并用正则表达式获取到得到商品的图片、名称、价格、评论人数信息。
2.开发环境
python2.7 +windows10 +pycharm
3.页面分析
如图，其中包含商品的图片、名称、价格、评论人数信息。
抓取入口就是当当网主页，主页链接可以通过直接构造参数访问。然后在搜索框中输入“日语” ，呈现的就是第一页的搜索结果。

在页面下方，有一个分页导航，其中既包括前6页的链接，也包括下一页的链接，同时还有一个任意页码跳转的链接，如下图所示。

商品的搜索结果为100页，要获取每一页的内容，只需要将页码从1到100顺序遍历即可，页码数是确定的。所以，直接输入要跳转的页码，即可跳转到页码对应的页面。

相对输入跳转页码而不直接点击“下一页”的理由是：一旦爬取过程中出现异常退出，比如到50页退出了，此时继续点击“下一页”，就无法快速切换到对应的后续页面。并且，在爬取过程中，同时需要记录当前的页码数，一旦点击“下一页”之后页面加载失败，就需要做异常检测，通过检测才能判断当前加载页面的页码数。导致运行时间增加，能效降低，所以选取输入页码跳转的方式来爬取页面。
最低0.47元/天 解锁文章
wangde0703
关注
Python爬虫教程010：使用scrapy爬取当当网数据并保存
WwLK123的博客
04-06 1218
使用scrapy爬取爬取当当网数据并保存到本地。
用selenium爬当当网商品信息
qq_31478667的博客
04-13 889
【项目介绍】参考崔庆才老师《Python3网络爬虫开发实战》第七章动态渲染页面爬取里爬淘宝网的实例，由于现在淘宝网查找需要先登录，故用当当网进行尝试。 1.动态加载页面的判断？ F12→找到对应url的response，看到返回的页面是一个网页框架，并没有出现商品信息，以此我们可以大致判断是异步加载（注意，在network里看response的html，不要在element里看，这里返回的才是最真...
selenium获取当当网python书籍前三页
萧鼎的博客
05-26 436
1.配置好selenium环境,selenium环境配置地址如下： https://blog.youkuaiyun.com/liaoqingjian/article/details/116785445?spm=1001.2014.3001.5502 2.下载selenium库： pip install selenium 3.完整代码如下： from selenium import webdriver from selenium.webdriver.common.keys import Keys import time
基于selenium框架对当当网图书相关数据爬取
qq_46016629的博客
01-29 1024
主要用到了爬虫中selenium框架对悬疑类小说的主标题、副标题、作者、出版社、出版时间、价格及书籍相关信息及评论数的爬取
selenium自动化测试工具模拟登陆爬取当当网top500畅销书单
disuoshao7625的博客
09-24 574
selenium自动化测试工具可谓是爬虫的利器,基本动态加载的网页都能抓取,当然随着大型网站的更新,也出现针对selenium的反爬,有些网站可以识别你是否用的是selenium访问,然后对你加以限制. 当当网目前还没有对这方面加以限制,所以今天就用这个练习熟悉一下selenium操作,我们可以试一下爬取一下当当网top500的畅销书单的相关信息,页面如下: 虽然这个...
Selenium入门书籍
Admin_Num1的博客
03-29 1977
    挺好的一本书，入门必备！！！点击打开链接
2023最新当当网爬取书籍信息python源代码，使用selenium库动态爬取！欢迎各位学习交流！
qq_53862860的博客
12-09 1862
其他版本或可，但4.0以上版本不支持。
python爬虫爬取当当网图书信息（selenium版）
10-15
本文将重点介绍如何使用Python编程语言结合selenium工具包来爬取当当网的图书信息。 首先，selenium是一个用于Web应用程序测试的工具，它能够让开发者模拟用户在浏览器中的行为，如点击、滚动、输入文本等。使用...
Python爬虫——selenium爬取当当畅销图书排行
霖hero
08-30 3420
前言 上上篇文章我们爬取了今日头条街拍美图，好了，心情愉悦完了，这篇文章我们使用Selenium来爬取当当网的畅销图书排行。正所谓书中自有黄金屋，书中自有颜如玉，我们通过读书学习来提高自身的才华，自然能有荣华富贵,也自然少不了漂亮小姐姐。 准备工作 在爬取数据前，我们需要安装好Python的Selenium库和Chrome浏览器并配置好ChromeDriver。 Selenium Selenium是一个自动化测试工具，利用它可以驱动浏览器执行特定的动作，如点击、下拉等操作，同时还可以获得浏览器当前
Selenium+Java最专业自动化测试书籍
03-19
Selenium+Java最专业自动化测试书籍，从入门到精通，向开发人员和测试人员展示了如何使用Selenium进行Web自动化测试。讲解了WebDriver与Selenium RC的区别、WebDriver的架构和设计理念；阐述了WebDriver的部署、基本使用方法、对HTML5特性的支持，以及如何迁移已有的Selenium RC代码到Selenium WebDr iver的解决方案；展示了在嵌入式系统中使用Selenium进行自动化测试的方法，最后介绍了Selenium周边的测试工具和套件。无论从深度还是广度上，本书为开发人员和测试人员学习并掌握Selenium提供了一定的辅助作用。
python爬取dangdang指定图书数据
01-02
使用python selenium爬取当当网商品搜索相关结果，并下载图片，写入xls、保存到mongo数据库
python+selenium爬取亚马逊商品评论详情
02-28
亚马逊评论详情页是动态加载的，不过多折腾，直接用selenium进行爬取；用pandas写入csv文件，解决乱码、无序问题；
Python爬取当当、京东、亚马逊图书信息代码实例
09-21
主要介绍了Python爬取当当、京东、亚马逊图书信息代码实例，具有一定借鉴价值，需要的朋友可以参考下。
基于python的selenium书的推荐_selenium webdriver基于Python系列文章 总结 1
weixin_29163797的博客
02-11 326
Python WebDriver 工作原理webdriver 是按照 server – client 的经典设计模式设计的。 server 端就是 remote server，可以是任意的浏览器。当我们的脚本启动浏览器后，该浏览器就是remote server，它的职责就是等待 client 发送请求并做出响应； client 端简单说来就是我们的测试代码，我们测试代码中的一些行为，比如打开浏览器...
Selenium获取商品信息及图片
qq_64001795的博客
10-19 368
/将驱动加载到Java的JVM虚拟机中 System.setProperty("webdriver.chrome.driver","D:\\chromedriver.exe");注：1-3步与上述获取文本信息一致！
selenium java截图_如何使用Selenium和Java获取完整网页的屏幕截图？
weixin_42393315的博客
02-22 519
简短的回答是不,你不能(详细原因如下).但是,你能做的就是充分利用你的设备(显示器)viewport.因此,使用ChromeOptions()启动浏览器实例(驱动程序),这是设置ChromeDriver特定功能的方法.我们可以做到以下几点：>最大化窗口(使用–start-maximumized开关);>全屏显示(Windows上为F11键,Mac上为Control Cmd F,使用–s...
java+ selenium截图
qq_38368494的博客
01-28 5887
方式1： TakeScreenshout是selenium工具自带的截图方法（截图类），这个类主要是获取浏览器窗体内的内容，不包括浏览器的菜单和桌面的任务栏区域 package org.seleniumhq.selenium; import java.io.File; import java.io.IOException; import java.util.concurrent.TimeUnit; import java.text.SimpleDateFormat; import java.util.Ca
Python爬虫 | Selenium爬取当当畅销图书排行
pdcfighting的博客
07-02 954
点击上方“Python爬虫与数据挖掘”，进行关注 回复“书籍”即可获赠Python从入门到进阶共10本电子书 今日鸡汤江汉曾为客，相逢每醉还。 专栏作者：霖hero，在职爬虫工程师，熟...
使用scrapy爬取当当网图书热销榜
最新发布
11-23
Scrapy是一个强大的Python爬虫框架，它可以帮助我们自动化抓取网站数据，包括当当网图书热销榜。以下是使用Scrapy爬取当当网图书热销榜的一个简要步骤： 1. **安装和设置Scrapy**： 首先确保已安装了`pip`，然后通过命令行运行 `pip install scrapy` 安装Scrapy。 2. **创建新项目**： 创建一个新的Scrapy项目，可以使用 `scrapy startproject dangdang_books`。 3. **编写Spider**： 在项目的spiders文件夹下创建一个新的Python文件（如`books_spider.py`），定义Spider类并设置起始URL，例如当当网首页的图书销售页面。 ```python import scrapy class DangDangBestSellersSpider(scrapy.Spider): name = 'dangdang_best_sellers' allowed_domains = ['dangdang.com'] start_urls = ['https://book.dangdang.com/bestseller'] def parse(self, response): # 这里需要分析HTML结构找到热销书籍的列表元素，比如商品标题、销量等信息 热销商品 = response.css('div.some-class-or-id') # 根据实际HTML选择器查找 for item in热销商品: yield { 'title': item.css('h3 a::text').get(), 'sales': item.css('.sales::text').get(), # 销量信息可能是CSS选择器 } ``` 4. **解析数据**： Scrapy的`css()`和`xpath()`方法用于从响应中提取数据。你需要找到热销榜的具体HTML结构，并相应地调整选择器。 5. **保存数据**： 数据通常会保存到CSV、JSON或数据库中，你可以自定义下载中间件来处理数据存储。 6. **运行爬虫**： 在命令行中进入项目目录，运行 `scrapy crawl dangdang_best_sellers` 启动爬虫。 **注意**：实时网页可能会有反爬虫策略，如验证码、动态加载内容等，这可能需要额外的技术处理，比如使用Selenium模拟浏览器行为。此外，频繁抓取可能会违反网站的服务条款，所以在使用Scrapy之前，务必确保你有权这样做并且尊重robots.txt规则。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值