Python爬虫，爬取500本五星好评书

最新推荐文章于 2023-04-27 16:35:08 发布

原创

最新推荐文章于 2023-04-27 16:35:08 发布 · 668 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#Python #Python爬虫 #数据挖掘 #后端 #编程语言

本文介绍了如何使用Python的requests和re库爬取当当网上的前500本五星好评书籍，包括书籍的排名、书名、图片地址、作者、推荐指数、五星评分次数和价格。通过分析网页结构，利用正则表达式提取关键信息，并将数据保存到文件中。

来啦，老弟

我们已经知道怎么使用

Requests]

进行各种请求骚操作

也知道了对服务器返回的数据如何使用

正则表达式

来过滤我们想要的内容

那么接下来

我们就使用 requests 和 re 来写一个爬虫

作为一个爱看书的你（说的跟真的似的）

怎么能发现好书呢？

所以我们

爬取当当网的前 **500 **本好五星评书籍

怎么样？

接下来就是

学习 python 的正确姿势

请在电脑的陪同下

边看本文边练习

首先我们要对我们的目标网站进行分析

先摸清对方的底

我们才能战无不胜

如果你依然在编程的世界里迷茫，可以加入我们的Python学习扣qun：784758214，看看前辈们是如何学习的。交流经验。从基础的python脚本到web开发、爬虫、django、数据挖掘等，零基础到项目实战的资料都有整理。送给每一位python的小伙伴！分享一些学习的方法和需要注意的小细节，点击加入我们的 python学习者聚集地

我们可以看到是这样的一个网页

每一页显示 20 本书

当我们点击下一页的时候

你可以发现地址变了

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Python老王

关注关注

1
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

代码记录——Python3爬取豆瓣各类型书目的短评

jingyuanDENG的博客

04-19

526

Target：爬取每本书的短评，并为文本分析做准备 my_functions.py 用于自定义函数 from urllib import request import ssl import re import os context = ssl._create_unverified_context() # 创建上下文，用于访问网页的ssl验证 def make_path(p): ''' ...

Python 爬虫爬取多页数据

m0_61408947的博客

06-20

1603

为了获取新数据的信息，点击F12，查看页面源代码，可以发现数据是使用JS动态加载的，而且没有地址，只有一个skipToPage(…1.获取请求信息，如下图所示，控制台选择Network->XHR，此时，点击页面跳转按钮，控制台会出现发出的请求，然后选择发出请求的文件(第三步)，然后选择Headers，下方显示的就是请求头文件信息。当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

参与评论您还未登录，请先登录后发表或查看评论

Python第一个爬虫，爬取当当网 Top 500 本五星好评书籍

bingshi8956的博客

07-18

830

来啦，老弟我们已经知道怎么使用 Requests] 进行各种请求骚操作也知道了对服务器返回的数据如何使用正则表达式来过滤我们想要的内容 ... 那么接下来我们就使用 requests 和 re 来写一个爬虫作为一个爱看书的你（说的跟真的似的）怎么能发现好书呢？所以我们爬取当当网的前 500 本好五星评书籍怎么样？ ok 接下来就是学习 python 的正确姿势请在电脑...

Python第一个爬虫，爬取当当网 Top 500 本五星好评书籍！

Pythoncxy的博客

07-24

730

来啦，老弟 Python资源共享群：484031800 我们已经知道怎么使用 Requests] 进行各种请求骚操作也知道了对服务器返回的数据如何使用正则表达式来过滤我们想要的内容大家在学python的时候肯定会遇到很多难题，以及对于新技术的追求，这里推荐一下我们的Python学习扣qun：784758214，这里是python学习者聚集地！！同时，自...

爬取当当网 Top 500 本五星好评书籍

南淮北安的博客

08-18

1397

文章目录一、分析页面确定需要获取的信息二、实现爬取代码一、分析页面确定需要获取的信息页面通过控制 URL 的最后一个参数，实现分页确定我们想要获取的信息：排名、书名、图片地址、作者、推荐指数、五星评分次数、价格通过审查元素，确定怎么得到这些信息（正则） 3.确定思路使用 page 变量实现分页，使用request 请求当当网，对返回的 HTML 进行正则解析，解析之后的内容存到文...

python：利用20行代码爬取网络小说

qq_45695453的博客

04-10

3542

文章目录前言一、爬虫是什么？二、实现过程总结提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 </font 前言今天，来给大家一个分享一下如何使用20爬虫行代码爬取网络小说（这里我们以龙族为例）一、爬虫是什么？爬虫（又被称为网页蜘蛛，网络机器人）就是模拟客户端（如浏览器、App）发送网络请求，接收请求响应，然后按照一定的规则，自动的从响应中提取出需要的数据。二、实现过程 1.首先，我们来了解一下步骤 1模仿浏览器请求服务器，从而获取数据 2用requests模块对请求的网页

Python爬虫爬取漫画

11-22

在当今的网络时代，信息获取变得越来越便捷，其中，利用Python爬虫技术爬取漫画资源已经成为许多爱好者和研究者经常进行的活动。Python作为一门编程语言，其简洁明了的语法和强大的社区支持，使得它在数据爬取领域...

Python爬虫爬取壁纸

最新发布

11-22

特别是在爬取壁纸这类图像资源时，Python爬虫因其操作简便、扩展性强等特点而尤为突出。 Python爬虫的工作原理主要是通过模拟人类的上网行为，向网页发送请求，然后解析返回的数据，提取出所需的信息。在爬取壁纸的...

python爬虫爬取监控教务系统的思路详解

09-18

在本例中，Python爬虫将被用来定时访问教务系统的成绩查询页面，并从中提取成绩数据。 Python爬虫主要通过模拟HTTP请求（包括GET和POST请求）与教务系统的服务器进行交互。在本例中，使用到了Python的requests库来...

python爬虫酷狗音乐500强_python--爬取酷狗TOP500的数据

weixin_39549899的博客

12-15

375

import requestsfrom bs4 import BeautifulSoupimport timeheaders = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36'}def...

python爬去起点小说名以及评分

ridicuturing的博客

08-01

3018

起点的排序眼花缭乱，什么点击量，收藏量，月票量什么的，唯独没有按评分的排序。我觉得挺奇怪的，评分是个很值得参考的标准，起点居然不做？？？既然他不做，那我自己做吧。大体思路：先写个爬虫把书籍信息爬下来，然后再进行我想要的排列爬虫： https://www.qidian.com/finish?action=hidden&orderId=11&style=1&pageS...

爬虫学习之6：使用XPATH爬取豆瓣TOP500书籍(保存到CSV)

寸先生的AI道路

07-01

2129

豆瓣读书TOP500页面如下，爬取每本书的书名、作者、出版社、出版日期、价格、星级和评论数。代码简单，直接附上：from lxml import etree import requests import csv headers = { 'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, ...

评论抓取：Python爬取AppStore上的评论内容及星级,突破500条限制

Alex的博客

08-03

1万+

之前看到网上有AppStore应用评论的爬虫，但是由于用的是官方提供的api，每个应用最多只能获取到500条评论，完全没法满足数据分析的需求。因此经过一些分析，写了一个可以获取更多评论的爬虫。下面是配置文件：首先解释一下配置文件： max_page：要爬的最大评论页数，每页是10条评论； ids：要爬取的应用id列表； headers：浏览器发起请求的请求头； intervals：每爬一页评论的间隔时间。 ...

利用Python爬取小说（附源码）

qq_41515916的博客

04-27

9325

Python爬取网络小说，不用再为了看小说没有会员而烦恼！

爬虫——python爬取京东商品用户评价