python爬取豆瓣图书Top250

最新推荐文章于 2025-09-01 22:43:48 发布
原创 最新推荐文章于 2025-09-01 22:43:48 发布 · 4k 阅读 · 30 ·
CC 4.0 BY-SA版权
本文首发于公众号：柠檬培养师（ID: yantinger90），欢迎关注！
文章标签：

#python #爬虫 #top250

本文介绍了一位新手如何使用Python3.5和Windows 10进行网络爬虫实践，目标是爬取豆瓣读书Top250列表。通过分析网页结构，确定爬取内容包括书名、别名、信息、评分和人数。主要运用requests、lxml和BeautifulSoup库，最终将数据保存为xls文件，并提供了相关文档链接作为补充材料。

平台

python3.5
windows 10

目标结构

最近想学习一下python爬虫，所以目标定在豆瓣读书top250。结构简单，没有js加载的内容等，感觉比较适合入门新手来爬取。
首先看一下top250的网页结构，chrome浏览器，通过F12查看。

这里写图片描述

可以看到每本书的条目，对应的网页里是一个table的标签。继续点开箭头，可以看到一本书中具体的内容结构：

这里写图片描述

准备爬取的内容主要是书名、别名、信息、评分、人数、描述
以《追风筝的人》为例：
书名：追风筝的人
别名：The Kite Runner
信息：[美] 卡勒德·胡赛尼 / 李继宏 / 上海人民出版社 / 2006-5 / 29.00元
评分：8.8
人数：259215
描述：为你，千千万万遍

爬取

主要使用了三个python库，requests，lxml，BeautifulSoup
requests库主要是获取网页的内容和结构
lxml库用来解析网页
BeautifulSoup则是用来抽取网页中的文本信息

贴上代码：

#!/usr/bin/env python
最低0.47元/天 解锁文章
python爬虫豆瓣大作业-Python爬虫-爬取豆瓣图书Top250
weixin_37988176的博客
10-30 1512
豆瓣网站很人性化，对于新手爬虫比较友好，没有如果调低爬取频率，不用担心会被封 IP。但也不要太频繁爬取。涉及知识点：requests、html、xpath、csv一、准备工作需要安装requests、lxml、csv库二、分析页面源码打开网址，按下F12，然后查找书名，右键弹出菜单栏 Copy==> Copy Xpath以书名"追风筝的人” 获取书名的xpath是：//*[@id=&qu...
豆瓣top250图书爬取
qq_51233271的博客
01-17 670
爬取网站为：豆瓣链接 from bs4 import BeautifulSoup import requests from openpyxl import Workbook excel_name = "书籍.xlsx" wb = Workbook() ws1 = wb.active #获取这个工作簿 ws1.title='书籍' def get_html(url): header = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10
豆瓣读书top250的书籍数据爬虫Python全代码实现
qq_72242066的博客
01-16 4869
豆瓣读书top250的书籍数据爬虫Python全代码实现
Python 爬虫案例：爬取豆瓣电影 Top250 数据
最新发布
enlybbq的博客
09-01 4970
intro = quote_tag.get_text(strip=True) if quote_tag else "无简介"电影简介位于class为 "inq" 的span标签中。同样添加了条件判断，处理没有简介的情况。
爬取豆瓣图书TOP250
阳光zfc
08-05 832
headers={'User-Agent':'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'} fp=open("H:/doubanbook.csv",'wt',newline='',encoding='utf-8') wri...
豆瓣图书top250爬取
weixin_43729137的博客
09-23 324
# 导入相应的库文件 from lxml import etree import urllib.request import csv # 创建csv fp = open('doubanbooktop250.csv', 'wt', newline='', encoding='utf-8') writer = csv.writer(fp) writer.writerow(('name', 'url', 'author', 'publisher', 'date', 'price', 'rate', 'comm
Python爬取豆瓣top250电影数据，并导入MySQL，写入excel
12-21
Python爬取豆瓣top250电影数据，并导入MySQL，写入excel 具体数据：电影链接、电影名称、电影评分、评分人数、电影概括 import pymysql import xlwt from bs4 import BeautifulSoup from urllib import request ...
python爬取豆瓣top250并下载图片
10-03
在本项目中，我们主要探讨的是使用Python进行网络爬虫，目标是获取豆瓣电影Top250的数据，并将其存储到Excel表格中，同时下载相关的图片。这是一个初学者入门级的爬虫项目，对于想要了解Python爬虫基础的朋友来说...
python爬取豆瓣网站TOP250
m0_73511684的博客
06-24 1112
UA（user-agent）伪装，是我本次采用的伪装策略，也是最简单的伪装策略，有些网站的反爬机制比较复杂，则需要采用更加复杂的反反爬机制来进行伪装，不过，对于豆瓣来说，UA伪装就够用了。状态码是418，意思是服务器拒绝了我们的请求。这是因为服务器没有识别到我们是用户端，所以为了保证网站数据的安全，将我们拒之门外。可以看到电影的信息都在<li>.....<li>中的，我们拿到本页面的html代码之后开始解析数据。可以看到，我们已经得到了整个页面的html代码，那么下一步我们就需要从中提取我们需要的信息。
python爬取豆瓣读书top250并保存xls（含源码）
jadsgfuhya的博客
06-06 1282
python爬取豆瓣读书top250并保存xls（含源码） 又是霍霍豆瓣的一天O(∩_∩)O哈哈~。 目标网站：http://book.douban.com/top250/ 全军出击！！！ 首先，按下F12 可以点击左上角小按钮快速查看xpath哦 ok，开始爬虫！ 首先导入库 import re import xlwt import requests from bs4 import BeautifulSoup 因为xlwt和bs4不是python自带的库，所以我们要自行去cmd: pip insta
Python爬虫，爬取豆瓣读书top250
qq_63772848的博客
12-18 1233
使用python爬取豆瓣读书top250的书籍。
Scrapy爬取豆瓣图书Top250代码实现.txt
07-18
爬取豆瓣网图书TOP250的信息，只有一级网页结构，可以帮助初学时入门。
豆瓣图书TOP250
11-15
该文件为豆瓣上评分排行前250的图书信息数据，数据爬取文章网址：https://blog.youkuaiyun.com/LEEBELOVED/article/details/83790006
豆瓣读书top250爬取
m0_50833892的博客
01-10 1225
练习豆瓣爬取读书top 250 13：12 非 json 格式 from urllib.request import urlopen,Request from bs4 import BeautifulSoup import time import xlwt headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.121 Safa
python爬虫爬取豆瓣读书Top250
guoxuying的博客
08-23 609
python爬虫爬取豆瓣读书Top250 话不多说，直接上代码！ from urllib.request import urlopen, Request from bs4 import BeautifulSoup import random class DBTop250_Spider(): url = r"http://book.douban.com/top250?start=" page_num = 0 top_num = 1 headers = [ {'
利用python爬取豆瓣读书TOP-250
Jie_Ger的博客
11-20 767
import re import requests from bs4 import BeautifulSoup def book(target_url): books = [] # 使用requests返回网页的整体结构 book = requests.get(target_url) # 使用lxml作为解析器，返回一个Beautifulsoup对象 so...
Python——爬取目标豆瓣图书TOP250
lanse_l的博客
03-07 1380
目标网址：https://book.douban.com/top250?start=0 参考资料： Requests: http://docs.python-requests.org/zh_CN/latest/ BeautifulSoup: https://www.crummy.com/software/BeautifulSoup/bs4/...
Python : 爬虫代码03--爬取豆瓣图书TOP250信息
weixin_44523387的博客
06-26 326
from lxml import etree import requests import time for a in range(10): url = ‘https://book.douban.com/top250?start={}’.format(a*25) data = requests.get(url).text s=etree.HTML(data) file=s.xpath('//*[@...
python爬取豆瓣读书Top250
05-26
好的，以下是一个爬取豆瓣读书Top250的Python代码示例: ``` import requests from bs4 import BeautifulSoup url = 'https://book.douban.com/top250?start=' headers = { 'User-Agent': 'Mozilla/5.0 (Windows ...
评论 4
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值