用Excel分析豆瓣读书数据

最新推荐文章于 2024-12-22 18:15:53 发布

二极脑

最新推荐文章于 2024-12-22 18:15:53 发布

阅读量1.7k

点赞数 2

CC 4.0 BY-SA版权

文章标签： Excel 数据分析

本文链接：https://blog.youkuaiyun.com/ZZLLinux/article/details/90111654

Excel数据分析初探-豆瓣读书数据分析

1.提出问题
2.理解数据
3.数据清洗
4.数据分析及可视化
5.总结

1.提出问题

针对这次豆瓣读书数据的分析，我们要解决以下问题：
1、最受欢迎的书籍
2、最受欢迎的作者
3、业务最好的出版社
4、质量最好/最差的书籍
5、书籍评分和评论数量关系

2.理解数据

我们的豆瓣读书数据一共有60672条记录，数据包含以下字段：书名、作者、出版社、出版时间、页数、价格、ISBN、评分、评论数量。

3.数据清洗

3.1删除重复值

我们选择首先删除数据的重复值，这可以避免后续无意义的运算。
数据>数据工具>删除重复值>全选
在这里插入图片描述

3.2处理缺失值

3.2.1书名

这一列有两种缺失值，一是【None】，二是【点击上传封面图片】，失去书名的记录没有利用价值，我们筛选出这两种情况并将其删除。

3.2.2作者、出版社、ISBN

我们对”作者”这一字段的缺失值以”佚名”填充，”出版社”以”某出版社”填充，”ISBN”以 “*”填充。
选中”作者”所在列，Ctrl + F 查找 “None”>查找全部，选中所有查找出来的内容>替换>“佚名”>全部替换。
对于”出版社”也是相同的操作。
在这里插入图片描述

最低0.47元/天解锁文章

200万优质内容无限畅学

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

二极脑

关注关注

2
点赞
踩
13

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

豆瓣图书数据采集与可视化分析（一）- 豆瓣图书数据爬取

zcs2312852665的博客

04-19

643

本项目将通过数据爬取技术，深入挖掘豆瓣图书分类标签页面以及各分类下的图书详细页面，采集关键信息，并运用合理的数据处理手段对采集到的数据进行清洗、整合，最终形成高质量的数据集。希望通过此次实践，不仅能为后续针对图书数据的分析与应用搭建良好的数据基石，也能为对数据采集与处理感兴趣的同行提供有价值的参考与借鉴，共同探索数据背后的无限可能，进一步推动图书相关领域在数据驱动下的创新发展。

豆瓣图书数据采集与可视化分析（四）- 豆瓣图书数据可视化（Pyecharts）

最新发布

zcs2312852665的博客

06-13

232

本文围绕豆瓣图书数据展开可视化分析，通过 Python 的 Pyecharts 库实现多维度数据的直观呈现。首先基于评分分布、价格区间、出版社规模等六类分析结果，分别采用条形图、饼图、词云图等可视化形式，清晰展示了图书评分分布、价格区间占比、出版社图书数量规模等数据特征。例如，通过环形玫瑰图呈现价格区间与图书数量的占比关系，利用词云图直观对比各出版社的图书出版规模。进一步将单图表整合成可视化大屏，通过网格布局配置实现六张图表的有序排列，并添加深蓝到紫蓝的渐变背景、亮青色标题等设计，增强科技感与视觉统一性。

1 条评论您还未登录，请先登录后发表或查看评论

豆瓣图书数据

12-25

豆瓣评分数据，包含用户图书评分评论等

数据采集之豆瓣读书

weixin_45044349的博客

05-30

540

爬取【豆瓣读书https://book.douban.com/latest?icn=index-latestbook-all】，并将爬取的内容添加导数据库中。数据库 cmd C:\Users\admin>mysql -u root -p mysql> show databases; mysql> use spier; mysql> create table douban(Id Int,BookName varchar(100),Score varchar(20),Autor va

豆瓣读书分析

Weikunkun的博客

06-01

2434

无聊的时候跑跑数据也是极好的伏尔泰曾说“读书使人心眼儿亮” 哦不 “读书使人心明眼亮” 记得手上有一个豆瓣图书的数据然后没事儿就手痒拿来跑了跑源码分析主题书籍数量是否随着时间增长？书籍的评分与年代之间的关系随着时间的推移书籍的价格是否越来越贵书籍一般的价格分布过去的时间段内哪些出版社的书籍最多那几个出版社的书籍评分最高高产作者有哪些写出高质...

豆瓣图书爬虫以及图书数据xlsx

04-24

Python豆瓣爬虫以及爬虫爬好的图书分类数据，文件格式为xlsl，含分类、图书名、作者名、出版社、评分等信息

爬虫-爬取豆瓣读书所有数据

weixin_33631777的博客

07-08

972

代码中我们封装了一个get_one_page_data()方法，参数是页数page，再结合for循环，实现了爬取了所有的数据。代码中我们创建了字典params，并为start键赋值为0，接着我们通过参数params吧定制的查询参数传递给。，并且随着页码的增加，小尾巴中数字部分也在增加。在此使用了time.sleep(1)来暂停1秒的目的是为了网站反爬虫，把我们给封了。中，我们只是获取了第一页的25条数据，剩余的9页数据如何爬取呢？开头的内容也是 URL 重要组成部分之一，被称为。

豆瓣读书爬虫，保存到excel中（2021.6.28可用）

06-28

标题中的“豆瓣读书爬虫，保存到excel中”意味着这个项目是关于编写一个网络爬虫程序，该程序能够从豆瓣读书网站抓取数据，并将抓取的信息存储到Excel电子表格中。这种爬虫通常用于数据分析、图书推荐系统或个人爱好...

豆瓣读书数据分析1

08-04

豆瓣读书数据分析1 本资源摘要信息基于豆瓣读书数据分析1的文件内容，旨在对读书数据进行分析和处理。该文件包含了60671条图书数据，包括书名、作者、出版社、出版时间、页数、价格、ISBN、评分、评论数量等信息。 ...

豆瓣TOP250.xlsx

07-27

Python爬虫：豆瓣读书数据的智能挖掘与分析

Vergelight的博客

12-22

1144

咱们这篇文章，就是想用Python这把“铲子”，带大家一起去豆瓣读书的大海里挖挖看。不仅能学到技术，还能一起探讨数据背后的意义。希望这篇文章能引发大家的讨论，咱们一起探索数据的奥秘。记住，咱们这篇文章和代码，都是用来学习和研究的，真的用的时候，还得遵守豆瓣的规矩和法律。咱们一起努力，让技术更好地服务于生活，同时也保护每个人的权益。大家怎么看？欢迎在评论区留下你的高见，咱们一起讨论讨论。

爬取的豆瓣图书数据

03-15

2300+数据，包括：ISBN 全球唯一图书编号；Title 书名；Author 作者；Author_intro 作者简介；Tag 标签;NumRaters 评分人数;Average 评分;Id 豆瓣内该书Id;Binding 精装/简装;Pages 页数;Publisher 出版商;Origin_title 图书原名 Url 豆瓣链接;Image 图书豆瓣图片;Summary 图书概述;

豆瓣电影数据集(2019.3).xlsx.zip

06-17

豆瓣电影数据集（截至2019年3月），共91369条。包含[电影名称，评分，评价人数，各星级占比，短评数量，影评数量，类型，导演，编剧，主演，制片国家/地区，语言，上映日期，片长，网址，剧情简介]

豆瓣top250电影信息数据库表

10-08

电影信息表主要包括电影基本信息如电影编号、电影地址链接、电影图片链接、电影评分、电影类型、好评率等

WebMagic爬取豆瓣读书的书籍数据

weixin_43774331的博客

12-16

926

本次案例主要是爬取豆瓣读书的标签列表以及每个标签下的书籍名称、对应的URL，然后输出到控制台。 1、引入webmagic的依赖 &lt;!-- webmagic爬虫 --&gt; &lt;dependency&gt; &lt;groupId&gt;us.codecraft&lt;/groupId&gt; &lt;artifactId&

豆瓣读书网站的数据爬取与分析

m0_60388468的博客

03-24

3699

python豆瓣读书网站的数据爬取与分析

【Python数据分析实战】豆瓣读书分析(含代码和数据集)

热门推荐

m0_49263811的博客

12-29

1万+

@[TOC]豆瓣一.导入数据二.数据清洗 2.1清理null值 2.2清洗出版时间列 2.3转换评分及平均数量的数据类型 2.4清洗页数列 2.5清洗价格列 2.6去除书名重复的数据 2.7哪个出版社的书籍评分较高？ 2.8哪些书值得一读？ 2.9作者排名（10部作品及以上）三.数据分析与可视化 3.1各年作品出版数量折线图 3.2各价位作品数量直方图 3.3各出版社出版作品数量条形图&评分折线图 3.4作者作品评分条形图 3.5作品评分树状图 ...

Python爬虫项目实战：豆瓣读书网页数据抓取

weixin_53707653的博客

05-30

1050

可以发现的是，我们需要的字段数据就在前端代码中，得知，数据是静态加载数据，在之前的文章中我有讲到，静态加载数据，我们只需要把前端代码全都抓取下来，之后在做筛选，这样就可以拿到我们想要的数据了。他的需求，就是要爬这个网站里面所有的“书名、作者、出版社、年份、售价”，那么我们现在已知需要爬取的字段了，接下来就是来分析网页，找到数据的位置，我们才能来对他进行爬取操作。这里我们有把所有页面的数据都获取到，其实很简单，我们只需要做一个翻页效果就OK了，这个作业就此完成了，很简单。网址在这，各位一起来看看。

python豆瓣读书数据爬取生成Excel表格没有数据

03-26

### Python 爬虫豆班读书数据导出 Excel 表格无数据的解决方案在处理 Python 爬虫抓取的数据并将其导出至 Excel 文件的过程中，如果遇到生成的 Excel 表格中无数据的情况，可能涉及以下几个方面的原因分析与解决办法： #### 可能原因一：数据未成功写入 Pandas DataFrame Pandas 是一种强大的数据分析工具，在将爬取的数据存储到列表后再转换成 DataFrame 进行操作时，需确保数据结构的一致性和完整性。如果 `book_names` 或其他变量为空或者长度不一致，则可能导致最终无法正常创建 DataFrame。 - **验证数据有效性** 需要在构建 DataFrame 前打印各列表的内容及其长度来确认是否有缺失项或异常值存在[^1]。 ```python print(len(book_names), book_names[:5]) # 打印前五个书籍名称以及总数量 print(len(book_urls), book_urls[:5]) # 同样检查URLs部分 ``` - **调整DataFrame初始化逻辑** 如果发现某些字段确实存在问题可以考虑填充默认值或将错误记录排除在外再重新组装新的DataFrame对象实例化过程如下所示: ```python import pandas as pd data = {'书名': book_names, '链接': book_urls} # 创建字典形式的数据集 df = pd.DataFrame(data) # 将其转化为DataFrame格式以便后续操作 ``` --- #### 可能原因二：Excel 导出配置不当当使用 Pandas 提供的方法尝试把 DataFrame 中的信息保存为 CSV 文件或者是直接转存为 XLSX 类型文件时，可能会因为参数设置失误而导致目标位置上的实际产出物里面没有任何实质性的内容显示出来。 - **指定正确的路径和编码方式** 对于中文环境下的系统来说，默认情况下 UTF-8 编码可能是更好的选择之一；另外也要注意绝对地址书写是否准确无误等问题所在之处[^2]: ```python df.to_excel('E:/output/douban_books_top250.xlsx', index=False, encoding='utf_8_sig') ``` 上述代码片段中的 `'E:/output/douban_books_top250.xlsx'` 应替换为你希望储存结果的具体目录及文件命名组合而成的目标字符串表达式。同时通过设定 `index=False`, 我们能够避免额外增加不必要的索引列占据空间资源浪费现象发生. --- #### 可能原因三：第三方库版本冲突或其他技术障碍有时即使按照标准流程执行完毕之后仍然得不到预期效果的话，也许是因为所依赖的一些外部软件包之间存在着兼容性矛盾亦或是内部实现细节有所改变所致的缘故使得原本可行的功能现在变得不可用了起来。因此建议先升级所有涉及到的相关模块达到最新稳定发行版状态然后再试一次看看情况如何变化再说吧！ ```bash pip install --upgrade pandas openpyxl xlwt pywin32 ``` 完成更新动作以后记得重启 IDE 工作区以刷新加载最新的改动成果哦！ --- ### 总结综上所述，针对 Python 爬虫抓取豆瓣读书数据后生成 Excel 表格却出现空白的现象可以从三个方面入手排查解决问题即核查原始采集得到的各项资料清单是否存在遗漏状况、审查导表环节各项指令语句编写规范程度还有就是留意各个辅助插件之间的相互协作关系这三个维度展开深入探讨研究直至找到根本症结所在为止方才能彻底根除此类故障隐患风险点的存在可能性。