goodreads-scraper：自动化抓取Goodreads书籍信息与评论

goodreads-scraper：自动化抓取Goodreads书籍信息与评论

goodreads-scraper A Python scraper for Goodreads books and reviews. 项目地址: https://gitcode.com/gh_mirrors/go/goodreads-scraper

项目介绍

goodreads-scraper 是一组使用 Python 编写的脚本，专门用于从 Goodreads 网站收集书籍评论和元数据。Goodreads 是全球最大的书籍社交网站之一，提供了丰富的书籍信息和用户评论。然而，其官方 API 使用复杂，且不提供评论全文的访问权限。因此，goodreads-scraper 利用网页抓取库 Beautiful Soup 和 Selenium 来实现数据收集功能。

项目技术分析

本项目主要采用以下技术：

• Python 3：作为主要的编程语言，用于编写数据抓取和处理的脚本。
• Beautiful Soup 4：一个用于解析 HTML 和 XML 文档的库，便于从网页中提取数据。
• Selenium：一个用于自动化 web 应用程序测试的工具，本项目使用它来模拟浏览器操作。
• lxml：一个用于处理 XML 和 HTML 的库，常与 Beautiful Soup 配合使用以提升解析效率。
• geckodriver-autoinstaller 和 webdriver_manager：用于自动管理和安装浏览器驱动程序，以便 Selenium 能够驱动浏览器。

项目技术应用场景

goodreads-scraper 的应用场景广泛，主要包括：

1. 学术研究：例如，本项目开发团队就利用此工具收集数据，撰写了关于 Goodreads “经典”作品读者、亚马逊和众包业余评论的计算研究论文。
2. 数据聚合：图书管理员或图书馆可以利用此工具收集书籍的评论和元数据，以丰富图书馆资源。
3. 个性化推荐：开发人员可以根据用户评论和书籍元数据，构建个性化推荐系统。

项目特点

goodreads-scraper 具有以下特点：

1. 易用性：通过命令行或 Jupyter Notebook 教程，用户可以轻松运行脚本并获取数据。
2. 灵活性：支持多种输出格式（JSON 或 CSV），并且可以根据需要过滤和排序评论。
3. 可扩展性：脚本接受用户指定的书籍 ID 列表，允许批量处理书籍数据。
4. 容错性：尽管 Goodreads 网站的更新可能会破坏代码，但项目维护者提供了问题反馈渠道，以便社区协作解决问题。

以下是一个具体的项目使用案例：

采集 Goodreads 书籍元数据

使用脚本 get_books.py 可以收集书籍的元数据，如评论总数、平均评分、最常见的书架等。只需提供书籍 ID 列表文件，脚本将输出包含以下信息的 JSON 文件：

• 书籍 ID 和标题
• ISBN
• 首次出版年份
• 作者
• 页数
• 流派
• 书架
• 评分分布

例如，运行以下命令：

python get_books.py --book_ids_path most_popular_classics.txt --output_directory_path goodreads_project/classic_book_metadata --format CSV

采集 Goodreads 书籍评论

使用 get_reviews.py 脚本，可以收集书籍评论及其元数据，包括评论内容、评分、用户名等。脚本支持多种排序和过滤选项，以适应不同的数据需求。

例如，运行以下命令：

python get_reviews.py --book_ids_path most_popular_classics.txt --output_directory_path goodreads_project/classic_book_reviews --sort_order default --rating_filter 5 --browser chrome

通过以上介绍，goodreads-scraper 无疑是一个强大的工具，对于需要从 Goodreads 收集书籍数据的用户而言，具有很高的实用价值。

goodreads-scraper A Python scraper for Goodreads books and reviews. 项目地址: https://gitcode.com/gh_mirrors/go/goodreads-scraper