【开源】scrapy爬取亚马逊商品评论

最新推荐文章于 2024-02-25 21:44:37 发布

原创

最新推荐文章于 2024-02-25 21:44:37 发布 · 5.5k 阅读

8 ·

CC 4.0 BY-SA版权

文章标签：

#python #源代码 #scrapy #亚马逊

这篇博客介绍了一个基于Scrapy的Python爬虫项目，用于抓取亚马逊商品的用户评论，包括评论内容、时间及评分。作者在GitHub上提供了源代码，并分享了爬取过程中的经验，如遇到的重复评论问题，原因是亚马逊的评论是针对商家而非具体商品。

一、前言

同样在此声明，爬取亚马逊商品评论仅为学习，若用于商业用途，后果自负。

上一篇博文http://blog.youkuaiyun.com/c_son/article/details/43267551对亚马逊商品的爬取，这次在上一篇的基础之上，对爬取到的商品，我们再进行用户评论的爬取。源码见github https://github.com/jerry-sc/AmazonIphone6CommentsSpider.git

二、items.py

这个文件不多说了，只是对数据的封装，我们要爬取的是用户评论的内容，时间以及用户的打分。

# -*- coding: utf-8 -*-

# Define here the models for your scraped items
#
# See documentation in:
# http://doc.scrapy.org/en/latest/topics/items.html

import scrapy


class Amazoniphone6CommentsItem(scrapy.Item):
    # define the fields for your item here like:
    # name