Scrapy爬虫+Tkinter爬取天猫热门商品（一）

一、引言

每当双十一、双十二，看着淘宝、天猫、京东网页上琳琅满目的商品，经常有人会因为选择困难症不知道该购买什么好。而且购物网站商品的排列顺序经常会受到人为控制。因此，一个具有通过输入关键字，筛选相关热门产品并按热门程度排序的程序是有存在意义的。本程序以天猫为例，使用Python语言开发，利用Scrapy框架爬取网页信息，利用Tkinter框架构建程序GUI。源代码已上传至GitHub：https://github.com/HirojiSawatari/FindGoods。最终界面如下所示：

二、框架安装

Tkinter框架为内置模块，无需额外安装，而Scrapy框架安装方法见官方链接：https://doc.scrapy.org/en/latest/intro/install.html

三、Scrapy配置

构建项目后，由于天猫具有反爬取措施，首先需要在配置文件settings.py中输入以下代码：

# 绕过天猫robots.txt
ROBOTSTXT_OBEY = False

# 禁止cookies,防止被ban
COOKIES_ENABLED = False

# 伪装chrome
USER_AGENT = 'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.89 Safari/537.36'

同时，为了输出爬取得到的信息，同样需要在setting.py中输入输出文件信息：

# Output .csv
FEED_URI = u'goods.csv'
FEED_FORMAT = 'CSV'

配置文件配置完毕，接下来开始爬取工作请见下一篇博文：

Scrapy爬虫+Tkinter爬取天猫热门商品（二）