本文介绍了如何使用Scrapy爬虫框架来应对网页中通过JS交互加载的表格数据。针对一个需要手动选择页码才能显示数据的案例，通过分析网页元素和利用Firefox的Firebug插件找到了关键的请求参数。代码实现已上传至GitHub，运行代码可将每个页面的数据保存为result.txt.x。参考链接提供了更多关于Scrapy和处理JS交互的资料。
0. 问题背景
前段时间，我有个朋友让我帮他从网页上自动下载些表格数据。像这个网站http://wszw.hzs.mofcom.gov.cn/fecp/fem/corp/fem_cert_stat_view_list.jsp的表格数据。其难点在于每页的url地址是不变的，有一个交互的过程，需要用户选择第几页，网页才返回数据。要是没有这个过程，用普通的wget也可以解决。
1. scrapy是一个很好的爬虫框架
我花了点时间研究scrapy怎样爬取数据，我后来发现有人已经在github上做过类似的项目，像这个http://rnp.fas.gov.ru/Default.aspx网站的表格数据，它由AmbientLighter已经实现，源代码见rnp项目。pluskid同学有篇博文介绍scrapy的，我觉得很好，链接。
2. 找到相应XPath
基于以上基础，打开Firefox的Firebug插件，找到相应的表单项，如下：</
最低0.47元/天 解锁文章
扫一扫
2122
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
