本文介绍了一种使用Scrapy框架进行网页抓取的方法，并详细记录了安装过程，包括选择与Python版本相匹配的Twisted版本及通过pip命令完成安装。
关于用python写爬虫程序
我准备用scrapy这个框架，感觉会省事
1.关于scrapy的安装
第一步：先去安装Twisted (找到和你python版本一致的Twisted版本，注意是32位还是64位)
我用的是3.6版本的，64位的。
在cmd里面输入pip install +Twisted的下载路径 （可以复制）
安装
安装成功
- 再输入pip install scrapy
安装成功
这是比较简便的安装方法，不用去安装lxml, cssselect，之类乱七八糟的包，害我浪费了很多时间。日他哥的。
接下来就可以用scrapy开始写爬虫啦
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
