j_bleach的博客

前言 今天是2018的第一天，首先祝各位小伙伴元旦快乐！ 又到了新的一年，虽然离春节还有一段时间，但是程序狗打工不易啊，不关注薪资怎么行。今天要做的就是用图表统计一下现在各公司的薪资状况（虽然很多公司不能按照招聘上他们给的薪资来给）。 数据爬取 本次使用scrapy来做数据爬取，这是一个python的框架。因为本人在成都从事web前端，所以这次爬取的关键词既是：成都，web前端。 s...

前言本文记录自己在学习scrapy当中遇到的各种大小问题，持续更新。环境简介： 语言版本 爬虫框架 IDE 系统 python3.5 scrapy1.4.0 pycharm win10 x64 scrapy安装失败报错显示缺少Twisted。 错误分析：Twisted本身是一个网络引擎框架，scrapy的运行依赖于Twisted。 解决办法：通过 http://ww