
crawler
bitcarmanlee
这个作者很懒,什么都没留下…
展开
-
爬取豆瓣排名前100的电影
最近很多工作需要用到爬虫去爬取各种数据。本人也不是专业爬虫攻城狮,之前也没做过爬虫的相关工作。现在实际中遇到了要用,那就只好硬着头皮上吧。趁着周末稍微有点时间,网上找了找爬虫相关的资料与项目,然后参考其中某一个比较简单一些的,先上手实际搞一个练练手再说。1.爬虫的一般思路爬虫的基本想法就是以一个初始的url为起点,从这个url出发获得更多的url,并从这些网页中获取想要的数据。像google或者ba原创 2017-03-28 22:18:28 · 11983 阅读 · 1 评论 -
Scrapy ImportError: No module named items
1.问题描述在执行scrapy crawl命令爬取数据的时候,代码报了以下错误:ImportError: No module named items但显然我们代码里面是有items这个类的。那问题出现在哪里呢? 求助万能的stack overflow,发现正好有谈到这个问题。2.问题产生原因简单一句话来描述就是: 爬虫的名字跟项目的名字一样,导致最终导入的时候出错3.解决方案stackoverf原创 2017-03-25 23:22:34 · 9889 阅读 · 2 评论