
scrapy
HuaCode
奋斗之路漫漫长,我寄恒心于来日!
展开
-
Scrapy运行错误:ValueError: invalid literal for int() with base 10: ''
正文:错误语句:Item['job_minpayment']=str(round(int(re.split('\-', Item['job_minpayment'])[0])/12, 2)*10000)错误分析:通过爬取得到的是一个(数字-数字)这样的字符串,然后我通过-分割得到前面的数字,并对其进行转换为整数,但是在转换过程中出了问题。错误类型:Val...原创 2018-03-30 15:44:56 · 43693 阅读 · 0 评论 -
scrapy运行问题:IndexError: list index out of range
正文:错误类型分析:IndexError: list index out of range情况一: list[index]中的index下标超出范围了,所以出现了访问越界;情况二: list本身就是一个空的,没有一个元素,所以当访问到list[0]的时候,就会出现该错误。错误实例分析:错误语句: Item['job_maxpayment'] =...原创 2018-03-30 16:07:53 · 114434 阅读 · 2 评论 -
Scrapy创建爬虫项目——搭建环境、创建项目、爬取内容、保存文件(.txt格式)
前言序锦为了做比赛,需要从网上爬取数据,所以自己不得不从零基础开始学爬虫,当自己学着从网上爬取一本小说,从网上爬取自己想要的数据后,一步步掌握了爬虫的机理后,开始想着如何去实现爬取一个网站:首先我们需要了解爬虫的简单框架: 爬虫调度端:启动爬虫,停止爬虫,监视爬虫运行情况;URL管理器:将要爬取的和已经爬取的URL进行管理;可取出待爬取的URL,将其传送给“网页下载器”网页...原创 2018-01-18 12:08:49 · 5044 阅读 · 2 评论