AinUser的博客

# 情境今天在爬虫的时候，遇到了这个问题，主要还是类型不对# 案例hot = video.xpath("./td[@class='last']/span/text()")原本传递方式：直接将hot传递如果目标类型为str修改后：str(hot) 或者 hot[0]# 问题我的是因为，源类型是列表List，且列表List里面只有一个元素，然而我当做str传递了，所以报错了# 解决如果你希望传递str类型的话，可以使用str(xxx)如果您这边需要获取该元素，可以使用xxx[0.

# 问题原因项目启动运行，缺少scrapy依赖库# 解决pip install scrapy -i https://pypi.tuna.tsinghua.edu.cn/simple/# 其他如果报错，我这边是由于我之前在D盘移动到F盘的缘故后来我将环境变量调整为了F盘的python路径并且将python27重新下载安装了...

首先主要的就是你应该对scrapy目录结构，有一个相对清晰的认识，至少有过一个demo一、手动更新IP池1.在settings配置文件中新增IP池:IPPOOL=[ {"ipaddr":"61.129.70.131:8080"}, {"ipaddr":"61.152.81.193:9100"}, {"ipaddr":"120.204.85.29:3128&quo

按照下面的操作步骤，一步一步来，不要着急，不要跳过，每一步骤都要正确在执行下一步1.首先下载scrapy的whl包：http://www.lfd.uci.edu/~gohlke/pythonlibs/，下载Scrapy‑1.3.3‑py2.py3‑none‑any.whl 2.没有安装过wheel库的请先安装pip install wheel 3.scrapy依赖twiste，...