AinUser的博客

# 情境 今天在爬虫的时候，遇到了这个问题，主要还是类型不对 # 案例 hot = video.xpath("./td[@class='last']/span/text()") 原本传递方式：直接将hot传递 如果目标类型为str修改后：str(hot) 或者 hot[0] # 问题 我的是因为，源类型是列表List，且列表List里面只有一个元素，然而我当做str传递了，所以报错了 # 解决 如果你希望传递str类型的话，可以使用str(xxx) 如果您这边需要获取该元素，可以使用xxx[0.

# 问题原因 项目启动运行，缺少scrapy依赖库 # 解决 pip install scrapy -i https://pypi.tuna.tsinghua.edu.cn/simple/ # 其他 如果报错，我这边是由于我之前在D盘移动到F盘的缘故 后来我将环境变量调整为了F盘的python路径 并且将python27重新下载安装了 ...

首先主要的就是你应该对scrapy目录结构，有一个相对清晰的认识，至少有过一个demo 一、手动更新IP池 1.在settings配置文件中新增IP池: IPPOOL=[ {"ipaddr":"61.129.70.131:8080"}, {"ipaddr":"61.152.81.193:9100"}, {"ipaddr":"120.204.85.29:3128&quo

按照下面的操作步骤，一步一步来，不要着急，不要跳过，每一步骤都要正确在执行下一步 1.首先下载scrapy的whl包：http://www.lfd.uci.edu/~gohlke/pythonlibs/，下载Scrapy‑1.3.3‑py2.py3‑none‑any.whl   2.没有安装过wheel库的请先安装pip install wheel   3.scrapy依赖twiste，...