
爬虫
文章平均质量分 68
烤奶要加冰
技术栈:【Python、Django、Flask、HTML、Vue、Jenkins、Docker、uni-app、爬虫、微信小程序、HarmonyOS】欢迎联系~
展开
-
使用阿里云服务器Ubuntu搭建代理服务器报错unable resolve host
解决方法:一、切换登录用户sudo su root二、修改 /etc/hosts 文件sudo vim /etc/hosts三、添加报错host127.0.0.1 localhost 报错host名字四、保存并退出:wq问题解决,可以正常使用命令开启搭建的服务器...原创 2019-10-22 14:04:26 · 447 阅读 · 0 评论 -
scrapy框架将数据写入txt出现数据丢失
分析:获取网页中的数据可以成功爬取,但是在写入txt操作的时候部分数据丢失。可能原因是scrapy框架是异步爬取数据,所以写入数据的时候不能完全写入完整的数据。解决方法:一、代码pipelines.py# 开启爬虫前调用def open_spider(self, spider): self.file = open(r'novels/dhzmg.txt', 'w', enco...原创 2019-10-22 13:18:42 · 1247 阅读 · 0 评论