
爬虫
Joy-x
人生苦短
展开
-
java调用scrapy无反应解决办法
在第一次执行这串代码时,无任何反应。之后尝试发现:遇到这个问题时,本地的python环境我用的是annaconda配置的,在重新更改配置了本地python环境(从python官网下载并配置好的环境、安装相应的库)后,就能正常调用scrapy,得到想要的效果。import java.io.*;public class StartSpider { private static String path = "F:\\Pychram\\Treefrog\\mySpider"; public原创 2020-05-27 12:54:39 · 815 阅读 · 0 评论 -
从mysql数据库取数据:fetchone()、fetchall() fetchmany()
最近碰到需要从mysql数据库取数据的操作,记一下使用到的函数:从mysql数据库取数据用到的三个函数:fetchone() :返回单个的元组,也就是一条记录(row),如果没有结果 则返回 Nonefetchall() :返回多个元组,即返回多个记录(rows),如果没有结果 则返回 ()fetchmany(num):同fetchall一样,只不过返回的是指定个数的元组。self...原创 2020-03-09 16:11:04 · 8880 阅读 · 0 评论 -
解决使用urllib.request.urlretrieve()下载批量文件,下载文件不完全的问题且避免下载时长过长陷入死循环
结合在网上找到的解决办法,成功解决了在使用urlretrieve下载文件的过程中所遇到了一些问题:urlretrieve下载文件不完全且下载时长过长陷入死循环参考地址1、参考地址2# -*- coding: utf-8 -*-import pathlibimport reimport socketimport timeimport urllib.requesturl = "ht...原创 2020-03-09 13:15:33 · 5208 阅读 · 1 评论