- 博客(5)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 Mysql:由于超过max_allowed_packet引起的pymysql.err.InterfaceError: (0, '')错误
背景:MySQL8.0，python3.6一个py爬虫脚本，同时保存原始页面和抽取的部分数据，小规模数据量测试时正常运行，实际运行时抛出：①ConnectionAbortedError: [WinError 10053] 您的主机中的软件中止了一个已建立的连接②pymysql.err.InterfaceError: (0, '')解决方法：搜索后发现大概有两种引起这...
2019-09-26 18:05:30
523
1
原创 记一个坑:beautifulsoup解析html后内容缺失
soup = BeautifulSoup(res.text,"lxml")检查过HTML无残缺标签或提前闭合，最后使用html.parse替代lxml解决问题，怀疑是解析器兼容性导致
2018-08-02 08:02:07
6629
1
原创 关于MySQL的Error1290 --secure-file-priv
这个错误一般出现在以csv等格式导入导出数据的时候，原因是Mysql没有修改文件的权限，有两种方法解决。一、直接在默认的目录下导出，这个目录一般在C:/ProgramData/MySQL/MySQL Server 5.7/Uploads/ ，可以通过show variables来查看。二、停止服务，去C:/ProgramData/MySQL/MySQL Server 5.7/修改my.in
2016-11-05 20:44:08
19507
原创 记录HtmlUnit一个导致高CPU占用的坑
将爬虫部署到服务器上运行后，在查看服务器的状态监控时发现，天猫爬虫执行一段时间后，CPU占用异常升高，内存也跟着爆炸，虽然程序没有中断，但是爬取速度已经变成龟速。查看日志，发现抛出了java.lang.OutOfMemoryError: Java heap space异常。在服务器上通过jstack查到占用CPU最严重的五个线程里有四个竟然都是htmlunit下的webclient。G
2016-10-30 21:25:09
2088
原创 64位win10下spynner安装小结
看了很多网上安装介绍，结果反而因为各种原因多走了不少弯路。血的教训，长点心眼，以后找安装攻略一定要记得看看发帖时间……安装spynner之前首先需要安装pyqt4，Windows下可以在官网https://www.riverbankcomputing.com/software/pyqt/download直接下最新GPL协议的PyQt4-4.11.4-gpl-Py2.7-Qt4.8.7-x6
2016-10-23 09:51:28
1322
空空如也
urllib里是否实现了DNS缓存？
2018-08-13
TA创建的收藏夹 TA关注的收藏夹
TA关注的人