
爬虫
ksx_120999
江湖问路不问心,问心问得几路行。
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
firefox 下载文件时处理此文件的方法
首先selenium的浏览器驱动要加载自己的firefox的配置路径,而不是使用默认配置路径信息。使用selenium下载文件时,一直会跳出保存信息,如下图:handlers.json内容 "application/zip":{"action":0,"ask":true,"extensions":["zip"]}后面添加,"text/csv":{"actio...原创 2019-11-04 09:42:40 · 2713 阅读 · 0 评论 -
raise InvalidSchema("No connection adapters were found for '%s'" % url)
url路径多了个双引号导致的。一直找不到问题,期间有两个双引号被我忽略掉了。后来print了一些源码,然后一步一步去找发现。多了个双引号,因为是读取配置表的,配置表有没有显示。...原创 2019-09-23 10:45:22 · 12740 阅读 · 1 评论 -
mysql安装时的一些问题总结,自勉~~
1.下载地址: https://dev.mysql.com/downloads/file/?id=4858122.安装: 端口号 : 3308 密码 : 111111pip install PyMySQL进入到 C:\Program Files\MySQL\MySQL Server 8.0\bin 执行数据库操作或者设置 C:\Program Files\My...原创 2019-05-06 11:14:10 · 892 阅读 · 0 评论 -
pandas 屏蔽 SettingWithCopyWarning A value is trying to be set on a copy of a slice from a DataFrame
http://pandas.pydata.org/pandas-docs/stable/user_guide/indexing.html添加如下一行代码:# 不提示警告pd.set_option('mode.chained_assignment', None)# !/usr/bin/env python # -*- coding:utf-8 -*-import p...原创 2019-04-11 18:33:44 · 2237 阅读 · 0 评论 -
chromedriver 的镜像路径和对应的部分chrome版本浏览器下载路径
chromedriver下载路径:http://npm.taobao.org/mirrors/chromedriver/notes.txt文件有说明对应的chrom版本。 chrome历史版本版本下载路径:https://www.chromedownloads.net/chrome64win/...原创 2019-04-02 11:41:38 · 804 阅读 · 0 评论 -
安装mongoDB win7 错误1053服务没有及时响应启动或控制请求
使用命令mongod --bind_ip 0.0.0.0 --logpath E:\mongodb_4.0.3\data\logs\mongo.log --logappend --dbpath E:\mongodb_4.0.3\data\db --port 27017 --serviceName "MongoDB" --serviceDisplayName "MongoDB" --instal...原创 2018-11-09 07:55:45 · 1620 阅读 · 0 评论 -
【转】CrawlSpider源码分析
转载1:https://blog.youkuaiyun.com/zq602316498/article/details/37988683转载2:https://www.jianshu.com/p/ff9125650697class CrawlSpider(Spider): rules = () def __init__(self, *a, **kw): super(CrawlS...转载 2018-04-20 22:20:07 · 224 阅读 · 0 评论 -
执行 scrapy爬虫 You do not have a working installation of the service_identity module:
在执行 scrapy crawl domz时,警告::0: UserWarning: You do not have a working installation of the service_identity module: 'cannot import name 'opentype''. Please install it from <https://pypi.python.org/p...原创 2018-04-19 23:27:30 · 2310 阅读 · 0 评论 -
Python下安装matplotlib
只要在python3.5/3.6下,直接使用pip install matplotlib就可以直接安装matplotlib及其所需要的所有第三方库。在控制台输入:pip install matplotlib会自动安装,安装成功后显示:在python环境下执行,import:说明安装成功。...原创 2018-04-10 07:56:48 · 259 阅读 · 0 评论