- 博客(9)
- 收藏
- 关注
RSS订阅转载 python线程池 ThreadPoolExecutor 的用法
python线程池 ThreadPoolExecutor 的用法及实战前言从Python3.2开始，标准库为我们提供了 concurrent.futures 模块，它提供了 ThreadPoolExecutor (线程池)和ProcessPoolExecutor (进程池)两个类。相比 threading 等模块，该模块通过 submit 返回的是一个 future 对象，它是一个未来可期的对象，通过它可以获悉线程的状态主线程(或进程)中可以获取某一个线程(进程)执行的状态或者某一个任务执行的状态及返
2020-09-02 17:28:09
553
原创 Mysql命令使用
Mysql注意事项在面对select查询相关数据时候，特别是数据量较大的时候，尽量不要使用相关order by去增加工作量，如下：select * from 表名 where id = 2 order by id limit 1其中这个order by id 只会增加查询时间where条件后面尽量跟主键，这样效率更高update 表名 set issn = '1110-7231' w...
2020-08-24 10:30:25
154
原创 Mysql 百万级数据导入 source 命令的使用
Mysql 数据导入导出大量数据的导入在导入大的sql文件时，使用可视化工具导入往往效率极低，此时，我们常常使用在cmd中执行source命令的方式第一步，打开cmd命令窗口，进入数据库mysql -u用户名 -p输入密码第二步，切换数据库mysql>use test; （其中test为要导入的数据库名）第三步，导入sql文件mysql> source E:/pro_sql/test.sql （source后边为sql文件存放位置）...
2020-06-15 16:24:01
902
原创 无法安装fiddler，告知已有fiddler，之前却已经手动删除，无法找到文件夹
打开Fiddle，提示“Machine-wide Progress Telerik Fiddler installation has been found at ...Please, use that one or uninstall it ...”解决步骤：1.windows按钮+R2.输入regedit +回车+是3.进入注册表4.删除以下内容： ...
2020-04-22 11:51:19
2071
转载 python 数据中文乱码问题
在爬虫时，经常遇到中文乱码，其实在requests获取response时进行转码即可def crawler(): baseurl="http://www.weather.com.cn/weather/101010100.shtml" r=requests.get(url=baseurl) r.encoding="utf-8" # 感觉直接r.text传入就可以处...
2019-12-23 11:56:07
1466
原创 python 爬虫多次重定向处理
重定向篇大家有没有在请求的过程中遇到302重定向，在爬取某网时候我遇到4次重定向才能得到某数据，请各位看官看下图：经过4次跳转我才能获取到我想要的url，那么这个时候很简单，一次次的盘他import requestsurl = "我是某url"# allow_redirects=False的意义为拒绝默认的301/302重定向从而可以通过html.headers[‘Location’...
2019-11-29 16:35:14
1792
原创 selenium相关总结
selenium多次点击指定元素在使用chromdriver时候会遇到加载慢问题，这个时候会使用到这个封装的函数进行每次间隔一秒的寻找指定元素。import timefrom selenium import webdriver# 这个函数的意思是去试着寻找指定的元素 尝试200次，每次间隔一秒def TryUntilFind(driver, element, findway='fin...
2019-11-29 16:00:29
211
原创 window中关于mongodb4.0.2 安装
在Windows中安装最新版MongoDB 4.0.2小师弟最近请我帮忙安装MongoDB, 总是安装到三分之二就卡这不动了,正好借这个机会总结下MongDB的安装步骤,希望能帮到一些朋友 安装过程关闭防火墙以及相关安全管家、卫士 安装过程关闭防火墙以及相关安全管家、卫士 安装过程关闭防火墙以及相关安全管家、卫士 重要的事情说三遍下载地址 : https://w...
2018-08-31 10:16:29
812
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人