笔记
关注
分享
扫一扫
风云路上想改名
简单的事情做好就是极致
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
scrapy使用并发送email
scrapy两种方法构建发送器发送email原创 2018-08-17 22:52:13 · 2101 阅读 · 4 评论 -
agoda获取酒店数据
最近改了改代码，正好解决了一些报错问题，更新出来。个别处会加蜜数据库以及线程控制from DBUtils.PooledDB import PooledDBimport requestsimport demjsonimport timeimport randomimport jsonimport pymysqlimport datetimeimport threadingb ...原创 2018-11-20 17:00:06 · 1366 阅读 · 3 评论 -
python进行大量sql报错(非连接池问题)
MySQL超过最大进程报错结局python实现解决问题分析MySQL阻塞原因#就报错原创 2018-11-26 22:10:55 · 853 阅读 · 0 评论 -
python数据结构与算法---数组(线性数组)
线性表一维数组到n维数组原创 2018-12-18 20:59:23 · 919 阅读 · 0 评论 -
app爬虫appium获取借贷宝，无忧等等(配置文件)
python，appium模拟器的交互appium模拟用户部分通用函数多开appium和模拟器连接原创 2019-03-01 16:09:10 · 1617 阅读 · 5 评论 -
app爬虫appium获取借贷宝，无忧等等(控制文件)
appium多开控制连接切换app原创 2019-03-01 17:20:59 · 1767 阅读 · 7 评论 -
记录一次糟心的appium启动篇
adb 连接模拟器UI代码开始app包名active获取原创 2019-03-14 18:52:14 · 364 阅读 · 1 评论 -
python分布任务celery(笔记1)
python 分布celery初步解读celery配置原创 2019-03-18 20:59:54 · 667 阅读 · 0 评论 -
由appium capabilities(cpas) 衍生的标签定位不到的解决方案
1,autoWebview：#autoWebviewTimeout可以给webview定一个超时时间#直接切到webview上下文(context)在一些文档中基本都是类似的解释，在学习selenium的前提下你可能真的不知道##appium是由selenium封装而来的。webview就相当于web页面上的一个frame表单，不仅仅如此。在appium当中可以由driver.conten...原创 2019-04-01 15:04:13 · 308 阅读 · 0 评论 -
python进阶collections.namedtuple延伸
py的collections.namedtuple详解，python关于魔术方法的调用迭代器生成器原创 2019-04-01 18:33:31 · 410 阅读 · 0 评论 -
python数据结构之树形结构
python数据结构二叉树树的查询，遍历，存储原创 2019-04-09 17:19:01 · 4623 阅读 · 0 评论 -
微博简单的免登陆获取
这个记录一下，简单web端的登陆有空贴上来。此处是从浏览器手机一面走的。仅供参考phone_url="***********&page={0}".format(h) header={ "User-Agent":"*********", } req=requests.get(url=phone_url,headers=...原创 2019-04-15 14:39:24 · 12038 阅读 · 0 评论 -
Python爬虫踩坑之随机数种子的问题
在看一本数据库产生了一个关于离散的问题，由于本人对离散还不懂。在大佬的建议下研究了下随机数种子的问题（和此问题类似吧）由于随机数种子的概念有些文章已经有了就不在赘述:随机数种子概述在此主要通过Python当中random来研究这个问题:random模块进入模块源码：比较看重翻译的同学请忍耐 def seed(self, a=None, version=2): """...原创 2018-11-08 10:04:50 · 3352 阅读 · 0 评论 -
Python爬虫踩坑之二分查找，数值按位相加，
Python实现二分Python实现两个数按位数相加原创 2018-11-13 15:27:23 · 436 阅读 · 0 评论 -
python3爬虫踩坑记录篇（一）
最近在写代码的时候经常报错，能力有限，再此只提供解决办法，如有错误请及时纠正1：scrapy做post提交data键值都是字符串，如有汉字或数值类型先转字符串yield scrapy.FormRequest(url=start_url,headers=headers,method = 'POST',formdata=data,callback=self.parse,dont_filter=...原创 2018-08-25 14:09:51 · 1026 阅读 · 0 评论 -
python3爬虫踩坑记纪录篇（二）
python线程锁python列表推导式简单文件操作代理使用计算地图两点距离分词原创 2018-09-05 14:30:17 · 415 阅读 · 0 评论 -
scrapy0.24文档解读之setting配置（二）
上一篇写了setting的一部分设置，继续 1：DOWNLOAD_MAXSIZE#设置response大小 设置将要下载的response最大size，如果想禁用设置为0 #Default:1073741824 (1024MB) 也可以在爬虫中使用download_maxsize属性设置2：DOWNLOAD_WARNSIZE #警告还是预告？？的大小...原创 2018-09-08 23:24:57 · 796 阅读 · 0 评论 -
scrapy0,24文档解读之setting配置（一）
文档解读setting设置请求和下载以及底层设置原创 2018-09-05 23:43:04 · 554 阅读 · 0 评论 -
python同程爬取之sql连接池，多线程锁
同程爬取sql连接池使用多线程锁机制的简单使用原创 2018-09-15 18:24:08 · 868 阅读 · 0 评论 -
scrapy0.24文档解读之spider文件
spider文件Spider基类crawlspiderxmlfeedspidercsvfeedspidersitemapspider原创 2018-09-23 18:14:00 · 675 阅读 · 0 评论 -
booking爬取之反扒斗争
try it原创 2018-09-26 16:03:29 · 1615 阅读 · 4 评论 -
Redis和MySQL命令封装,连接池以及特殊场景下的封装
MySQL连接池，redis连接池，MySQL与redis连接池互动原创 2018-10-28 17:10:54 · 553 阅读 · 0 评论 -
App抓取之工具配置初篇
app爬取了从原理上来讲和web爬虫区别不大。主要是寻找数据接口和部分解析情况略有不同，接下来的博文只是写部署成功抓包的部分。下一篇可能会写实际代码安卓模拟器:不用ios是因为window下更方便市面上的安卓模拟器 当然谷歌官方的AVD也是一款很强大的模拟器，适用很多机型，但是 调适难度大，只能ADB(后面在使用阶段会详写)安装，不...原创 2018-10-28 19:17:47 · 560 阅读 · 0 评论 -
Python爬虫踩坑之json报错，json包比较
json.loads()报错simplejson，demjson，json性能比较原创 2018-11-06 16:48:51 · 3297 阅读 · 0 评论 -
python3爬虫采坑记录片之oss文件和字符串连接的学问
上传oss字符串拼接原创 2018-11-02 09:07:46 · 831 阅读 · 0 评论 -
python进阶之Fraction,pil,Counter，BytesIO，eval妙用......
Franction分数库pil Image图片简单处理io BytesIOeva函数用来执行一个字符串表达式，并返回表达式的值。原创 2019-05-10 13:51:07 · 728 阅读 · 1 评论