- 博客(26)
- 收藏
- 关注
RSS订阅原创 python进阶之Fraction,pil,Counter，BytesIO，eval妙用......
Franction分数库pil Image图片简单处理io BytesIOeva函数用来执行一个字符串表达式，并返回表达式的值。
2019-05-10 13:51:07
666
1
原创 微博简单的免登陆获取
这个记录一下，简单web端的登陆有空贴上来。此处是从浏览器手机一面走的。仅供参考phone_url="***********&page={0}".format(h) header={ "User-Agent":"*********", } req=requests.get(url=phone_url,headers=...
2019-04-15 14:39:24
11736
原创 python进阶collections.namedtuple延伸
py的collections.namedtuple详解，python关于魔术方法的调用迭代器生成器
2019-04-01 18:33:31
380
原创 由appium capabilities(cpas) 衍生的标签定位不到的解决方案
1,autoWebview：#autoWebviewTimeout可以给webview定一个超时时间#直接切到webview上下文(context)在一些文档中基本都是类似的解释，在学习selenium的前提下你可能真的不知道##appium是由selenium封装而来的。webview就相当于web页面上的一个frame表单，不仅仅如此。在appium当中可以由driver.conten...
2019-04-01 15:04:13
281
原创 app爬虫appium获取借贷宝，无忧等等(配置文件)
python，appium模拟器的交互appium模拟用户部分通用函数多开appium和模拟器连接
2019-03-01 16:09:10
1554
5
原创 agoda获取酒店数据
最近改了改代码，正好解决了一些报错问题，更新出来。个别处会加蜜数据库以及线程控制from DBUtils.PooledDB import PooledDBimport requestsimport demjsonimport timeimport randomimport jsonimport pymysqlimport datetimeimport threadingb ...
2018-11-20 17:00:06
1295
3
原创 Python爬虫踩坑之随机数种子的问题
在看一本数据库产生了一个关于离散的问题，由于本人对离散还不懂。在大佬的建议下研究了下随机数种子的问题（和此问题类似吧）由于随机数种子的概念有些文章已经有了就不在赘述:随机数种子概述在此主要通过Python当中random来研究这个问题:random模块进入模块源码：比较看重翻译的同学请忍耐 def seed(self, a=None, version=2): """...
2018-11-08 10:04:50
3298
原创 App抓取之工具配置初篇
app爬取了从原理上来讲和web爬虫区别不大。主要是寻找数据接口和部分解析情况略有不同，接下来的博文只是写部署成功抓包的部分。下一篇可能会写实际代码安卓模拟器:不用ios是因为window下更方便市面上的安卓模拟器 当然谷歌官方的AVD也是一款很强大的模拟器，适用很多机型，但是 调适难度大，只能ADB(后面在使用阶段会详写)安装，不...
2018-10-28 19:17:47
531
原创 scrapy0.24文档解读之spider文件
spider文件Spider基类crawlspiderxmlfeedspidercsvfeedspidersitemapspider
2018-09-23 18:14:00
623
原创 scrapy0.24文档解读之setting配置（二）
上一篇写了setting的一部分设置，继续 1：DOWNLOAD_MAXSIZE#设置response大小 设置将要下载的response最大size，如果想禁用设置为0 #Default:1073741824 (1024MB) 也可以在爬虫中使用download_maxsize属性设置2：DOWNLOAD_WARNSIZE #警告还是预告？？的大小...
2018-09-08 23:24:57
748
原创 python3爬虫踩坑记录篇（一）
最近在写代码的时候经常报错，能力有限，再此只提供解决办法，如有错误请及时纠正1：scrapy做post提交data键值都是字符串，如有汉字或数值类型先转字符串yield scrapy.FormRequest(url=start_url,headers=headers,method = 'POST',formdata=data,callback=self.parse,dont_filter=...
2018-08-25 14:09:51
990
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人