- 博客(17)
- 收藏
- 关注
RSS订阅原创 根据key查找在json中的位置
情景一：有些时候我们将json格式化之后眼睛看到的key的结构是这样的，但是通过代码解析就是找不到这个key情景二：有些时候我们无法确定json的结构，只能判断key是否在这个json中，并且返回该key在json中的位置同时也可以根据value查找对应位置```pythonimport jsonimport jsonpathimport astclass HandleJson(): def __init__(self, data): if isinstance
2020-07-10 11:54:07
1513
2
转载 python根据字典生成万能SQL语句（INSERT）
def connect_mysql(item, table_name): ''' item: 传入的字典，key的值必须与数据库的字段对应 ''' conn = pymysql.connect(host='localhost', port=3306, database='news', user='root', password='password', charset='utf8') # 获得Cursor对象 cursor =
2020-05-18 11:22:26
1572
1
转载 使用pytesseract识别简单验证码
转载：https://blog.youkuaiyun.com/qq_39241986/article/details/99662729
2019-11-27 16:08:24
221
转载 selenium配置参数
from selenium import webdriveroption = webdriver.ChromeOptions() # 添加启动参数option.add_argument() # 添加扩展应用 option.add_extension()option.add_encoded_extension() # 添加实验性质的设置参数 option.add_experim...
2019-11-22 17:16:52
1235
原创 appium+mitmdump+夜神模拟器抓取抖音app
最近项目在搞抖音app，记录一下过程和遇到的坑第一步 准备环境1，appium2，fiddle3，夜神模拟器4，Android SDK详情可以借鉴这篇文章https://www.cnblogs.com/qieyu/p/10450739.html其中如果出现 adb devices 连接不到的情况就将上述文章中的替换adb.exe步骤更改为sdk的adb.exe复制到模拟器下bin目...
2019-11-09 15:54:35
3428
1
原创 使用selenium登录后的cookie访问大众点评的页面
最近真是和大众点评过不去了，大众点评的反爬虫措施也是很牛逼了之前试过使用selenium直接访问页面是不可以的，检测出自动化之后强行跳转到验证页面，手动滑动还通不过，shit于是就想到使用登录之后的cookie来访问，看到一些文章说从返回浏览器的cookie进行访问，结果发现大众点评的详情页是没有的，fuck好的， 我们直接用程序获取返回的cookiedef getCookies():...
2019-06-17 18:09:22
4046
5
原创 记再一次对大众点评的爬取
之前写过一篇关于大众点评的解密规则 ，没过几天网站却又更新了，shit！好在有之前的经验，大致过程和之前差不多，加了一个小小的步骤而已如图：过程依旧是获取text中的文字，然后在根据css文件中对应的偏移度对defs中的数字进行判断该网站有多种文字加密，解密形式也都一样。完整代码见githubhttps://github.com/Docda/tiger代码中也有点评移动端的解析，相...
2019-06-14 16:30:16
634
转载 python跳出多重for循环
转载于亲爱的吴先森：https://blog.youkuaiyun.com/qq_34374753/article/details/89642502
2019-06-06 14:56:44
1450
转载 python异步实现定时任务和周期任务
转载：https://blog.youkuaiyun.com/qq_39687901/article/details/81985767
2019-06-06 14:51:01
651
原创 使用pyppeteer登陆淘宝
直接上代码：import asyncioimport time, randomfrom pyppeteer.launcher import launch # 控制模拟浏览器用from retrying import retry # 设置重试次数用的async def main(username, pwd, url): # 定义main协程函数， # 以下使用await ...
2019-06-06 14:47:19
2189
原创 爬虫各种请求Agent
PC端：agent_list = [ ' Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)', ' Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Avant Browser)', ' Mozilla/4.0 (compatible; MSIE 7.0; Window...
2019-06-06 14:38:23
1201
原创 selenium进阶
from selenium import webdriverchrome_options = webdriver.ChromeOptions()# 不加载图片提升速度prefs = {"profile.managed_default_content_settings.images": 2}chrome_options.add_experimental_option("prefs", pr...
2019-06-06 14:27:22
257
转载 python selenium对frame的操作
https://blog.youkuaiyun.com/zb455405775/article/details/80706125上文是切换操作下面是获取元素的顺序
2019-06-06 11:47:59
486
原创 # 记录解密大众点评数据加密过程
话不多说，上图片上图就是解密的关键东西了，每个加密的文字和数字都有一个所属的类名，而这个类名对应着css里面的样式偏移量，偏移量又对应着文字图片和数字图片的位置下面就是最新的文字图和数字图直接上代码：import reimport requestsimport lxml.html# 获取css页面的详情信息，用正则匹配得到css的定位数据def css_info(info...
2019-05-22 15:41:35
1191
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人