
python爬虫
Yonggie
只写优质原创,坚决绝拒绝抄袭 | 研究员 | 广州大学 | 香港中文大学深圳FNii | pytorch_geometric(PyG)、FATE contributor
展开
-
*号在python中的作用之一
前言可能大部分博客写的都是*在函数传参的作用。大家都写过了我就不必再写。我想说说另一种作用,是拆解元素的作用x=[[1,1,1],[2,2,2,],[3,3,3]]如果我写*x那么x这个元组会被拆成三个独立的元素,具体地说是,[1,1,1] [2,2,2] [3,3,3]乍一看可能这样做并没有什么用。这里有个比较有趣的用法:zip大家都用过,一般放在for里面,可以并列循环for a,b in zip(as,bs): pass如果我直接for遍历xfor item in x:原创 2020-11-09 16:23:46 · 856 阅读 · 1 评论 -
使用appium python在线调试session不断开真机
用appium+python在线调试安卓测试的时候总是需要从屏幕找元素,然后一一find,这总是需要花时间的,但是没等自己点好复制好,session直接断了,断之后就找不到元素了,很烦。于是看appium的log找到了[BaseDriver] Shutting down because we waited 60 seconds for a command[Appium] Closing session, cause was 'New Command Timeout of 60 seconds expi原创 2020-08-19 15:10:36 · 1291 阅读 · 0 评论 -
python使得headers顺序不变化的写法
一般写法平常大家写个requests就直接这样子了:request.get(url,headers=headers)然而这样的构造的get请求在发送出去的时候,会和自己设置的headers顺序不一样,想要构造一模一样的headers,包括顺序,需要用另外一种写法。顺序不变的写法虽然不知道有没有用,但是还是分享一下。因为requests更底层的还是session嘛,在session这里改动会使得headers的发送的顺序不再改变。然后直接用session post或者get就可以。url = "原创 2020-07-20 17:57:38 · 1128 阅读 · 2 评论 -
这尴尬的python语法糖
总是记混了。有时候就多尝试几个写法,结果总是不对。这样记录一下吧。data=[1,2,3,4,5,4]#如果想要写直有if的条件列表,假设只选出所有的4,你的条件要放在后面。target=[num for num in data if num==4]#但是如果想写if else,你的if else要放在前面,假设所有等于4的保持不变,不等于4的都返回0target=[num if num==4 else 0 for num in data]...原创 2020-06-15 18:24:43 · 274 阅读 · 0 评论 -
优矿 pandas plt 显示平安银行基金月最大召回率
请在优矿上书写代码.用到了plt和pandas,当然还有日期类。import pandas as pdimport pandas.io.data as webimport matplotlib.pyplot as pltimport datetimeimport numpy as npfrom dateutil.relativedelta import relativedelta# maxinum.accumulate 当前坐标最大值def get_max_draw_down(month原创 2020-05-28 21:14:31 · 283 阅读 · 0 评论 -
python爬虫 http.cookiejar和urllib 保存cookie和加载cookie
cookie本来是在浏览器控制新文件夹下的保存少量信息的文件。我们想在程序中保存这个文件到其他地方。python来存取cookie一般是MozillaCookieJarfrom urllib import request,parsefrom http.cookiejar import CookieJar,MozillaCookieJarif __name__ == '__m...原创 2019-12-28 15:01:49 · 448 阅读 · 0 评论 -
使用Chrome查看当前页面使用的cookie信息
在Chrome地址栏旁边有一个标志,点它,点出来里面有cookie和证书的信息。点cookie之后,按照等级点开,能在表格中显示你的cookie的各种信息。另:有一个按你的要求生成cookie的网站 httpbin.org,能够用url来生成你指定的cookie,有兴趣可以看下了解下。...原创 2019-12-27 22:45:27 · 1345 阅读 · 0 评论 -
python 爬虫 编程使用cookie信息两种方法
这里介绍两种使用cookie的信息方法。。1.直接在header里面复制粘贴上你成功登录的cookie信息。比如说,你打开chrome的F12,把选项打到network,浏览器帮你监控所有文件,f5刷新网页,即可看见有很多文件。随便找找一个文件,找到header里面含有cookie,把里面的Cookie信息copy到你程序的header里面去即可。拿python程序的ur...原创 2019-12-27 17:53:07 · 1117 阅读 · 0 评论