
python爬虫
Ennio_
在读计科学生
展开
-
朴素逻辑的抽奖代码
搜了一下抽奖代码没有能用的,自己写了一个class Draw: def __init__(self, user): self.user = user self.total_odd = 0.8 # 总体获奖概率 def draw(self): """ 计算所有奖品的获奖概率,在区间上为其划分出一块区域,之后产生随机数,落在那个区间就是获得了哪个奖品。 """ gifts = Gift原创 2020-12-30 17:30:41 · 232 阅读 · 0 评论 -
requests的post提交form-data; boundary=????
提交这种用boundary分隔的表单数据时,有两种方法,一种是以传入files参数,另一种是传入data参数,data参数需要自己用boundary来分隔为指定的形式,而files参数则以元组的形式传入,代码如下files = { 'TOKENKEY': (None, str(nowtime)), # 当前时间戳 'wbuploadpath': (None, ""), ...原创 2019-05-23 16:52:00 · 1063 阅读 · 0 评论 -
记录一些爬虫的小细节
1.使用BeautifulSoup初始化用requests获取到的html文本时,有时候会出现乱码现象,只需要指定response.encoding = 'utf-8' 即可2.有时候使用selenium定位元素时,定位代码没有问题,但是提示定位不到,这是因为页面中存在多个iframe标签,相当于多个子页面,你需要在相应的子页面里面选取你需要的元素,比如你在名为a的iframe当中选取名为b的...原创 2019-04-28 16:26:00 · 119 阅读 · 0 评论 -
动态网页获取ajax,post方法,url里面不直接显示参数
记录一下,爬去ajax数据时,需要注意一下是post方法还是get方法,get方法就正常做就行了,但是post方法的话,需要这样,如下a = requests.request('post',url)一般情况获取ajax时,f12上面显示的url都是带有参数的,但是有的不会直接显示参数,比如下面的这里我们看到他的所有url显示的都一样的,所以这时向下拉查看他的参数,可以看到如下的...原创 2019-04-06 10:53:00 · 629 阅读 · 0 评论 -
基础学习
用到了requests 和BeautifulSoup库 ,安装使用pip命令在cmd进行安装就行,这里都是先进行了解,之后再做几个小实例进行练习先解释下爬虫,python爬虫可以通过获取网页的html代码,对其进行分析,得到可见和不可见的数据,也可以像网络发送请求,执行相应的操作,概括来说就这样流程分为以下几步:1.通过域名获取html代码数据2.根据我们所需要的信息来对数据进行解...原创 2019-03-24 20:59:00 · 136 阅读 · 0 评论