
Python
wwivywwivy
这个作者很懒,什么都没留下…
展开
-
一键实现前程无忧(51job)简历不停刷新(selenium)
前段时间找工作投简历,每天要刷新简历好麻烦有木有,蓝后在英明神武的课代表的启发下,写了个脚本自己刷有木有,永久最新有木有!\rm\color{maroon}{前段时间找工作投简历,每天要刷新简历好麻烦有木有,蓝后在英明神武的课代表的启发下,写了个脚本自己刷有木有,永久最新有木有!}参考文章详情请参考我们神奇课代表的博客:http://blog.youkuaiyun.com/mrlevo520/article原创 2017-09-05 11:31:30 · 8415 阅读 · 0 评论 -
爬取西刺代理的免费IP
爬取西刺代理的免费IP背景出于爬取其他项目的需求,爬取点代理ip存成文本文件,随机取一个简单验证,方便自己其他代码里面调用。环境win10, python 3.6, pycharm干货import requestsfrom bs4 import BeautifulSoupimport timeimport randomheaders = {'Use...原创 2018-08-06 15:52:12 · 8035 阅读 · 1 评论 -
用requests和pandas爬取中国福彩网官网 双色球 历年全部彩票数据
环境win10, python 3.6, pycharm干货import requestsimport jsonimport pandas as pdimport csvcookies = { 'UniqueID': 'xfxbgZKQTNlC0laj1534566549004', 'Sites': '_21', '_ga': 'GA1.3...原创 2018-08-18 15:40:11 · 5510 阅读 · 7 评论 -
十行代码用pandas的read_html爬取中彩网双色球历年全部数据
网址中彩网双色球查询:http://kaijiang.zhcw.com/zhcw/html/ssq/list_1.html环境win10, python 3.6, pycharm干货import pandas as pdimport csvdef get_one_page(page): url = 'http://kaijiang.zhcw.c...原创 2018-08-18 16:17:21 · 5785 阅读 · 1 评论 -
python3的requests解析中文页面时乱码问题解决方法
最近碰到个问题,用requests爬51job时候,发现中文乱码,传给bs的是r.text,排查发现r.encoding是 ISO-8859-1。参考博客,指定编码方式之后,可以正常显示。# method 1r = requests.get('https://www.51job.com/', headers=headers, cookies=cookies)print(r.enco...原创 2018-08-17 15:36:09 · 1229 阅读 · 0 评论 -
记录windows 10 环境下安装superset 的一个坑
环境win10, python 3.6, conda envs一个坑报错信息:Traceback (most recent call last): File "C:\Anaconda3\envs\superset\lib\site-packages\flask\app.py", line 1982, in wsgi_app response = self.full_di...原创 2019-04-03 12:59:42 · 1218 阅读 · 0 评论