
Python爬虫
西夏之石
知识的力量
展开
-
xpath在爬虫时包含多个标签的用法
xpath在爬虫时包含多个标签的用法原创 2022-01-11 23:35:53 · 1423 阅读 · 0 评论 -
pyinstaller在64位系统下打包32位程序
pyinstaller在64位系统下打包32位程序使用环境说明:win10 64位,已安装python3.6-64位版本遇到的问题:win10 64位打包成exe文件后,不能在32位系统运行需求:使用python打包生成exe文件,win64位和32位exe均可运行解决方法:不需要更换成32位的电脑,再进行封装,只需将python改为32位即可1、下载安装32位python3.5(不限制版本号),下载地址https://www.python.org/downloads/windows/.原创 2020-07-15 11:40:10 · 961 阅读 · 0 评论 -
xpath截取时有时列表中是文本类型,有时是element类型
最近要开始带娃了,可能学习的时间就比以前缩短了,但是不影响对学习的向往与追求。步入正题:最近在使用xpath时,有时候通过html.xpath(".//a[@class='ulink']/text()")截取到的就是列表文本文件,有时候 没有加text()函数,就取到的是element 类型,仔细一想就是因为截取的时候看是 截取什么内容,返回的 就是什么 内容,对于xpath的时候还是需要...原创 2020-04-06 21:36:19 · 824 阅读 · 0 评论 -
partially initialized module 'requests' has no attribute 'get'解决方法
出现“AttributeError: module ‘requests’ has no attribute ‘get’”的错误提示解决方法: 检查是不是自己写的代码文件命名为requests.py,修改文件名,即可。...原创 2020-04-01 16:17:10 · 8524 阅读 · 5 评论 -
http常见状态码汇总
1、200:请求正常,返回数据2、301:永久重定向,例如访问www.jingdong.com,京东会永久重新定向到www.jd.com,这个是京东公司之前变动的,从jingdong变到jd3、302:临时重定向4、400:请求的URL错误5、403:服务器拒绝访问,权限不够6、500:服务器内部发生错误,可能是服务器bug了与大家分享,也希望自己在以后的学习中不断巩...原创 2020-03-31 21:59:30 · 211 阅读 · 0 评论 -
decode与encode区别
计算机存储的是bytes,如果需要将bytes转换为str时需要decode编码来实现如果要将str转换为bytes时,需要通过encode来实现。bytes-> decode->strstr-> encode->bytes...原创 2020-03-31 21:52:16 · 286 阅读 · 0 评论 -
ProxyHandler处理器及编码学习
1、今天学习ProxyHandler,主要用这个来请求代理服务器首先创建一个handler=request.ProxyHandler({"http":"111.20.101.70:80"})(handler是伪装本地地址)我通过http://httpbin.org/ip请求本地IP,每次不一样,应该是我们家里的IP都是随机变动的。代理网站有三个: 1、西刺免费代理...原创 2020-03-31 21:48:23 · 224 阅读 · 0 评论