
反爬虫
小胖_@
个人博客: https://zhangyh.fun/
展开
-
User-Agent
User-Agent系统浏览器User-Agent字符串MacChromeMozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.75 Safari/537.36MacFirefoxMozilla/5.0 (Macintosh; Intel Mac OS X 10.12; rv:65.0) Gecko/20100101原创 2021-12-03 18:18:57 · 3080 阅读 · 0 评论 -
python,检测代理ip是否有效
python,检测代理ip是否有效测试环境python3.6 、window10系统测试方法第一种使用requests模块。使用requests.get() 发请求,根据其返回的网页内容进行判断,代理ip是否有效。import requestsproxies = {'http': '120.236.128.201:8060', 'https': '1.........原创 2020-04-22 14:53:44 · 45654 阅读 · 5 评论 -
Python第三方模块selenium安装和使用
selenium 介绍selenium 是一个 web 的自动化测试工具,不少学习功能自动化的同学开始首选 selenium ,因为它相比 QTP 有诸多有点:免费,也不用再为破解 QTP 而大伤脑筋小巧,对于不同的语言它只是一个包而已,而 QTP 需要下载安装1个多 G 的程序。这也是最重要的一点,不管你以前更熟悉 C、 java、ruby、python、或都是 C# ,你都可以通...转载 2019-10-16 21:02:08 · 1577 阅读 · 0 评论 -
使用代理ip爬虫
使用代理ip爬虫# -*- coding:utf-8 -*-import requestsdef check_ip(item): url = 'http://www.baidu.com/' proxies = { 'http': f'http://{item["ip_address"]}:{item["ip_port"]}', } try: ...原创 2019-10-16 11:24:11 · 290 阅读 · 0 评论 -
图形验证码识别
图形验证码识别介绍图形验证码最早使用,现在也很常见,一般是由4位字母或数字组成例:代码实现# -*- coding:utf-8 -*-import tesserocrfrom PIL import Imageimage = Image.open("imgs/CheckCode5.jpg")result = tesserocr.image_to_text(image)pri...原创 2019-10-16 11:21:05 · 534 阅读 · 0 评论