Python3 爬虫 Requests Urllib Chrome PhantomJS 代理总结

最新推荐文章于 2024-09-17 13:30:28 发布
最新推荐文章于 2024-09-17 13:30:28 发布
阅读量111 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/songhao8080/article/details/103670124
版权

学爬虫我们已经了解了多种请求库，如 Requests、Urllib、Selenium 等。我们接下来首先贴近实战，了解一下代理怎么使用。

下面我们来梳理一下这些库的代理的设置方法。

1. 获取代理

在做测试之前，我们需要先获取一个可用代理，搜索引擎搜索“代理”关键字，就可以看到有许多代理服务网站，在网站上会有很多免费代理，比如西刺：http://www.xicidaili.com/，这里列出了很多免费代理，但是这些免费代理大多数情况下都是不好用的，所以比较靠谱的方法是购买付费代理，很多网站都有售卖，数量不用多，买一个稳定可用的即可，可以自行选购。

或者如果我们本机有相关代理软件的话，软件一般会在本机创建 HTTP 或 SOCKS 代理服务，直接使用此代理也可以。

在这里我的本机安装了一部代理软件，它会在本地 9743 端口上创建 HTTP 代理服务，也就是代理为 127.0.0.1:9743，另外还会在 9742 端口创建 SOCKS 代理服务，也就是代理为 127.0.0.1:9742，我只要设置了这个代理就可以成功将本机 IP 切换到代理软件连接的服务器的 IP了。

所以本节下面的示例里我使用上述代理来演示其设置方法，你可以自行替换成自己的可用代理，设置代理后测试的网址是：http://httpbin.org/get，访问该站点可以得到请求的一些相关信息，其中 origin 字段就是客户端的 IP，我们可以根据它来判断代理是否设置成功，也就是是否成功伪装了IP。

下面我们来看下各个库的代理设置方式。

2. Urllib

首先我们以最基础的 Urllib 为例，来看一下代理的设置方法，代码如下：

Python
from urllib.error import URLError from urllib.request import ProxyHandler, build_opener proxy = '127.0.0.1:9743' proxy_handler = ProxyHandler({ 'http': 'http://' + proxy, 'https': 'https://' + proxy }) opener = build_opener(proxy_handler) try: response = opener.open('http://httpbin.org/get') print(response.read().decode('utf-8')) except URLError as e: print(e.reason)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
from urllib . error import URLError
from urllib . request import ProxyHandler , build_opener
 
proxy = '127.0.0.1:9743'
proxy_handler = ProxyHandler ( {
     'http' : 'http://' + proxy ,
     'https' : 'https://' + proxy
} )
opener = build_opener ( proxy_handler )
try :
     response = opener . open ( 'http://httpbin.org/get' )
     print ( response . read ( ) . decode ( 'utf-8' ) )
except URLError as e :
     print ( e . reason )
 

运行结果如下：

Python
{ "args": {}, "headers": { "Accept-Encoding": "identity", "Connection": "close", "Host": "httpbin.org", "User-Agent": "Python-urllib/3.6" }, "origin": "106.185.45.153", "url": "http://httpbin.org/get" }
1
2
3
4
5
6
7
8
9
10
11
12
{
   "args" : { } ,
   "headers" : {
     "Accept-Encoding" : "identity" ,
     "Connection" : "close" ,
     "Host" : "httpbin.org" ,
     "User-Agent" : "Python-urllib/3.6"
   } ,
   "origin" : "106.185.45.153" ,
   "url" : "http://httpbin.org/get"
}
 

在这里我们需要借助于 ProxyHandler 设置代理，参数是字典类型，键名为协议类型，键值是代理，注意此处代理前面需要加上协议，即 http 或者 https，此处设置了 http 和 https 两种代理，当我们请求的链接是 http 协议的时候，它会调用 http 代理，当请求的链接是 https 协议的时候，它会调用https代理，所以此处生效的代理是：http://127.0.0.1:9743。

创建完 ProxyHandler 对象之后，我们需要利用 build_opener() 方法传入该对象来创建一个 Opener，这样就相当于此 Opener 已经设置好代理了，接下来直接调用它的 open() 方法即可使用此代理访问我们所想要的链接。

运行输出结果是一个 Json，它有一个字段 origin，标明了客户端的 IP，此处的 IP 验证一下，确实为代理的 IP，而并不是我们真实的 IP，所以这样我们就成功设置好代理，并可以隐藏真实 IP 了。

如果遇到需要认证的代理，我们可以用如下的方法设置：

Python
from urllib.error import URLError from urllib.request import ProxyHandler, build_opener proxy = 'username:password@127.0.0.1:9743' proxy_handler = ProxyHandler({ 'http': 'http://' + proxy, 'https': 'https://' + proxy }) opener = build_opener(proxy_handler) try: response = opener.open('http://httpbin.org/get') print(response.read().decode('utf-8')) except URLError as e: print(e.reason)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
from urllib . error import URLError
from urllib . request import ProxyHandler , build_opener
 
proxy = 'username:password@127.0.0.1:9743'
proxy_handler = ProxyHandler ( {
     'http' : 'http://' + proxy ,
     'https' : 'https://' + proxy
} )
opener = build_opener ( proxy_handler )
try :
     response = opener . open ( 'http://httpbin.org/get' )
     print ( response . read ( ) . decode ( 'utf-8' ) )
except URLError as e :
     print ( e . reason )
 

这里改变的只是 proxy 变量，只需要在代理前面加入代理认证的用户名密码即可，其中 username 就是用户名，password 为密码，例如 username 为foo，密码为 bar，那么代理就是 foo:bar@127.0.0.1:9743。

如果代理是 SOCKS5 类型，那么可以用如下方式设置代理：

Python
import socks import socket from urllib import request from urllib.error import URLError socks.set_default_proxy(socks.SOCKS5, '127.0.0.1', 9742) socket.socket = socks.socksocket try: response = request.urlopen('http://httpbin.org/get') print(response.read().decode('utf-8')) except URLError as e: print(e.reason)
1
2
3
4
5
6
7
8
9
10
11
12
13
import socks
import socket
from urllib import request
from urllib . error import URLError
 
socks . set_default_proxy ( socks . SOCKS5 , '127.0.0.1' , 9742 )
socket . socket = socks . socksocket
try :
     response = request . urlopen ( 'http://httpbin.org/get' )
     print ( response . read ( ) . decode ( 'utf-8' ) )
except URLError as e :
     print ( e . reason )
 

此处需要一个 Socks 模块，可以通过如下命令安装：

Python
pip3 install PySocks
1
2
pip3 install PySocks
 

本地我有一个 SOCKS5 代理，运行在 9742 端口，运行成功之后和上文 HTTP 代理输出结果是一样的：

Python
{ "args": {}, "headers": { "Accept-Encoding": "identity", "Connection": "close", "Host": "httpbin.org", "User-Agent": "Python-urllib/3.6" }, "origin": "106.185.45.153", "url": "http://httpbin.org/get" }
1
2
3
4
5
6
7
8
9
10
11
12
{
   "args" : { } ,
   "headers" : {
     "Accept-Encoding" : "identity" ,
     "Connection" : "close" ,
     "Host" : "httpbin.org" ,
     "User-Agent" : "Python-urllib/3.6"
   } ,
   "origin" : "106.185.45.153" ,
   "url" : "http://httpbin.org/get"
}
 

结果的 origin 字段同样为代理的 IP，设置代理成功。

3. Requests

对于 Requests 来说，代理设置更加简单，我们只需要传入 proxies 参数即可。

还是以上例中的代理为例，我们来看下 Requests 的代理的设置：

Python
import <span class="wp_keywordlink_affiliate"><a href="https://www.168seo.cn/tag/requests" title="View all posts in requests" target="_blank">requests</a></span> proxy = '127.0.0.1:9743' proxies = { 'http': 'http://' + proxy, 'https': 'https://' + proxy, } try: response = <span class="wp_keywordlink_affiliate"><a href="https://www.168seo.cn/tag/requests" title="View all posts in requests" target="_blank">requests</a></span>.get('http://httpbin.org/get', proxies=proxies) print(response.text) except <span class="wp_keywordlink_affiliate"><a href="https://www.168seo.cn/tag/requests" title="View all posts in requests" target="_blank">requests</a></span>.exceptions.ConnectionError as e: print('Error', e.args)
1
2
3
4
5
6
7
8
9
10
11
12
13
import requests
 
proxy = '127.0.0.1:9743'
proxies = {
     'http' : 'http://' + proxy ,
     'https' : 'https://' + proxy ,
}
try :
     response = requests . get ( 'http://httpbin.org/get' , proxies = proxies )
     print ( response . text )
except requests . exceptions . ConnectionError as e :
     print ( 'Error' , e . args )
 

运行结果：

Python
{ "args": {}, "headers": { "Accept": "*/*", "Accept-Encoding": "gzip, deflate", "Connection": "close", "Host": "httpbin.org", "User-Agent": "<span class="wp_keywordlink"><a href="http://www.168seo.cn/python" title="python">python</a></span>-requests/2.18.1" }, "origin": "106.185.45.153", "url": "http://httpbin.org/get" }
1
2
3
4
5
6
7
8
9
10
11
12
13
{
   "args" : { } ,
   "headers" : {
     "Accept" : "*/*" ,
     "Accept-Encoding" : "gzip, deflate" ,
     "Connection" : "close" ,
     "Host" : "httpbin.org" ,
     "User-Agent" : "python-requests/2.18.1"
   } ,
   "origin" : "106.185.45.153" ,
   "url" : "http://httpbin.org/get"
}
 

可以发现 Requests 的代理设置比 Urllib 简单很多，只需要构造代理字典即可，然后通过 proxies 参数即可设置代理，不需要重新构建 Opener。

可以发现其运行结果的 origin 也是代理的 IP，证明代理已经设置成功。

如果代理需要认证，同样在代理的前面加上用户名密码即可，代理的写法就变成：

Python
proxy = 'username:password@127.0.0.1:9743'
1
2
proxy = 'username:password@127.0.0.1:9743'
 

和 Urllib 一样，只需要将 username 和 password 替换即可。

如果需要使用 SOCKS5 代理，则可以使用如下方式：

Python
import requests proxy = '127.0.0.1:9742' proxies = { 'http': 'socks5://' + proxy, 'https': 'socks5://' + proxy } try: response = requests.get('http://httpbin.org/get', proxies=proxies) print(response.text) except requests.exceptions.ConnectionError as e: print('Error', e.args)
1
2
3
4
5
6
7
8
9
10
11
12
13
import requests
 
proxy = '127.0.0.1:9742'
proxies = {
     'http' : 'socks5://' + proxy ,
     'https' : 'socks5://' + proxy
}
try :
     response = requests . get ( 'http://httpbin.org/get' , proxies = proxies )
     print ( response . text )
except requests . exceptions . ConnectionError as e :
     print ( 'Error' , e . args )
 

在这里需要额外安装一个 Socks 模块，命令如下：

Python
pip3 install "requests[socks]"
1
2
pip3 install "requests[socks]"
 

运行结果是完全相同的：

Python
{ "args": {}, "headers": { "Accept": "*/*", "Accept-Encoding": "gzip, deflate", "Connection": "close", "Host": "httpbin.org", "User-Agent": "python-requests/2.18.1" }, "origin": "106.185.45.153", "url": "http://httpbin.org/get" }
1
2
3
4
5
6
7
8
9
10
11
12
13
{
   "args" : { } ,
   "headers" : {
     "Accept" : "*/*" ,
     "Accept-Encoding" : "gzip, deflate" ,
     "Connection" : "close" ,
     "Host" : "httpbin.org" ,
     "User-Agent" : "python-requests/2.18.1"
   } ,
   "origin" : "106.185.45.153" ,
   "url" : "http://httpbin.org/get"
}
 

另外还有一种设置方式，和 Urllib 中的方法相同，使用 socks 模块，也需要像上文一样安装该库，设置方法如下：

Python
import requests import socks import socket socks.set_default_proxy(socks.SOCKS5, '127.0.0.1', 9742) socket.socket = socks.socksocket try: response = requests.get('http://httpbin.org/get') print(response.text) except requests.exceptions.ConnectionError as e: print('Error', e.args)
1
2
3
4
5
6
7
8
9
10
11
12
import requests
import socks
import socket
 
socks . set_default_proxy ( socks . SOCKS5 , '127.0.0.1' , 9742 )
socket . socket = socks . socksocket
try :
     response = requests . get ( 'http://httpbin.org/get' )
     print ( response . text )
except requests . exceptions . ConnectionError as e :
     print ( 'Error' , e . args )
 

这样也可以设置 SOCKS5 代理，运行结果完全相同，相比第一种方法，此方法是全局设置，不同情况可以选用不同的方法。

4. Selenium

Selenium 同样也可以设置代理，在这里分两种介绍，一个是有界面浏览器，以 Chrome 为例介绍，另一种是无界面浏览器，以 PhantomJS 为例介绍。

Chrome

对于 Chrome 来说，用 Selenium 设置代理的方法也非常简单，设置方法如下：

Python
from <span class="wp_keywordlink"><a href="http://www.168seo.cn/selenium/" title="selenium">selenium</a></span> import webdriver proxy = '127.0.0.1:9743' <span class="wp_keywordlink_affiliate"><a href="https://www.168seo.cn/tag/chrome" title="View all posts in chrome" target="_blank">chrome</a></span>_options = webdriver.ChromeOptions() <span class="wp_keywordlink_affiliate"><a href="https://www.168seo.cn/tag/chrome" title="View all posts in chrome" target="_blank">chrome</a></span>_options.add_argument('--proxy-server=http://' + proxy) browser = webdriver.Chrome(chrome_options=chrome_options) browser.get('http://httpbin.org/get')
1
2
3
4
5
6
7
8
from selenium import webdriver
 
proxy = '127.0.0.1:9743'
chrome_options = webdriver . ChromeOptions ( )
chrome_options . add_argument ( '--proxy-server=http://' + proxy )
browser = webdriver . Chrome ( chrome_options = chrome_options )
browser . get ( 'http://httpbin.org/get' )
 

在这里我们通过 ChromeOptions 来设置代理，在创建 Chrome 对象的时候通过 chrome_options 参数传递即可。

这样在运行之后便会弹出一个 Chrome 浏览器，访问目标链接之后输出结果如下：

Python
{ "args": {}, "headers": { "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8", "Accept-Encoding": "gzip, deflate", "Accept-Language": "zh-CN,zh;q=0.8", "Connection": "close", "Host": "httpbin.org", "Upgrade-Insecure-Requests": "1", "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36" }, "origin": "106.185.45.153", "url": "http://httpbin.org/get" }
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
{
   "args" : { } ,
   "headers" : {
     "Accept" : "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8" ,
     "Accept-Encoding" : "gzip, deflate" ,
     "Accept-Language" : "zh-CN,zh;q=0.8" ,
     "Connection" : "close" ,
     "Host" : "httpbin.org" ,
     "Upgrade-Insecure-Requests" : "1" ,
     "User-Agent" : "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36"
   } ,
   "origin" : "106.185.45.153" ,
   "url" : "http://httpbin.org/get"
}
 

可以看到 origin 同样为代理 IP 的地址，代理设置成功。

如果代理是认证代理，则设置方法相对比较麻烦，方法如下：

Python
from <span class="wp_keywordlink"><a href="http://www.168seo.cn/selenium/" title="selenium">selenium</a></span> import webdriver from selenium.webdriver.chrome.options import Options import zipfile ip = '127.0.0.1' port = 9743 username = 'foo' password = 'bar' manifest_json = """ { "version": "1.0.0", "manifest_version": 2, "name": "Chrome Proxy", "permissions": [ "proxy", "tabs", "unlimitedStorage", "storage", "<all_urls>", "webRequest", "webRequestBlocking" ], "background": { "scripts": ["background.js"] } } """ background_js = """ var config = { mode: "fixed_servers", rules: { singleProxy: { scheme: "http", host: "%(ip)s", port: %(port)s } } } chrome.proxy.settings.set({value: config, scope: "regular"}, function() {}); function callbackFn(details) { return { authCredentials: { username: "%(username)s", password: "%(password)s" } } } chrome.webRequest.onAuthRequired.addListener( callbackFn, {urls: ["<all_urls>"]}, ['blocking'] ) """ % {'ip': ip, 'port': port, 'username': username, 'password': password} plugin_file = 'proxy_auth_plugin.zip' with zipfile.ZipFile(plugin_file, 'w') as zp: zp.writestr("manifest.json", manifest_json) zp.writestr("background.js", background_js) chrome_options = Options() chrome_options.add_argument("--start-maximized") chrome_options.add_extension(plugin_file) browser = webdriver.Chrome(chrome_options=chrome_options) browser.get('http://httpbin.org/get')
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
from selenium import webdriver
from selenium . webdriver . chrome . options import Options
import zipfile
 
ip = '127.0.0.1'
port = 9743
username = 'foo'
password = 'bar'
 
manifest_json = """
{
    "version": "1.0.0",
    "manifest_version": 2,
    "name": "Chrome Proxy",
    "permissions": [
        "proxy",
        "tabs",
        "unlimitedStorage",
        "storage",
        "<all_urls>",
        "webRequest",
        "webRequestBlocking"
    ],
    "background": {
        "scripts": ["background.js"]
    }
}
"""
 
background_js = """
var config = {
        mode: "fixed_servers",
        rules: {
          singleProxy: {
            scheme: "http",
            host: "%(ip)s",
            port: %(port)s
          }
        }
      }
 
chrome.proxy.settings.set({value: config, scope: "regular"}, function() {});
 
function callbackFn(details) {
    return {
        authCredentials: {
            username: "%(username)s",
            password: "%(password)s"
        }
    }
}
 
chrome.webRequest.onAuthRequired.addListener(
            callbackFn,
            {urls: ["<all_urls>"]},
            ['blocking']
)
""" % { 'ip' : ip , 'port' : port , 'username' : username , 'password' : password }
 
plugin_file = 'proxy_auth_plugin.zip'
with zipfile . ZipFile ( plugin_file , 'w' ) as zp :
     zp . writestr ( "manifest.json" , manifest_json )
     zp . writestr ( "background.js" , background_js )
chrome_options = Options ( )
chrome_options . add_argument ( "--start-maximized" )
chrome_options . add_extension ( plugin_file )
browser = webdriver . Chrome ( chrome_options = chrome_options )
browser . get ( 'http://httpbin.org/get' )
 

在这里需要在本地创建一个 manifest.json 配置文件和 background.js 脚本来设置认证代理，运行之后本地会生成一个 proxy_auth_plugin.zip 文件保存配置。

运行结果和上例一致，origin 同样为代理 IP。

PhantomJS

对于 PhantomJS，代理设置方法可以借助于 service_args 参数，也就是命令行参数，代理设置方法如下：

Python
from selenium import webdriver service_args = [ '--proxy=127.0.0.1:9743', '--proxy-type=http' ] browser = webdriver.PhantomJS(service_args=service_args) browser.get('http://httpbin.org/get') print(browser.page_source)
1
2
3
4
5
6
7
8
9
10
from selenium import webdriver
 
service_args = [
     '--proxy=127.0.0.1:9743' ,
     '--proxy-type=http'
]
browser = webdriver . PhantomJS ( service_args = service_args )
browser . get ( 'http://httpbin.org/get' )
print ( browser . page_source )
 

在这里我们只需要使用 service_args 参数，将命令行的一些参数定义为列表，在初始化的时候传递即可。

运行结果：

Python
{ "args": {}, "headers": { "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8", "Accept-Encoding": "gzip, deflate", "Accept-Language": "zh-CN,en,*", "Connection": "close", "Host": "httpbin.org", "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X) AppleWebKit/538.1 (KHTML, like Gecko) PhantomJS/2.1.0 Safari/538.1" }, "origin": "106.185.45.153", "url": "http://httpbin.org/get" }
1
2
3
4
5
6
7
8
9
10
11
12
13
14
{
   "args" : { } ,
   "headers" : {
     "Accept" : "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8" ,
     "Accept-Encoding" : "gzip, deflate" ,
     "Accept-Language" : "zh-CN,en,*" ,
     "Connection" : "close" ,
     "Host" : "httpbin.org" ,
     "User-Agent" : "Mozilla/5.0 (Macintosh; Intel Mac OS X) AppleWebKit/538.1 (KHTML, like Gecko) PhantomJS/2.1.0 Safari/538.1"
   } ,
   "origin" : "106.185.45.153" ,
   "url" : "http://httpbin.org/get"
}
 

运行结果的 origin 同样为代理的 IP，设置代理成功。

如果需要认证，那么只需要再加入 --proxy-auth 选项即可，这样参数就改为：

Python
service_args = [ '--proxy=127.0.0.1:9743', '--proxy-type=http', '--proxy-auth=username:password' ]
1
2
3
4
5
6
service_args = [
     '--proxy=127.0.0.1:9743' ,
     '--proxy-type=http' ,
     '--proxy-auth=username:password'
]
 

将 username 和 password 替换为认证所需的用户名和密码即可。

5. 本节代码

本节代码地址为：https://github.com/Python3WebSpider/ProxySettings。

6. 结语

本节介绍了前文所介绍的请求库的代理设置方法，稍作了解即可，后面我们会使用这些方法来搭建代理池和爬取网站，进一步加深印象。




  • zeropython 微信公众号 5868037 QQ号 5868037@qq.com QQ邮箱
songhao8080
关注
Python2中的urllib、urllib2和 Python3中的urllib、requests
谢公子的博客
10-05 8061
目录 Python2.x中 urllib和urllib2 常用方法和类 Python3.x中 urllib requests Python2.x中 urllib和urllib2 urllib 和 urllib2 是 python2.x 自带的模块，提供了一系列用于操作URL的功能。 urllib 和 urllib2 都是接受URL请求的相关模块，但是urllib2可以接受一个Re...
python多线程爬虫界面_Python爬虫（requests,Chrome的cookie文件,多线程）
weixin_39525617的博客
11-24 215
使用selenium库的webdriver调用Chrome浏览器访问频道页面并存入文件的代码如下：from selenium import webdriverimport timeform urllib import parseimport osbaseurl = 'http://xxx.xxxx.xxx/xxx.do'# query文件的前缀，每个query文件都有多条channel的属性信息q...
关于python+selenium+requests在服务器端开发多线程并发程序踩过的一些坑
Kthemis的技术输出
05-22 1762
最近因为一个需求，着手开发一款使用selenium+requests进行多线程的测试工具，当然还是基于相对熟悉的python来开发。由于很久没写了，就有很多道理我都懂，一试就出错的问题，前前后后折腾了几天总算是开发完了，这里就把期间遇到的问题做一个记录，希望可以帮助到有同样困惑的同学。 一、服务器端环境配置 1. Ubuntu 20.04配置安装python 3.10并修复pip 这个其实内容不是很难，但无奈网上教程抄来抄去，没有一个真正讲清楚的，在参考了几个教程以及实际测试后，整理操作如下： 目前ubun
[爬虫] requests / requests-html / curl / chrome js / wget 总结
长虹剑的专栏
11-05 827
文章目录与 requests 对比加载网页chrome 文件下载失败POST 请求下载文件 刚了解，有些地方可能还不太准 与 requests 对比 requests 只能请求静态网页，现在的网页大部分是加载之后通过 js 代码动态渲染的，这样真实网页还没渲染完成，如果通过 request 的方法基本什么也获得不了。 而本博客将的库可以定义会话，并使用 chrome 内核进行网页渲染 request-html 的使用 需要先安装 pip install requests-html --index-url h
Python+selenium+Chromedriver+代理爬取Google图片
后青春诗ing
10-19 5682
找工作忙到现在，现阶段在一家人工智能公司，人工智能公司确实同事都是大佬，给讲解好多有关深度学习有关的知识，奈何本人菜鸡学的很渣，因为公司人工智能这块工作需要的图片比较多，而我目前只懂爬虫所以现阶段公司的爬虫这块是我在负责抓取图片。当然百度图片很好抓取自己也写了一个很好的代码抓取如有需要可以留言作者这里提供完整的代码，就不在这里分享百度图片的抓取了。而Google图片的抓取作者这里还是想分享一下的，...
用python selenium + requests 模拟 chrome开发者工具network获取音频链接进行下载
sinolzeng的专栏
04-23 1680
用python selenium + requests 模拟 chrome开发者工具network获取音频链接进行下载
基于Python3的动态网站爬虫，使用selenium+phantomjs实现爬取动态网站, 本项目以爬取今日头条为例.zip
04-08
1. **Python3基础知识**：Python3是这个爬虫项目的基石，它提供了高效的编程接口和丰富的标准库，如urllib、requests等，可以方便地处理HTTP请求和网页解析。了解Python3的基础语法、异常处理以及文件操作是实现爬虫...
Python3网络爬虫开发实战（15）Scrapy 框架的使用（第一版）
最新发布
bigcrab的博客
09-17 4547
scrapy 使用介绍
Python3网络爬虫开发实战（7）JavaScript 动态渲染页面爬取
bigcrab的博客
07-28 2210
selenium，splash，playwright，没有 pyppeteer，因为 pyppeteer 无人维护
python爬虫防屏蔽_Python爬虫防封杀方法集合
weixin_39936086的博客
12-19 1274
我们在进行爬虫时难免发生IP被封和403错误等等，这都是网站检测出你是爬虫而进行的反爬措施，下面我总结了几个避免方法。方法1：设置等待时间有一些网站的防范措施可能会因为你快速提交表单而把你当做机器人爬虫，比如说以非常人的速度下载图片，登录网站，爬取信息。常见的设置等待时间有两种，一种是显性等待时间(强制停几秒)，一种是隐性等待时间(看具体情况，比如根据元素加载完成需要时间而等待)1 显性等待时间i...
解析python网络爬虫黑马程序员_解析Python网络爬虫：核心技术、Scrapy框架、分布式爬虫教程...
weixin_39617215的博客
12-22 1750
BXG-2018-5 8.95GB 高清视频第 一 章：解析python网络爬虫：核心技术、Scrapy框架、分布式爬虫1-1 初识爬虫1-1-1 1.1-爬虫产生背景1-1-2 1.2-什么是网络爬虫1-1-3 1.3-爬虫的用途1-1-4 1.4-爬虫分类1-2 爬虫的实现原理和技术1-2-1 2.1-通用爬虫的工作原理1-2-2 2.2-聚焦爬虫工作流程1-2-3 2.3-通用爬虫抓取网页的...
User-Agent大全,可直接复制到python代码里
胡萧徒的博客
01-02 2万+
 这里面有超过50个 user-agent ,包含PC和移动端, 并且可以直接复制粘贴到python代码里. 此方法,是随机其中一个user-agent: # -*-coding:utf-8 -*- import random # 返回一个随机的请求头 headers def getheaders(): # 各种PC端 user_agent_list_2 = [ ...
几种常用代理设置
木下瞳的博客
10-28 2944
了解更多关注微信公众号“木下学Python”吧~ 代理都是以字典形式传入 1.requests """ import requests proxy = '127.0.0.1:9743' #代理认证 #proxy = 'user:password@127.0.0.1:9743' proxies = { 'http': 'http://' + proxy, 'h...
【Python】Python3网络爬虫实战-1、请求库安装：Requests、Selenium、ChromeDriver
Python8年程序员教程分享
07-24 787
爬虫可以简单分为几步：抓取页面、分析页面、存储数据。 在第一步抓取页面的过程中，我们就需要模拟浏览器向服务器发出请求，所以需要用到一些 Python 库来实现 HTTP 请求操作，在本书中我们用到的第三方库有 Requests、Selenium、Aiotttp 等。 在本节我们介绍一下这些请求库的安装方法。 1.1.1 Requests的安装 由于 Requests 属于第三方库，也就是 Pyth...
python爬虫：教你在 Chrome 浏览器轻松抓包
weixin_43126621的博客
03-04 2295
Python爬虫 我们要对某个网站进行爬取的时候，要对其数据进行分析，知道应该怎么请求，知道获取的数据是什么样的（学会数据抓包） 用 Chrome 浏览器，尽量不要用国产浏览器，很多是有后门的，Chrome 是首选 www.baidu.com回车，你按下 F12，百度一下按钮改成aaa Network这个标签可以看到有很多的请求HTTP 的请求方式有好几种 GET, POST, PUT, DELE...
2种方法简单爬取JS加载的动态数据
热门推荐
Python3 爬虫实战 1:应对特殊字体,爬取猫眼电影实时排行榜
12-02 9万+
参考原文:http://www.cnblogs.com/buzhizhitong/p/5697683.html 需要爬取的网站数据: http://gkcx.eol.cn/soudaxue/queryProvince.html?page=1 一共是165页，将page=1 变成其他的数字即可访问。 获取所有的url:  urls = ('http://gkcx.eol.cn/s
python爬虫（上）--请求——关于模拟浏览器方法
Silbert Monaphia
08-14 6万+
前言离上一篇更新的博文应该过了挺久的了（ python爬虫（上）–请求——关于旅游网站的酒店评论爬取（传参方法）），因为中间考完试紧接着就去实习的缘故，然后到新环境各种熟悉什么的，所以后面有所学到的东西就来不及汇总，终于在某个礼拜天的下午，喝着我的雀巢速溶咖啡，一边写着这篇总结。上一篇我自己也回去又看了一遍，其实上一篇的博文主要还是用的是 传参 的方法，什么叫传参的方法？就是着重点在分析交互中各种数
python3 利用requests爬取拉勾网数据
昨天丶今天丶明天的的博客
02-14 1941
学习python，了解了一点爬虫的知识，成功的对拉勾网的招聘信息进行了爬取，将爬取心得记录下来，和大家一起学习进步。 准备工作： python3 requests pandas 谷歌浏览器(或者火狐浏览器、qq浏览器) 爬取步骤： 首先打开拉勾网的网址对网站进行分析，打开拉勾网首页(https://www.lagou.com/)，通过常用的ge...
Python Requests：两个例子说明get和post方法+用谷歌浏览器查看网络请求
码疯窝
11-09 4313
文章目录一、前言二、get请求三、post请求 一、前言 上学期学完了Python爬虫后，就一直想着自己做个系统的爬虫课程博客。原因是前面写的爬虫随笔系列内容太随便，而且例子也不够丰满，实操体验不足，对于寻求某个特定问题的人确实能提供优秀的解决方案，但对学习的新手来说体验还是不足。不过后来爬虫课程也一直迟迟没有做起来，一个是没有时间和机会，另一个也是很难找一些很好的例子。这个过程也深深体验到，学和...
Python爬虫教程：Selenium与Scrapy动态网页抓取
因此，使用常规的HTTP请求工具如requests或urllib，往往只能获取到原始的HTML，无法捕捉到动态加载的内容。 Selenium是一个强大的Web应用程序自动化测试工具，它允许模拟真实用户的浏览器行为。Selenium支持多种...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值