IP代理池Proxy_Pool使用教程(Windows版)

本文详细介绍了在Windows系统下安装proxy_pool,包括下载依赖、配置Redis数据库、设置代理服务及可视化工具,以及如何获取和管理可用IP代理的过程。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

一、下载安装 proxy_pool

1. 系统环境

  • Windows 7/8/10/11 64位
  • Python 3 环境

2. 下载地址及参考文档

https://github.com/jhao104/proxy_pool
爬虫代理IP池项目,主要功能为定时采集网上发布的免费代理验证入库,定时验证入库的代理保证代理的可用性,提供APICLI两种使用方式。同时你也可以扩展代理源以增加代理池IP的质量和数量。

3. 压缩包解压到本地

在这里插入图片描述

4. 打开 requirement.txt 安装依赖

在这里插入图片描述
在这里插入图片描述
win+R打开 运行,输入 “cmd” 打开 cmd.exe。
按照requirement.txt的内容,使用pip install安装依赖。

pip install -y APScheduler==3.2.0 werkzeug==0.15.5 Flask==1.0 requests==2.20.0 click==7.0 gunicorn==19.9.0 lxml redis

输入pip list可以查看已安装的依赖。

5. 安装 redis 数据库

proxy_pool 需要使用redis数据库。目前Windows下安装redis仅支持64位。

下载地址:https://github.com/tporadowski/redis/releases

安装教程可参考:https://www.runoob.com/redis/redis-install.html

下载对应zip压缩包,解压缩本地。
在这里插入图片描述
在redis目录文件夹右键启动powershell,并启动服务端。

PS D:\Redis-x64-5.0.14> .\redis-server.exe .\redis.windows.conf

在这里插入图片描述
另外启动一个新的powershell,并启动客户端,设置认证密码,这里简单设置为abc。

PS D:\Redis-x64-5.0.14> .\redis-cli.exe -h 127.0.0.1 -p 6379
127.0.0.1:6379> set myKey abc
OK
127.0.0.1:6379> get myKey
"abc"
127.0.0.1:6379>

在这里插入图片描述
设置好之后,需要修改redis目录下的redis.windows.conf文件中的requirepass为对应的认证密码。在此之前,关闭服务端powershell和客户端powershell。

requirepass abc

在这里插入图片描述
接着修改proxy_pool目录下的setting.py文件。

DB_CONN = 'redis://:abc@127.0.0.1:6379/0'

在这里插入图片描述

6. 安装 redis 数据库可视化工具【可选】

推荐使用RedisDesktopManager
下载地址(作者提供免费下载):
https://download.youkuaiyun.com/download/weixin_43468923/80010501在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

二、使用 proxy_pool

1. 获取可用 IP 代理

在redis目录下启动powershell,打开redis服务端。

PS D:\Redis-x64-5.0.14> .\redis-server.exe .\redis.windows.conf

在proxy_pool目录下启动proxy_pool,作为redis客户端去访问redis服务端,刚才已在setting.py进行了端口、认证密码的设置。
proxy_pool有两种启动方式。

PS D:\proxy_pool-master> python proxyPool.py schedule
PS D:\proxy_pool-master> python proxyPool.py server

第一种主要在终端进行。
在这里插入图片描述
第二种可在浏览器显示
在这里插入图片描述
在这里插入图片描述

可通过proxy_pool目录下的setting.py文件进行设置。一般默认为本地地址,端口默认为5010。
在这里插入图片描述
打开浏览器,输入对应地址端口。http://127.0.0.1:5010/ 会提示有以下选项(子目录),常用的是get目录或者all目录
在这里插入图片描述
分别修改浏览器地址为http://127.0.0.1:5010/get/http://127.0.0.1:5010/all/。会显示出可供使用的IP代理,以及是否支持https。
在这里插入图片描述
在这里插入图片描述

2. 设置局部代理/全局代理

电脑、手机等终端设备的所有的网络数据,不管是玩游戏、QQ还是看视频看新闻,都从代理ip服务器或vpn服务器进行传输,这种方式我们称之为全局代理。

反之,只有某个程序或者某些程序的网络数据是通过代理ip服务器或vpn服务器进行传输的,那么,我们称它为局部代理。

局部代理:http/https代理 socks代理

HTTP代理:
  www对于每一个上网的人都再熟悉不过了,www的链接请求就是采用的HTTP协议,所以我们在浏览网页和下载数据的时候,用到的就是HTTP代理。
HTTPS代理:
  HTTPS即是超文本传输安全协议,它是由Netscape开发并内置于其浏览器中,用于对数据进行压缩和解压操作,并返回网络上传送回的结果。
  HTTP和HTTPS是在Socks基础上,进行了数据封装,只专注业务,不考虑底层的数据传输。
Socks代理
  Socks是基于IP:Port套接字进行底层的数据传输,支持多种HTTP、FTP、ICMP等上层协议。
HTTP、HTTPS和Socks代理如何选择:
  对于普通用户,一般使用HTTP或HTTPS即可;对于开发者用户,推荐使用Socks,比如微信开发。

局部代理:http/https代理设置

一般在浏览器的设置选项。设置好代理的IP地址和端口即可,之后通过浏览器浏览网页均经过代理服务器。

全局代理

打开计算机“网络和Internet”选项,找到“代理”选项,进行设置即可。
在这里插入图片描述

### 京东脚本与代理使用教程 #### 登录并配置青龙面板 为了使青龙面板能够运行脚本并完成自动化任务,需要先进行必要的配置。这包括设置京豆账号的Cookies环境变量以及安装相应的脚本文件[^1]。 ```bash export JD_COOKIE="pt_key=your_pt_key;pt_pin=your_pt_pin;" ``` 上述命令用于定义环境变量`JD_COOKIE`,其中`pt_key`和`pt_pin`是从京东APP中提取的用户身份标识。这些信息可以通过浏览器开发者工具在网络请求中找到。 #### 青龙面板的基础搭建流程 如果尚未搭建青龙面板,则可以参考以下步骤来初始化环境: 1. **准备云服务器或虚拟机** 确保拥有可用的云服务器资源,并记录其公网IP地址[^2]。 2. **连接到远程主机** 利用SSH客户端(如FinalShell或Xshell),通过用户名和密码登录至目标机器。 3. **启动容器化应用** 执行Docker镜像拉取及实例创建操作如下所示: ```bash docker pull whyour/qinglong:latest docker run -dit --name qinglong \ -v $PWD/ql/config:/ql/config \ -v $PWD/ql/log:/ql/log \ -v $PWD/ql/db:/ql/db \ -v $PWD/ql/repo:/ql/repo \ -p 5700:5700 whyour/qinglong ``` 此过程会下载最新本的青龙面板程序包,并将其映射到本地目录以便持久保存数据。 #### 设置代理支持 当遇到网络访问受限的情况时,可引入代理机制辅助完成任务调度。具体做法涉及部署独立的代理池服务并与现有框架集成起来[^4]。 ##### 安装自动化的代理管理器 借助官方文档推荐的方式快速构建起基础架构: ```bash docker run -itd \ -v "$(pwd)":/run/data \ -p 5051:8080 \ mzzsfy/auto-proxy-pool ``` 这条指令负责建立一个新的后台进程专门处理动态分配公共出口节点的任务需求。 另外,在某些特定场景下还可以考虑采用PHP编写自定义逻辑实现更复杂的业务功能[^3]。比如针对电商平台上的商品详情页发起周期性的探测活动从而收集实时价格变动趋势图谱等等。 ---
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值