ProxyPool 代理池拉取、扫描、过滤教程

晒到的阳光分你一半

已于 2023-02-15 20:08:02 修改

阅读量913

点赞数

分类专栏：代理池 redis python 文章标签：服务器 java 运维

于 2023-02-14 21:42:30 首次发布

版权

项目主要是做代理池采集入库到redis，我主要是通过搭建好的 /all 接口获取到所有 ip ，通过一台高性能服务器来做代理池、拉取、验证、存储，项目的搭建教程请自行查看资料。

以下是我提供拉取、验证、存储的 shell 脚本包括了定时任务，如果需要修改任务请阅读一下代码

使用前需要先安装 nc

yum install nc -y

shell脚本的目录为 /home/ProxyPool , shell 名称为 FilterAgentPool.sh

定时任务创建时：

# 设置定时任务，每小时执行一次
(crontab -l ; echo "0 * * * * /bin/bash /home/ProxyPool/FilterAgentPool.sh") | crontab -

创建命令是：

mkdir -p /home/ProxyPool
cd /home/ProxyPool
touch FilterAgentPool.sh

#!/bin/bash


# 代理池源，默认从 "http://