golang-proxy 具有性能评估功能的高性能免费高匿代理抓取

Golang-Proxy

项目地址： https://github.com/storyicon/golang-proxy
Golang-Proxy – 简单高效的免费代理抓取工具通过抓取网络上公开的免费代理，来维护一个属于自己的高匿代理池，用于网络爬虫、资源下载等用途。

安装

1. 通过编译源码

# Unix
go get github.com/storyicon/golang-proxy
cd $GOPATH/src/github.com/storyicon/golang-proxy
go build -o "proxy-publisher" publisher/publisher.go
go build -o "proxy-consumer" consumer/consumer.go
go build -o "proxy-assessor" assessor/assessor.go
# ----------------------------------------------------
# Windows
go get github.com/storyicon/golang-proxy
echo %GOPATH%
# 然后进入到GOPATH中
cd src/github.com/storyicon/golang-proxy
go build -o "proxy-publisher.exe" publisher/publisher.go
go build -o "proxy-consumer.exe" consumer/consumer.go
go build -o "proxy-assessor.exe" assessor/assessor.go

分别启动编译好的 publisher、consumer、assessor 即可

2. 开箱即用版本

项目的 ./source/目录下已经默认配置好了一些源，你只需要在 ./config/local.yml 中正确配置你的数据库信息，就可以进行代理的抓取。

1. 对于 windows 用户
   将./bin/windows 目录下的 publisher.exe, consumer.exe, assessor.exe 移动到 golang-proxy 的根目录，分别运行 publisher.exe, consumer.exe, assessor.exe 即可
2. 对于 linux 用户
   见./bin/linux
3. 对于 Mac 用户
   …

你可以通过加入 source 和 config 参数来指定 source 和 config 文件夹的目录位置，例如在 windows 下：

publisher.exe -source="D:\...\golang-proxy\source" -config="D:\...\golang-proxy\config"
consumer.exe -config="D:\...\golang-proxy\config"
assessor.exe -config="D:\...\golang-proxy\config"

注意：