Golang 采集爬虫如何配置代理 IP

在 Golang 中配置代理 IP,可以通过设置 http.TransportProxy 属性来实现:

下述代码中的 代理IP端口 替换为实际的代理服务器地址和端口,然后运行该程序即可通过代理服务器访问对应网站。

package main

import (
	"fmt"
	"io/ioutil"
	"net/http"
	"net/url"
)

func main() {
    // 代理ip获取:https://www.kuaidaili.com/?ref=rg3jlsko0ymg
    // 高频繁采集推荐使用 动态私密 IP
	proxyURL, err := url.Parse("http://代理IP:端口")
	if err != nil {
		panic(err)
	}

	transport := &http.Transport{
		Proxy: http.ProxyURL(proxyURL),
	}

	client := &http.Client{
		Transport: transport,
	}

	resp, err := client.Get("http://example.com")
	if err != nil {
		panic(err)
	}
	defer resp.Body.Close()

	body, err := ioutil.ReadAll(resp.Body)
	if err != nil {
		panic(err)
	}

	fmt.Println(string(body))
}

免费代理渠道:https://www.kuaidaili.com/?ref=rg3jlsko0ymg

ps:如何只是自己玩玩可以用用免费ip没事,想挣钱做企业服务还是得付费,推荐他们家的私密代理;

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值