nodejs使用爬虫代理的方案

最新推荐文章于 2025-06-29 09:09:42 发布

Laicaling

最新推荐文章于 2025-06-29 09:09:42 发布

阅读量1.4k

点赞数

CC 4.0 BY-SA版权

分类专栏：数据采集爬虫代理 http代理网络爬虫文章标签：亿牛云爬虫代理亿牛云范范动态IP

本文链接：https://blog.youkuaiyun.com/Laicaling/article/details/88192519

网络爬虫同时被 3 个专栏收录

206 篇文章

订阅专栏

数据采集

198 篇文章

订阅专栏

http代理

189 篇文章

订阅专栏

本文介绍了一个使用Node.js通过代理服务器发起HTTP GET请求的示例代码。该示例展示了如何设置代理服务器的主机、端口、路径、方法及头部信息，包括如何生成随机的代理隧道标识和进行代理授权。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

const http = require(“http”);
const url = require(“url”);

// 要访问的目标页面
const targetUrl = "http://httpbin.org/ip";


const urlParsed = url.parse(targetUrl);

// 代理服务器
const proxyHost = "t.16yun.cn";
const proxyPort = "36600";

// 生成一个随机 proxy tunnel
var seed = 1;
function random() {
    var x = Math.sin(seed++) * 10000;
    return x - Math.floor(x);
}
const tunnel = random()*100;

// 代理验证信息
const proxyUser = "username";
const proxyPass = "password";

const base64    = new Buffer.from(proxyUser + ":" + proxyPass).toString("base64");

const options = {
    host: proxyHost,
    port: proxyPort,
    path: targetUrl,
    method: "GET",
    headers: {
        "Host": urlParsed.hostname,
        "Proxy-Tunnel": tunnel,
        "Proxy-Authorization" : "Basic " + base64
    }
};

http.request(options, function (res) {
    console.log("got response: " + res.statusCode);
    res.pipe(process.stdout);
}).on("error", function (err) {
    console.log(err);
}).end();