如何使用 libcurl 进行网页抓取

最新推荐文章于 2025-05-09 09:28:13 发布
最新推荐文章于 2025-05-09 09:28:13 发布
阅读量993 收藏 30
点赞数 16
文章标签： 爬虫 自动化 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_68994939/article/details/143179055
版权

在这里插入图片描述

网页抓取是一种从网站提取数据的强大技术，它可以自动化诸如收集定价信息、监控内容更新或收集大型数据集等任务。libcurl 是 C++ 中最流行的网页抓取库之一，它是一个免费且开源的客户端 URL 传输库。它支持多种协议，如 HTTP、HTTPS、FTP 等，使其成为检索网络内容的理想选择。

libcurl 简介

libcurl 是一个强大的 C 库，用于发出 HTTP 请求，支持多种协议，如 HTTP、HTTPS、FTP 等等。它是一个灵活的工具，广泛应用于 C++ 应用程序中执行网络请求。

特性：

  • 多协议支持: HTTP、HTTPS、FTP、FTPS、SMTP 等。
  • 异步支持: 通过 CURLM 一次管理多个请求。
  • 错误处理: 提供详细的错误消息和状态代码。
  • 身份验证: 支持基本、摘要、NTLM、协商等。
  • Cookie 和会话: 可以轻松管理 Cookie 和会话信息。

先决条件

在使用 libcurl 之前，您必须：

  • 在您的系统上安装 libcurl。
  • 在您的 C++ 代码中包含 curl/curl.h 头文件。

您可以在 Linux 上使用以下命令安装 libcurl：

sudo apt-get install libcurl4-openssl-dev

基本示例：发出 GET 请求

以下是如何使用 C++ 中的 libcurl 执行简单的 GET 请求：

#include <iostream>
#include <curl/curl.h>

static size_t WriteCallback(void* contents, size_t size, size_t nmemb, void* userp)
{
    ((std::string*)userp)->append((char*)contents, size * nmemb);
    return size * nmemb;
}

int main() {
    CURL* curl;
    CURLcode res;
    std::string readBuffer;

    curl_global_init(CURL_GLOBAL_DEFAULT);
    curl = curl_easy_init();
    
    if(curl) {
        curl_easy_setopt(curl, CURLOPT_URL, "https://httpbin.org/get");
        curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, WriteCallback);
        curl_easy_setopt(curl, CURLOPT_WRITEDATA, &readBuffer);

        res = curl_easy_perform(curl);
        if(res != CURLE_OK) {
            std::cerr << "curl_easy_perform() failed: " << curl_easy_strerror(res) << std::endl;
        } else {
            std::cout << "Response: " << readBuffer << std::endl;
        }

        curl_easy_cleanup(curl);
    }
    curl_global_cleanup();
    
    return 0;
}

网页抓取示例：从 API 获取 JSON 数据

以下是一个从 API 获取数据并打印结果的示例：

#include <iostream>
#include <curl/curl.h>

static size_t WriteCallback(void* contents, size_t size, size_t nmemb, void* userp)
{
    ((std::string*)userp)->append((char*)contents, size * nmemb);
    return size * nmemb;
}

int main() {
    CURL* curl;
    CURLcode res;
    std::string readBuffer;

    curl_global_init(CURL_GLOBAL_DEFAULT);
    curl = curl_easy_init();

    if(curl) {
        curl_easy_setopt(curl, CURLOPT_URL, "https://jsonplaceholder.typicode.com/posts");
        curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, WriteCallback);
        curl_easy_setopt(curl, CURLOPT_WRITEDATA, &readBuffer);

        res = curl_easy_perform(curl);
        if(res != CURLE_OK) {
            std::cerr << "curl_easy_perform() failed: " << curl_easy_strerror(res) << std::endl;
        } else {
            std::cout << "Response: " << readBuffer << std::endl;
        }

        curl_easy_cleanup(curl);
    }
    curl_global_cleanup();
    
    return 0;
}

使用 libcurl 处理代理

要通过 libcurl 将您的请求路由到代理服务器：

#include <iostream>
#include <curl/curl.h>

static size_t WriteCallback(void* contents, size_t size, size_t nmemb, void* userp)
{
    ((std::string*)userp)->append((char*)contents, size * nmemb);
    return size * nmemb;
}

int main() {
    CURL* curl;
    CURLcode res;
    std::string readBuffer;

    curl_global_init(CURL_GLOBAL_DEFAULT);
    curl = curl_easy_init();

    if(curl) {
        curl_easy_setopt(curl, CURLOPT_URL, "https://httpbin.org/ip");
        curl_easy_setopt(curl, CURLOPT_PROXY, "http://proxyserver:8080");
        curl_easy_setopt(curl, CURLOPT_PROXYUSERPWD, "username:password");
        curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, WriteCallback);
        curl_easy_setopt(curl, CURLOPT_WRITEDATA, &readBuffer);

        res = curl_easy_perform(curl);
        if(res != CURLE_OK) {
            std::cerr << "curl_easy_perform() failed: " << curl_easy_strerror(res) << std::endl;
        } else {
            std::cout << "Response: " << readBuffer << std::endl;
        }

        curl_easy_cleanup(curl);
    }
    curl_global_cleanup();
    
    return 0;
}

使用 libcurl 处理 Cookie

libcurl 可以通过启用 COOKIEFILE 选项来管理 Cookie：

#include <iostream>
#include <curl/curl.h>

static size_t WriteCallback(void* contents, size_t size, size_t nmemb, void* userp)
{
    ((std::string*)userp)->append((char*)contents, size * nmemb);
    return size * nmemb;
}

int main() {
    CURL* curl;
    CURLcode res;
    std::string readBuffer;

    curl_global_init(CURL_GLOBAL_DEFAULT);
    curl = curl_easy_init();

    if(curl) {
        curl_easy_setopt(curl, CURLOPT_URL, "https://httpbin.org/cookies/set?name=value");
        curl_easy_setopt(curl, CURLOPT_COOKIEFILE, "");
        curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, WriteCallback);
        curl_easy_setopt(curl, CURLOPT_WRITEDATA, &readBuffer);

        res = curl_easy_perform(curl);
        if(res != CURLE_OK) {
            std::cerr << "curl_easy_perform() failed: " << curl_easy_strerror(res) << std::endl;
        } else {
            std::cout << "Response: " << readBuffer << std::endl;
        }

        curl_easy_cleanup(curl);
    }
    curl_global_cleanup();
    
    return 0;
}

高级用法：自定义标头和 POST 请求

要发送自定义标头或执行 libcurl 的 POST 请求：

#include <iostream>
#include <curl/curl.h>

static size_t WriteCallback(void* contents, size_t size, size_t nmemb, void* userp)
{
    ((std::string*)userp)->append((char*)contents, size * nmemb);
    return size * nmemb;
}

int main() {
    CURL* curl;
    CURLcode res;
    std::string readBuffer;
    
    curl_global_init(CURL_GLOBAL_DEFAULT);
    curl = curl_easy_init();

    if(curl) {
        struct curl_slist* headers = nullptr;
        headers = curl_slist_append(headers, "User-Agent: Mozilla/5.0");
        headers = curl_slist_append(headers, "Accept-Language: en-US,en;q=0.5");

        curl_easy_setopt(curl, CURLOPT_URL, "https://httpbin.org/post");
        curl_easy_setopt(curl, CURLOPT_HTTPHEADER, headers);
        curl_easy_setopt(curl, CURLOPT_POSTFIELDS, "username=testuser&password=testpass");
        curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, WriteCallback);
        curl_easy_setopt(curl, CURLOPT_WRITEDATA, &readBuffer);

        res = curl_easy_perform(curl);
        if(res != CURLE_OK) {
            std::cerr << "curl_easy_perform() failed: " << curl_easy_strerror(res) << std::endl;
        } else {
            std::cout << "Response: " << readBuffer << std::endl;
        }

        curl_slist_free_all(headers);
        curl_easy_cleanup(curl);
    }
    curl_global_cleanup();

    return 0;
}

示例：使用 CapSolver 和 libcurl (C++) 解决 ReCaptcha V3

在本示例中，我们将演示如何使用 C++ 中的 CapSolver: 和 libcurl 库解决 ReCaptcha V3。CapSolver API 允许轻松与 ReCaptcha 任务进行交互并检索解决方案。

在开始之前，确保您具备以下先决条件：

  • 在您的系统上安装 libcurl（在 Linux 上通过 sudo apt-get install libcurl4-openssl-dev 安装它）。
  • CapSolver API 密钥（将代码中的 "YourKey" 替换为您的实际密钥）。

以下是使用 CapSolver 解决 ReCaptcha V3 的分步指南：

第 1 步：创建任务

第一步是向 CapSolver 的 API 发送请求以创建解决 ReCaptcha 的任务。该任务包含网站 URL、网站密钥（来自目标页面）和特定页面操作等详细信息。

#include <iostream>
#include <string>
#include <curl/curl.h>
#include <json/json.h>

const std::string CAPSOLVER_KEY = "YourKey";
const std::string PAGE_URL = "https://antcpt.com/score_detector";
const std::string PAGE_KEY = "6LcR_okUAAAAAPYrPe-HK_0RULO1aZM15ENyM-Mf";
const std::string PAGE_ACTION = "homepage";

static size_t WriteCallback(void* contents, size_t size, size_t nmemb, void* userp) {
    ((std::string*)userp)->append((char*)contents, size * nmemb);
    return size * nmemb;
}

std::string createTask(const std::string& url, const std::string& key, const std::string& action) {
    CURL* curl;
    CURLcode res;
    std::string readBuffer;

    curl = curl_easy_init();
    if (curl) {
        curl_easy_setopt(curl, CURLOPT_URL, "https://api.capsolver.com/createTask");
        curl_easy_setopt(curl, CURLOPT_POST, 1L);

        // JSON 负载用于任务创建
        Json::Value payload;
        payload["clientKey"] = CAPSOLVER_KEY;
        payload["task"]["type"] = "ReCaptchaV3TaskProxyLess";
        payload["task"]["websiteURL"] = url;
        payload["task"]["websiteKey"] = key;
        payload["task"]["pageAction"] = action;

        Json::StreamWriterBuilder writer;
        std::string requestData = Json::writeString(writer, payload);

        curl_easy_setopt(curl, CURLOPT_POSTFIELDS, requestData.c_str());

        struct curl_slist* headers = nullptr;
        headers = curl_slist_append(headers, "Content-Type: application/json");
        curl_easy_setopt(curl, CURLOPT_HTTPHEADER, headers);
        curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, WriteCallback);
        curl_easy_setopt(curl, CURLOPT_WRITEDATA, &readBuffer);

        res = curl_easy_perform(curl);
        curl_slist_free_all(headers);
        curl_easy_cleanup(curl);
    }
    return readBuffer;
}

此函数向 CapSolver API 发送一个 POST 请求，其中包含必要的任务详细信息，并返回响应，其中将包含一个 taskId。

第 2 步：检索 CAPTCHA 解决方案

创建任务后，您需要查询 CapSolver 的 API 以获取任务的结果，其中包含用于绕过 ReCaptcha 挑战的令牌。

std::string getTaskResult(const std::string& taskId) {
    CURL* curl;
    CURLcode res;
    std::string readBuffer;

    curl = curl_easy_init();
    if (curl) {
        curl_easy_setopt(curl, CURLOPT_URL, "https://api.capsolver.com/getTaskResult");
        curl_easy_setopt(curl, CURLOPT_POST, 1L);

        // JSON 负载用于获取任务结果
        Json::Value payload;
        payload["clientKey"] = CAPSOLVER_KEY;
        payload["taskId"] = taskId;

        Json::StreamWriterBuilder writer;
        std::string requestData = Json::writeString(writer, payload);

        curl_easy_setopt(curl, CURLOPT_POSTFIELDS, requestData.c_str());

        struct curl_slist* headers = nullptr;
        headers = curl_slist_append(headers, "Content-Type: application/json");
        curl_easy_setopt(curl, CURLOPT_HTTPHEADER, headers);
        curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, WriteCallback);
        curl_easy_setopt(curl, CURLOPT_WRITEDATA, &readBuffer);

        do {
            readBuffer.clear();
            res = curl_easy_perform(curl);
            std::this_thread::sleep_for(std::chrono::seconds(5));
        } while (readBuffer.find("\"status\":\"ready\"") == std::string::npos);

        curl_slist_free_all(headers);
        curl_easy_cleanup(curl);
    }
    return readBuffer;
}

此函数会重复检查任务状态，直到任务准备就绪，然后返回 ReCaptcha 解决方案。

第 3 步：整合在一起

最后，以下是如何将这两个函数整合到您的主代码中：

int main() {
    std::cout << "Creating CAPTCHA task..." << std::endl;
    std::string taskResponse = createTask(PAGE_URL, PAGE_KEY, PAGE_ACTION);

    Json::CharReaderBuilder reader;
    Json::Value jsonResponse;
    std::string errors;
    std::istringstream taskStream(taskResponse);
    std::string taskId;

    if (Json::parseFromStream(reader, taskStream, &jsonResponse, &errors)) {
        taskId = jsonResponse["taskId"].asString();
        std::cout << "Task ID: " << taskId << std::endl;

        std::cout << "Retrieving CAPTCHA result..." << std::endl;
        std::string resultResponse = getTaskResult(taskId);

        Json::Value resultJson;
        std::istringstream resultStream(resultResponse);
        Json::parseFromStream(reader, resultStream, &resultJson, &errors);

        std::string token = resultJson["solution"]["gRecaptchaResponse"].asString();
        std::cout << "Token Solution: " << token << std::endl;
    } else {
        std::cerr << "Error parsing task response: " << errors << std::endl;
    }

    return 0;
}

这段代码将：

  1. 通过 CapSolver 创建一个 ReCaptcha 任务。
  2. 等待任务完成。
  3. 检索 ReCaptcha 令牌解决方案并将其打印出来。

附加代码

在 CapSolver: 上获取顶级验证码解决方案的 附加代码：scrape。兑换后，每次充值后，您将获得额外的 5% 奖励，无限次。

在这里插入图片描述

结论

借助 libcurl，您可以在 C++ 应用程序中轻松处理 HTTP 请求。通过将其与 CapSolver 集成，您可以解决诸如 ReCaptcha V3 之类的验证码，并在您的请求中使用结果。

CapsolverCN官 方代理交流扣 群：497493756

ForRunner123
关注
使用libcurl库获取网页信息(C++ php)
ythunder的博客
08-19 4616
这周要做一个小项目，需要获得学生的账户名密码后，去本校教务系统验证是否正确并且抓一个网页信息下来。 查网上时候，可以通过发送POST或GET请求来实现，然后尝试用POST先。 首先安装libcurl库 sudo yum install libcurl 安装好后之后代码中添加头文件curl/curl.h就可以使用curl的函数了。当时需要访问的正方网页(222.24.62.120)需要验证码，
C++中LibCurl库使用流程及配置详解
qq_45467732的博客
02-22 3048
libcurl是一个跨平台的开源网络传输库，它支持许多协议，包括HTTP、HTTPS、FTP、FTPS、SCP、SFTP、TFTP、LDAP、以及许多其他协议和文件传输方式。libcurl允许开发者使用C语言编写代码来进行网络通信，并提供了简单易用的API接口。跨平台性: 可以在各种操作系统上使用，包括Linux、Windows、macOS等。多协议支持: 支持多种常用的网络协议，例如HTTP、FTP等，以及安全协议如HTTPS、FTPS等。
用htmlcxx解析从libcurl中获取到的web网页源码
10-30
使用libcurl获取经过gzip压缩的网页文件，配合我的文章http://blog.youkuaiyun.com/zengraoli/article/details/13623701 使用
libcurl库在C++中的全面使用指南
最新发布
weixin_33239721的博客
05-09 962
libcurl是一个开源、稳定且高效的客户端URL传输库，支持多种网络协议。它允许开发者在应用程序中实现文件上传、下载、邮件发送、FTP等操作。libcurl库提供了丰富的API函数，其中最基本的是函数，用于执行一个简单的请求。其他常用函数包括：：初始化一个CURL对象。：设置CURL对象的选项，如URL、请求类型等。：获取传输过程中的各种信息，如传输速度、总时间等。：清理CURL对象，释放资源。
C/C++中libcurl的使用-Http GET方法使用详解
热门推荐
cjf_wei的博客
01-21 2万+
Curl是一个命令行工具，用于以特定的URL语法进行数据传输。libcrul是一个用于完成此项工作的curl库。借助libcurl，使用C/C++可以完成文件的下载，HTTP get,post等很多工作。本文介绍使用libcurl的C API完成HTTP中的GET操作。 下面的代码用于使用HTTP get协议，发送请求到一个网址，当请求被正确响应后，将响应的结果页面内容写成一个文件，保存在本地磁
libcurl实战-Get请求
算法攻城狮
08-17 3707
ibcurl作为是一个多协议的便于客户端使用的URL传输库，基于C语言，提供C语言的API接口，支持DICT, FILE, FTP, FTPS, Gopher, HTTP, HTTPS, IMAP, IMAPS, LDAP, LDAPS, POP3, POP3S, RTMP, RTSP, SCP, SFTP, SMTP, SMTPS, Telnet and TFTP这些协议，同时支持使用SSL证书的安全文件传输：HTTP POST, HTTP PUT, FTP 上传, 基于HTTP形式的上传...
使用libcurl抓取并解压gzip压缩的网页数据
标题所提到的关键知识点是“使用libcurl获取经过gzip压缩的网页文件”。为了深入了解这个话题，我们首先需要理解libcurl是什么，gzip压缩技术的基本原理，以及它们是如何结合起来实现文件获取和解压缩的。 ### ...
WebScraper: 利用libcurl API实现网页库存数据抓取
以下是使用libcurl进行网页抓取的基本步骤： - 包含libcurl头文件。 - 初始化一个CURL对象。 - 使用curl_easy_setopt设置各种选项。 - 使用curl_easy_perform执行实际的HTTP请求。 - 使用curl_easy_cleanup清理CURL...
libcurltest.rar_libcurl_libcurl 上传_libcurl 下载_libcurl下载_使用libcur
07-14
libcurl 是一个强大的开源库，专门用于处理网络传输任务，如HTTP、FTP、SMTP等多种协议的...无论是进行简单的网页抓取，还是复杂的企业级应用，libcurl都是一个强大的工具，能帮助开发者高效、安全地处理网络通信任务。
CPWD.rar_网页抓取
09-19
【标题】"CPWD.rar_网页抓取"指的是一个使用VC++编程语言编写的源代码程序，该程序设计用于从网页中抓取或提取特定信息，可能是登录密码或其他敏感数据。这种技术通常被称为网络爬虫或者网页抓取，是数据分析和信息...
libcurl开源的、跨平台的网络传输库，用于在程序中实现数据传输功能的编译
森明帮大于黑虎帮的博客
08-04 5259
libcurl开源的、跨平台的网络传输库，用于在程序中实现数据传输功能的编译
libcurl库
weixin_45993872的博客
03-21 3098
libcurl是一个跨平台的网络协议库，支持http、https，ftp，telnet等应用层协议。libcurl同样支持HTTPS证书授权，HTTP POST，HTTP PUT,FTP上传，HTTP基本表单上传，大力cookies和用户认证。
第三方库介绍——libcurl库
NRWHF的博客
06-27 3562
第三方库介绍——libcurl库
libcurl简介及其编程应用
weixin_50546241的博客
01-17 2593
libcurl简介及其编程应用
libcurl学习1_libcurl是什么？
芋圆＿钰源
05-23 3501
1.libcurl是什么？ 可能对于新人来说，就连 cURL、libcurl 和 curl 的概念都是分不清楚的。这不怪我们，确实关于这一点，官方网站都没有说的很清楚，但是在源代码中的 FAQ 文档中却说的非常明白。 What is cURL? cURL is the name of the project. The name is a play on ‘Client for URLs’, originally with URL spelled in uppercase to make it obviou
libcurl库简介
emgexgb_sef的博客
03-21 4316
文章目录 一、libcurl等第三方库的通用编译方法 1、库下载 2、开始安装库 二、调用libcurl编程访问百度主页 1.代码 2、编译注意（编译时链接库、头文件路径，运行需添加动态库为环境变量） 以下部分内容参考博文 https://www.cnblogs.com/xietianjiao/p/13260021.html https://blog.youkuaiyun.com/zhuguanlin121/article/details/116935439 一、libcurl等第三方库的通用编
libcurl库的介绍和使用，并调用libcurl库编程访问百度主页
Li_t0010的博客
10-21 2317
libcurl库的介绍和使用，并调用libcurl库编程访问百度主页
libcurl的下载安装、使用，Get和Post访问http/https
m0_69808624的博客
01-19 2689
libcurl是一个跨平台的网络协议库，支持http, https, ftp, gopher, telnet, dict, file, 和ldap 协议。 libcurl同样支持HTTPS证书授权，HTTP POST, HTTP PUT, FTP 上传。 libcurl的官网下载curl - Download ；安装openssl。 ​
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值