C++使用libcurl写一个简单的爬虫

adayume

于 2019-11-19 16:15:53 发布

阅读量766

点赞数 1

分类专栏： CPP 文章标签： C++ libcurl 爬虫下载图片

本文链接：https://blog.youkuaiyun.com/u012104827/article/details/103144861

版权

本文介绍了如何利用libcurl库在C++中编写一个简单的爬虫程序，以从指定网页下载图片。作者通过实例展示了在Visual Studio 2017上完成的代码，并成功实现了图片下载，强调了libcurl的强大功能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

前几天学习了libcurl的应用（注：libcurl的主页:https://curl.haxx.se/libcurl/），然后我就想，能不能用libcurl来实现一个简单的爬虫程序呢？爬虫的话感觉流程就是访问网页得到网页的源代码，在网页的源代码中筛选出想要的数据。这些libcurl都能够实现，于是我就写了下面的简单代码来测试（注：下面的代码于visual studio 2017 community上面编写完成）：

#define CURL_STATICLIB
#include "libcurl/inlcude/curl.h"
#include <regex>
#include <string>
#include <iostream>
#include <fstream>
#include <sstream>

// 保存网页的html数据
size_t SaveWebsiteHtmlData(void * p_data, size_t size, size_t nmemb, void * stream)
{
    if ((p_data == nullptr)
        || (stream == nullptr))
    {
        return 0;
    }

    std::string html_data(reinterpret_cast<const char*>(p_data), size * nmemb);
    *(reinterpret_cast<std::ostringstream*>(stream)) << html_data;
    retu

最低0.47元/天解锁文章