开源项目（库）之libcurl学习（二）

最新推荐文章于 2025-06-30 21:38:11 发布
最新推荐文章于 2025-06-30 21:38:11 发布
阅读量1k 收藏
点赞数 2
CC 4.0 BY-SA版权
分类专栏： 开源项目（库） 文章标签： 爬虫 线程池 多线程 boost
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/zmyer/article/details/19177871
本文介绍了一个改进的多线程网页爬虫程序，对比单线程爬虫，提高了解析速度。通过重新封装功能并实现简单线程处理，程序支持多线程解析网页。尽管存在使用boost::mutex导致的单线程瓶颈、文件写入未考虑同步机制等问题，作者提出后续优化方向。程序展示了多线程爬虫的基本实现，旨在提升网页内容抓取效率。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在上一篇博文中，我们曾实现了一个简单的爬虫程序，在那篇博文中，我们使用的是单线程的，感觉多少有些不好，所以在这篇博文中，我们就将其修改为多线程的，废话不多说了，直接上代码，如下：

#ifndef __HTTP_CURL__H
#define __HTTP_CURL__H

#include <boost/smart_ptr.hpp>
#include <boost/thread/mutex.hpp>
#include <boost/thread/locks.hpp>
#include <boost/function.hpp>
#include <boost/bind.hpp>
#include <curl/curl.h>
#include <string>
#include <set>
#include <string.h>
#include <stdio.h>
#include <stdlib.h>
#include <unistd.h>
using namespace std;
using namespace boost;

#define MAX_BUFFERSIZE 1024*10
#define MAX_THREAD 10
static int fileIndex = 1;

boost::mutex mut;
std::set<string> urlSet;
std::set<string> finishUrlSet;
typedef set<string>::iterator urlSet_Iter;

#define BEGIN_SPIDER(path) {urlSet.insert(path);}
class HttpCurl
{
    public:
        HttpCurl()
        {
            conn = NULL;
        }
        ~HttpCurl()
        {
            curl_easy_cleanup(conn);
        }

        static bool HttpCurlInit()
        {
            urlSet.clear();
            finishUrlSet.clear();
            CURLcode code;
            code = curl_global_init(CURL_GLOBAL_DEFAULT);
            if(CURLE_OK != code)
            {
                printf("Failed to global init default\n");
                return false;
            }
            return true;
        }

        bool InitCurlObject(string& context)
        {
            CURLcode code;
            conn = curl_easy_init();
            if(NULL == conn)
            {
                printf("Failed to create CURL\n");
                return false;
            }
            if(!setWriteFunc())
            {
                printf("Failed to set write\n");
                return false;
            }
            if(!setWriteBuff(context))
            {
                printf("Failed to set buffer\n");
                return false;
            }
            return true;
        }

        bool setWriteFunc()
        {
            CURLcode code;
            code = curl_easy_setopt(conn,CURLOPT_WRITEFUNCTION,HttpCurl::write);
            if(CURLE_OK != code)
            {
                printf("Failed to set write\n");
                return false;
            }
            return true;
        }
        bool setWriteBuff(string& context)
        {
            CURLcode code;
            code = curl_easy_setopt(conn,CURLOPT_WRITEDATA,&context);
            if(CURLE_OK != code)
            {
                printf("Failed to set write data\n");
                return false;
            }
            return true;
        }

        bool setUrl(string& url)
        {
            CURLcode code;
            code = curl_easy_setopt(conn,CURLOPT_URL,url.c_str());
            if(CURLE_OK != code)
            {
                printf("Failed to set URL\n");
                return false;
            }
            return true;
        }

        bool getHttpResponse()
        {
            CURLcode code;
            assert(conn);
            code = curl_easy_perform(conn);
            if(CURLE_OK != code)
            {
                printf("Failed to get response\n");
                return false;
            }

            return true;
        }
        static long write(void* data,int size,int nmemb,string& context)
        {
            long sizes = size*nmemb;
            std::string temp((char*)data,sizes);
            context += temp;
            return sizes;
        }

        bool save(const string& context,string filename)
        {
            CURLcode code;
            int retcode = 0;
            code = curl_easy_getinfo(conn,CURLINFO_RESPONSE_CODE,&retcode);
            if((CURLE_OK == code)&& retcode ==200)
            {
                int length = strlen(context.c_str());
                FILE* file = fopen(filename.c_str(),"w+");
                fseek(file,0,SEEK_SET);
                fwrite(context.c_str(),1,length,file);
                fclose(file);
                return  true;
            }
            return false;
        }
    private:
        CURL* conn;
};

class Spider
{
    public:
        Spider(shared_ptr<HttpCurl>& cul):httpCurl(cul)
        {
            httpCurlUrlSet.clear();
        }
        ~Spider(){}

        bool initCurl(string& context)
        {
            return httpCurl->InitCurlObject(context);
        }

        void parseUrl(const string& context)
        {
            const string tag = "href";
            const string tag2 = "\"";
            const string tag3 = "http";
            string::size_type tempBegin,tempEnd,iter,httpIter;
            tempBegin = tempEnd = 0;
            iter= context.find(tag);
            while(iter != string::npos)
            {
                tempBegin = context.find(tag2,iter);
                if(tempBegin != string::npos)
                {
                    ++tempBegin;
                    tempEnd = context.find(tag2,tempBegin);
                }
                if(tempEnd != string::npos && tempEnd > tempBegin)
                {
                    string url;
                    url.assign(context,tempBegin,(tempEnd-tempBegin));
                    httpIter = url.find(tag3);
                    if(httpIter != string::npos)
                        httpCurlUrlSet.insert(url);
                }
                iter = context.find(tag,tempEnd);
            }
        }
        bool write(const string& context,const string& filename)
        {
            return httpCurl->save(context,filename);
        }

        void start(string url,string& context)
        {
            char filename[64];
            memset(filename,0,sizeof(filename));
            sprintf(filename,"%d.html",fileIndex++);

            httpCurl->setUrl(url);
            if(httpCurl->getHttpResponse())
            {
               parseUrl(context);
               write(context,filename);
               insertUrl();
            }
        }

        void insertUrl()
        {
            boost::unique_lock<boost::mutex> lock(mut);
            for( urlSet_Iter iter = httpCurlUrlSet.begin();iter != httpCurlUrlSet.end();++iter)
                urlSet.insert(*iter);
            httpCurlUrlSet.clear();
        }

        void displayUrl()
        {
            urlSet_Iter iter = urlSet.begin();
            for(; iter != urlSet.end();++iter)
            {
                cout<<*iter<<endl;
            }
        }
        string getUrl()
        {
            urlSet_Iter iter;
            string url;
            boost::unique_lock<boost::mutex> lock(mut);
            for(iter = urlSet.begin();iter != urlSet.end();++iter)
            {
                if(finishUrlSet.find(*iter) != finishUrlSet.end())
                    continue;
                break;
            }
            if(iter != urlSet.end())
            {
                url = *iter;
                urlSet.erase(iter);
                finishUrlSet.insert(url);
                return url;
            }
            return "";
        }

    private:
        shared_ptr<HttpCurl> httpCurl;
        std::set<std::string> httpCurlUrlSet;

};

class SpiderThread
{
    typedef boost::function<void()> func;
    public:
        SpiderThread(shared_ptr<Spider>& spider):spider(spider)
        {
            context.clear();
            InitSpider(spider,context);
        }
        SpiderThread(shared_ptr<Spider>& spider,func& fun):spider(spider),fun(fun)
        {
            context.clear();
            InitSpider(spider,context);
        }
        ~SpiderThread()
        {
            stop();
        }

        void InitSpider(shared_ptr<Spider>& spider,string& context)
        {
             spider->initCurl(context);
        }

        static void* start(void* arg)
        {
            printf("start...\n");
            SpiderThread* thread = static_cast<SpiderThread*>(arg);
            thread->fun();
            return NULL;
        }

        void setFunc(const func& fun)
        {
            this->fun = fun;
        }

        shared_ptr<Spider> getHttpCurl()
        {
            return spider;
        }
        string& getContext()
        {
            return context;
        }
        void run()
        {
            pthread_create(&pThread,NULL,&start,this);
        }
        void stop()
        {
            pthread_join(pThread,NULL);
        }

    private:
        pthread_t pThread;
        shared_ptr<Spider> spider;
        func fun;
        string context;
};

static void* loop(SpiderThread* spiderThread)
{
    for(;;)
    {
        string url = spiderThread->getHttpCurl()->getUrl();
        printf("url=%s\n",url.c_str());
        if(url != "")
            spiderThread->getHttpCurl()->start(url,spiderThread->getContext());
    }
    return NULL;
}

#endif

测试程序如下：

#include "curlTest.h"

int main()
{
    HttpCurl::HttpCurlInit();
    BEGIN_SPIDER("www.baidu.com");

    shared_ptr<HttpCurl> curl1(new HttpCurl());
    shared_ptr<Spider> spider1(new Spider(curl1));
    spider1->displayUrl();
    SpiderThread spiderThread(spider1);
    boost::function<void()> f = boost::bind(&loop,&spiderThread);
    spiderThread.setFunc(f);
    spiderThread.run();

    shared_ptr<HttpCurl> curl2(new HttpCurl());
    shared_ptr<Spider>spider2(new Spider(curl2));
    SpiderThread spiderThread1(spider2);
    boost::function<void()> f1 = boost::bind(&loop,&spiderThread1);
    spiderThread1.setFunc(f1);
    spiderThread1.run();
    //sleep(10);
    return 0;
}

测试结果：

url=http://anquan.baidu.com/bbs/thread-10093-1-1.html
url=http://anquan.baidu.com/bbs/thread-10097-1-1.html
url=http://anquan.baidu.com/bbs/thread-10106-1-1.html
url=http://anquan.baidu.com/bbs/thread-10112-1-1.html
url=http://anquan.baidu.com/bbs/thread-10114-1-1.html
url=http://anquan.baidu.com/bbs/forum.php?mod=redirect&amp;goto=findpost&amp;pid=80417&amp;ptid=10112
url=http://anquan.baidu.com/bbs/forum.php?mod=redirect&amp;goto=findpost&amp;pid=80421&amp;ptid=10114
url=http://anquan.baidu.com/bbs/forum.php?mod=redirect&amp;goto=findpost&amp;pid=80450&amp;ptid=10114
url=http://anquan.baidu.com/bbs/forum.php?mod=redirect&amp;goto=findpost&amp;pid=80458&amp;ptid=10114
url=http://anquan.baidu.com/bbs/forum.php?mod=redirect&amp;goto=findpost&amp;pid=80466&amp;ptid=10114
url=http://anquan.baidu.com/bbs/forum.php?mod=redirect&amp;goto=findpost&amp;pid=80475&amp;ptid=10114
url=http://anquan.baidu.com/bbs/forum.php?mod=redirect&amp;goto=findpost&amp;pid=80843&amp;ptid=10112
url=http://anquan.baidu.com/bbs/thread-10117-1-1.html
url=http://anquan.baidu.com/bbs/thread-10121-1-1.html
url=http://anquan.baidu.com/bbs/forum.php?mod=redirect&amp;goto=findpost&amp;pid=80404&amp;ptid=10117
url=http://anquan.baidu.com/bbs/forum.php?mod=redirect&amp;goto=findpost&amp;pid=80424&amp;ptid=10117
url=http://anquan.baidu.com/bbs/forum.php?mod=redirect&amp;goto=findpost&amp;pid=80427&amp;ptid=10117

总结

       这篇博文主要是针对上篇博文进行了修改，使其支持多线程，整个测试下来，感觉其速度明显要快于单线程，再设计的过程中主要是将之前的功能重新又封装了一层，并且在这层面上实现了简单的线程处理函数，这点也是参考了之前写的多线程池的思想，但是这个支持多线程的爬虫程序，同样有几点不足：1）使用了boost:::mutex进行同步化，这种方式最大的弊端就是在关键的节点上呈现出了单线程的特性，不利于提高整体的解析能力，2）在将爬到的结构写入文件时，没有考虑使用同步机制，主要是考虑到简洁性，部分文件名重叠的情形不影响整个爬虫解析能力，等有时间再将其改下，3）个人感觉完全可以将测试程序中的一些步骤进行抽象化为线程池的设计思想，这样使得测试程序更加的明晰易懂。总之，本程序只是个人业余时间写的程序，纯属个人娱乐，不足以和商业爬虫相比，里面有些编码不是很规范，请见谅，多谢了，本篇博文到此结束，谢谢

如果需要，请注明转载，多谢

【C++开源库使用】使用libcurl开源库发送url请求（http/https请求）去下载用户头像文件（附完整源码）
dvlinker的技术专栏
07-07 1万+
本文详细讲述如何使用libcurl开源库发送url请求（http请求）去下载用户头像文件，并给出了完整实现源码。
【常见开源库的二次开发】libcurl实战项目——人脸识别（三）
嵌入式技术开发
06-03 4172
libcurl是一个开源的、跨平台的网络传输库，它支持多种协议，包括HTTP、HTTPS、FTP、FTPS、TFTP、SCP、SFTP、SMB、SMBS、TELNET、DICT、LDAP、LDAPS、FILE、POP3、IMAP、SMTP、RTMP和RTMPS。libcurl库以其灵活性和易用性而闻名，它允许开发者轻松地在其应用程序中集成网络通信功能，本章我们先对libcurl库运用到实战项目中进行一个简单的教程与学习
libcurl源码
09-18
curl源代码
开源项目（库）之libcurl学习（一）
zmyer的专栏
02-13 3141
最近抽了点时间，将之前开发中使用到的一些开源库进行了下总结，主要是为了回顾一下自己所使用的一些库基础知识，并且加深理解，在这些库中，首先一个库就是libcurl，这个库很强大，当时在做openstack swift API时使用到了，这个库一个轻量级的HTTP编程库，里面封装了一套基于HTTP的上层应用协议的数据包的基本操作，其支持FTP，FTPS，TFTP，HTTP，HTTPS，GOPHER，T
CURL(libcurl)从源码编译到应用
最新发布
LILI00000的专栏
06-30 667
CURLcurl 用于在命令行或脚本中传输数据。curl 本身也是 libcurl，它被广泛应用于汽车、电视、路由器、打印机、音频设备、手机、平板电脑、医疗设备、机顶盒、电脑游戏、媒体播放器中，并且是无数软件应用的互联网传输引擎，已安装在超过两百亿台设备上。libcurl — 你的网络传输库。
libcurl开源的、跨平台的网络传输库，用于在程序中实现数据传输功能的编译
森明帮大于黑虎帮的博客
08-04 5327
libcurl开源的、跨平台的网络传输库，用于在程序中实现数据传输功能的编译
libcurl:开源的http库学习
weixin_30646315的博客
06-27 116
其实curl还可以用来做ftp等协议，这里只用到http下载功能，公司用的是自己写的http库，对一些异常处理做的不够好，出了两次问题，所以决定会稳定的curl。 第一次是因为cdn采取了cname的解析方式，但是公司的库没有处理cname方式，所以就悲剧了，赶紧加上了cname的处理方式。 第二次是因为获取要下载的文件时，需要先获取文件长度时（Head），发送Head请求后，网络库是等待we...
libcurl 模块源码分享-易语言
06-11
libcurl/7.73.0 OpenSSL/1.1.1h zlib/1.2.11 c-ares/1.16.1 WinIDN libssh2/1.9.0 nghttp2/1.41.0 2020/12/19 1.由于类调用问题，决定越简单越好，删除中文类。 2.修复若干BUG。 3.增加进度回调函数。 4.太懒 太忙了@！ 2020/12/14  by 见与不见 QQ:532523788 1.修复若干BUG。 2.libcurl库升级到7.73.0，来源于 精易论坛 ，URL就不发了，本人很懒。 3.支持自动GZIP解码。 4.Libcurl类增加中英文。 5.以后有空在增加curl异步的功能。（实在太忙了！@） 旧帖： CURL 简易http访问类封装 https://bbs.125.la/forum.php?mod=viewthreadtid=14655046
【C++】开源：libcurl网络传输库配置与使用
DevFrank的博客
08-23 1515
libcurl网络传输库与多线程下载器
【常见开源库的二次开发】libcurl实战项目——车牌识别（四）
嵌入式技术开发
06-03 908
libcurl是一个开源的、跨平台的网络传输库，它支持多种协议，包括HTTP、HTTPS、FTP、FTPS、TFTP、SCP、SFTP、SMB、SMBS、TELNET、DICT、LDAP、LDAPS、FILE、POP3、IMAP、SMTP、RTMP和RTMPS。libcurl库以其灵活性和易用性而闻名，它允许开发者轻松地在其应用程序中集成网络通信功能，本章我们先对libcurl库运用到实战项目中进行一个简单的教程与学习
C/C++开发人员要了解的几大著名C/C++开源库
热门推荐
dvlinker的技术专栏
07-24 5万+
本文详细讲述C/C++开发人员需要了解的几大著名C/C++开源库。
libcurl源码编译及使用 - B_H_L的专栏 - 博客频道 - 优快云1
08-03
摘要视图订阅B_H_L的专栏登录 | 注册726073次第1679名53篇331篇0篇61条13.void *func_download_file(FILE *
libcurl 7.66 源码 附上Vc 源码
05-27
版本使用了7.66 没有用最新的，测试的时候发现7.66以后的版本每次访问都会有1~3条本地（127.0.0.1）的连接和发送数据，不知道是什么问题。支持 HTTP/HTTPS/WebSocket/zlib (WebSocket 模拟出来的)。其他的协议都去掉了，SSL由openssl换成SSPI 文件小的很多。修改内容。增加 curl_slist_add 以替代 curl_slist_append。curl_slist_append 接口在添加的时候没有检查重复和覆盖的功能。添加相同的头信息后发送的时候会有多条头信息。curl_slist_add  添加的时候会检查重复并覆盖，删除重复的头。添加 Curl_Perform 以替代 curl_easy_perform。可实现提交取返回一次性完成，不需要自己设置回调，处理数据。增加上传/下载进度的功能，可实现获取实时进度。CURL本来不支持 WebSocket 协议。使用了模拟的方法 实现了 WebSocket 协议。使用 CURLOPT_CONNECT_ONLY 连接服务器成功后。构造请求头发送后获取返回的数据，判断是否是 WebSoc
2017年最新libcurl编译文件源码
09-01
curl-7.55.1。2017年最新libcurl编译文件源码，通过它可以编译出libcurl等库文件。环境为win平台。需要用minGW编译
curl库源码
01-17
curl库源码curl库源码curl库源码curl库源码curl库源码curl库源码curl库源码
libcurl客户端开源库组件
hackywit的博客
09-24 901
libcurl作用区别于Nginx，它支持多种协议，并且可以做客户端 libcurl主要功能就是用不同的协议连接和沟通不同的服务器~也就是相当封装了的sockPHP 支持libcurl(允许你用不同的协议连接和沟通不同的服务器)。, libcurl当前支持http, https, ftp, gopher, telnet, dict, file, 和ldap 协议。libcurl同样支持HTTPS证
libcurl源码分析
xc__2016的博客
08-31 449
libcurl源码分析
libcurl源代码编译
wen_llei的专栏
10-14 1148
最近闲来无事，发现libcurl源代码编译方式要与时俱进。在此整理一下libcurl在windows环境中源代码编译过程。         首先，从libcurl的官网上面下载源代码（不要问我怎么下载）。         其次，解压压缩包后进入文件夹winbuild，英文好的直接看BUILD.WINDOWS.txt。不想看英文的就打开vs的Visual Studio Command Promp
libcurl源码下载及编译
fxbjye的博客
04-09 8363
1，libcurl源码下载地址https://curl.haxx.se/download.html 2，打开CMake 工具，输入源码目录以及要生成的工程工程目录 3，点击“Configure”，配置选项 4，然后一路下去，进行一系列的配置（可能会出现警告,配置时间比较长请耐心等待） 5，配置完成后，点击“Generate”，就可以生成相应的工程了。 6，打开生成的工程 ...
32位libcurl动态库与VS2015测试程序下载
在IT领域中，libcurl是一个广泛使用的、开源的、客户端的URL传输库，支持多种协议，如HTTP、HTTPS、FTP等。动态链接库（Dynamic Link Library，DLL）是一种实现共享函数库的方式，允许程序共享一个库文件中的代码和...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值