libcurl读取网页数据到内存中

最新推荐文章于 2021-12-28 21:09:00 发布

原创最新推荐文章于 2021-12-28 21:09:00 发布 · 1.7k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#libcurl #内存 #网页 #C++

编码测试专栏收录该内容

5 篇文章

订阅专栏

本文介绍如何利用libcurl库将网页数据读取到内存中，并提供了完整的C语言示例代码。通过设置不同的选项，如指定URL、错误缓冲区、跟随重定向等，最终实现数据读取。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

通过libcurl读取网页数据到内存中，以备进一步处理。

关键代码：

BOOL readToContentBuff(const char* url, string& content) {
  CURL*    conn = NULL;
  CURLcode code = CURLE_FAILED_INIT;
  char     errorBuffer[CURL_ERROR_SIZE];
  //
  conn = curl_easy_init();
  if (conn == NULL) {
    goto EXIT_CODE_READTOCONTENTBUFF;
  }
  //
  code = curl_easy_setopt(conn, CURLOPT_URL, url);
  if (code != CURLE_OK) {
    goto EXIT_CODE_READTOCONTENTBUFF;
  }
  //
  code = curl_easy_setopt(conn, CURLOPT_ERRORBUFFER, errorBuffer);
  if (code != CURLE_OK) {
    goto EXIT_CODE_READTOCONTENTBUFF;
  }
  //
  code = curl_easy_setopt(conn, CURLOPT_FOLLOWLOCATION, 1);
  if (code != CURLE_OK) {
    goto EXIT_CODE_READTOCONTENTBUFF;
  }
  //
  code = curl_easy_setopt(conn, CURLOPT_WRITEFUNCTION, writer);
  if (code != CURLE_OK) {
    goto EXIT_CODE_READTOCONTENTBUFF;
  }
  //
  code = curl_easy_setopt(conn, CURLOPT_WRITEDATA, &content);
  if (code != CURLE_OK) {
    goto EXIT_CODE_READTOCONTENTBUFF;
  }
  //
  code = curl_easy_perform(conn);
  if (code != CURLE_OK) {
    goto EXIT_CODE_READTOCONTENTBUFF;
  }
  //
EXIT_CODE_READTOCONTENTBUFF:
  if (conn) {
    curl_easy_cleanup(conn);
  }
  return (code == CURLE_OK);
}

其中witer函数的具体代码，如下：

int writer(char *data, size_t size, size_t nmemb, string *writerData) {
  unsigned long sizes = size * nmemb;
  if (writerData == NULL) {
	  return 0;
  }
  writerData->append(data, sizes);
  return sizes;
}

// Mylaf

// 2017-08-10 2010