InternetReadFile 处理大数据

最新推荐文章于 2023-08-26 16:42:08 发布

原创最新推荐文章于 2023-08-26 16:42:08 发布 · 1.2k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#大数据

C++ 专栏收录该内容

47 篇文章

订阅专栏

本文介绍了一种使用C++实现的网页数据抓取方法，通过逐块读取并处理网页内容，有效避免了大量数据引起的缓存错乱问题。文中详细展示了如何利用WinINet API进行网页请求及数据读取，并通过休眠操作确保缓存更新。

在获取网页内容，数据量如果比较大，可能会出现获取的内容错乱，此时可以通过停顿来使得缓存内容更新。

#include <iostream>
#include <fstream>
#include <Windows.h>
#include <wininet.h>
#define MAXBLOCKSIZE 1024
#pragma comment (lib, "wininet.lib")

bool GetUrlInfo(const wchar_t* Url, std::string &rst)
{
bool isGet = false;
HINTERNET hSession = InternetOpen(L"RookIE/1.0", INTERNET_OPEN_TYPE_PRECONFIG, NULL, NULL, 0);
if (hSession != NULL)
{
HINTERNET handle2 = InternetOpenUrl(hSession, Url, NULL, 0, INTERNET_FLAG_DONT_CACHE, 0);
if (handle2 != NULL)
{
char Temp[MAXBLOCKSIZE];
char TempChange[MAXBLOCKSIZE * 3] = { 0 };
ULONG Number = 1;

int step = 0;
while (Number > 0)
{
isGet = true;
InternetReadFile(handle2, Temp, MAXBLOCKSIZE - 1, &Number);
int i = 0;
for (; i < Number; i++, step++)
{
TempChange[step] = Temp[i];
if (Temp[i] == '}')
{
TempChange[step + 1] = 0;
break;
}
}
rst += TempChange;
if (i + 1 < Number)
{
step = strlen(&Temp[i + 1]) - 10;
strcpy_s(TempChange, &Temp[i + 1]);
}

Sleep(10); //等待缓存数据
}

InternetCloseHandle(handle2);
handle2 = NULL;
}
InternetCloseHandle(hSession);
hSession = NULL;
}
return isGet;
}