使用完成端口HTTP下载的代码

本文对比了使用完成端口API和Boost.Asio实现HTTP下载的两种方法,通过实际测试发现两者CPU占用情况相似,但在下载速度上与FlashGet相当。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

使用完成端口HTTP下载的代码

(转载请注明来源于金庆的专栏)

试运行asio的async_client例程时,发现CPU占用很高,
所以又写了一个相同功能但直接调用完成端口API的代码,
进行比较,发现同样占用CPU。

与flashget比较,下载速度差不多,但flashget不占CPU。

将直接API调用代码和利用asio的代码都列在下面。
进行测试时,要将其中的参数定义改改,如SERVER参数。
并且要找个大文件下载才有明显结果。

#include <iostream>
#include <winsock2.h>

// Modify these:
// "http://server.test.com/jinq/test.zip"
#define SERVER "server.test.com"
#define REQ_PATH "/jinq/test.zip"
const char * SVR_IP = "127.0.0.1";

int main(int argc, char* argv[])
{
    // Init.
    WSADATA wsd;
    WSAStartup(MAKEWORD(2, 2), &wsd);
    HANDLE hCp = CreateIoCompletionPort(
        INVALID_HANDLE_VALUE, NULL, 0, 0);
    SOCKET skt = WSASocket(AF_INET,
        SOCK_STREAM, 0, NULL, 0, WSA_FLAG_OVERLAPPED);
    assert(INVALID_SOCKET != skt);

    // connect skt and request
    SOCKADDR_IN addr;
    addr.sin_family = PF_INET;
    addr.sin_port = htons(80);
    addr.sin_addr.s_addr = inet_addr(SVR_IP);
    connect(skt, (SOCKADDR*)&addr, sizeof(addr));
    const char * REQ =
        "GET " REQ_PATH " HTTP/1.0/r/n"
        "Host: " SERVER "/r/n"
        "Accept: */*/r/n"
        "Connection: close/r/n/r/n";
    send(skt, REQ, strlen(REQ), 0);

    // Associate skt to completion port.
    const DWORD COMPLETION_KEY = 12345;
    CreateIoCompletionPort((HANDLE)skt,
        hCp, COMPLETION_KEY, 0);

    WSABUF wsaBuf;
    wsaBuf.len = 64 * 1024 - 1;
    wsaBuf.buf = new char[64 * 1024];
    DWORD dwReceived;
    DWORD dwFlags = 0;
    WSAOVERLAPPED overlapped;

    // Start recv.
    ZeroMemory(&overlapped, sizeof(overlapped));
    WSARecv(skt, &wsaBuf, 1,
            &dwReceived,
            &dwFlags,
            &overlapped,
            NULL);

    // Check the completion port in loop.
    while (true)
    {
        DWORD dwTransferred;
        LPOVERLAPPED lpOverlapped;
        DWORD dwKey;
        BOOL bRet = GetQueuedCompletionStatus(
            hCp, &dwTransferred, &dwKey, &lpOverlapped, 1000);
        if (!bRet) continue;
        assert(COMPLETION_KEY == dwKey);
        std::cout << "Transferred: " << dwTransferred << std::endl;
        assert(dwTransferred <= wsaBuf.len);
        wsaBuf.buf[50] = '/0';
        std::cout << "Content: " << wsaBuf.buf << std::endl;

        // next recv
        ZeroMemory(&overlapped, sizeof(overlapped));
        WSARecv(skt, &wsaBuf, 1,
                &dwReceived,
                &dwFlags,
                &overlapped,
                NULL);
    }

    return 0;
}

#include <iostream>
#include <istream>
#include <ostream>
#include <string>
#include <boost/asio.hpp>
#include <boost/bind.hpp>

const std::string SERVER("MyServer");
const std::string PATH("/jinq/test.zip");

using boost::asio::ip::tcp;

class client
{
public:
    client(boost::asio::io_service& io_service,
           const std::string& server, const std::string& path)
            : socket_(io_service)
    {
        // Query server and try to connect.
        tcp::resolver resolver(io_service);
        tcp::resolver::query query(server, "http");
        tcp::resolver::iterator endpoint_iterator = resolver.resolve(query);
        tcp::resolver::iterator end;

        // Try each endpoint until we successfully establish a connection.
        boost::system::error_code error = boost::asio::error::host_not_found;
        while (error && endpoint_iterator != end)
        {
            socket_.close();
            socket_.connect(*endpoint_iterator++, error);
        }
        if (error)
            throw boost::system::system_error(error);

        // Send the request.
        boost::asio::streambuf request;
        std::ostream request_stream(&request);
        request_stream << "GET " << path << " HTTP/1.0/r/n";
        request_stream << "Host: " << server << "/r/n";
        request_stream << "Accept: */*/r/n";
        request_stream << "Connection: close/r/n/r/n";
        boost::asio::write(socket_, request);

        // start reading...
        boost::asio::async_read(socket_, response_,
            boost::asio::transfer_at_least(1),
            boost::bind(&client::handle_read_content, this,
                boost::asio::placeholders::error));
    }

private:
    void handle_read_content(const boost::system::error_code& err)
    {
        if (!err)
        {
            // Write all of the data that has been read so far.
            // std::cout << &response_ << "/n";
            std::cout << "Received: " << response_.size() << std::endl;
            response_.consume(response_.size());

            // Continue reading remaining data until EOF.
            boost::asio::async_read(socket_, response_,
                boost::asio::transfer_at_least(1),
                boost::bind(&client::handle_read_content, this,
                    boost::asio::placeholders::error));
        }
        else if (err != boost::asio::error::eof)
        {
            std::cout << "Error: " << err << "/n";
        }
    }

    tcp::socket socket_;
    boost::asio::streambuf response_;
};

int main(int argc, char* argv[])
{
    try
    {
        boost::asio::io_service io_service;
        client c(io_service, SERVER, PATH);
        io_service.run();
    }
    catch (std::exception& e)
    {
        std::cout << "Exception: " << e.what() << "/n";
    }
    return 0;
}
最近有项目要做一个高性能网络服务器,决定下功夫搞定完成端口(IOCP),最终花了一个星期终于把它弄清楚了,并用C++写了一个版本,效率很不错。 但,从项目的总体需求来考虑,最终决定上.net平台,因此又花了一天一夜弄出了一个C#版,在这与大家分享。 一些心得体会: 1、在C#中,不用去面对完成端口的操作系统内核对象,Microsoft已经为我们提供了SocketAsyncEventArgs类,它封装了IOCP的使用。请参考:http://msdn.microsoft.com/zh-cn/library/system.net.sockets.socketasynceventargs.aspx?cs-save-lang=1&cs-lang=cpp#code-snippet-1。 2、我的SocketAsyncEventArgsPool类使用List对象来存储对客户端来通信的SocketAsyncEventArgs对象,它相当于直接使用内核对象时的IoContext。我这样设计比用堆栈来实现的好处理是,我可以在SocketAsyncEventArgsPool池中找到任何一个与服务器连接的客户,主动向它发信息。而用堆栈来实现的话,要主动给客户发信息,则还要设计一个结构来存储已连接上服务器的客户。 3、对每一个客户端不管还发送还是接收,我使用同一个SocketAsyncEventArgs对象,对每一个客户端来说,通信是同步进行的,也就是说服务器高度保证同一个客户连接上要么在投递发送请求,并等待;或者是在投递接收请求,等待中。本例只做echo服务器,还未考虑由服务器主动向客户发送信息。 4、SocketAsyncEventArgs的UserToken被直接设定为被接受的客户端Socket。 5、没有使用BufferManager 类,因为我在初始化时给每一个SocketAsyncEventArgsPool中的对象分配一个缓冲区,发送时使用Arrary.Copy来进行字符拷贝,不去改变缓冲区的位置,只改变使用的长度,因此在下次投递接收请求时恢复缓冲区长度就可以了!如果要主动给客户发信息的话,可以new一个SocketAsyncEventArgs对象,或者在初始化中建立几个来专门用于主动发送信息,因为这种需求一般是进行信息群发,建立一个对象可以用于很多次信息发送,总体来看,这种花销不大,还减去了字符拷贝和消耗。 6、测试结果:(在我的笔记本上时行的,我的本本是T420 I7 8G内存) 100客户 100,000(十万次)不间断的发送接收数据(发送和接收之间没有Sleep,就一个一循环,不断的发送与接收) 耗时3004.6325 秒完成 总共 10,000,000 一千万次访问 平均每分完成 199,691.6 次发送与接收 平均每秒完成 3,328.2 次发送与接收 整个运行过程中,内存消耗在开始两三分种后就保持稳定不再增涨。 看了一下对每个客户端的延迟最多不超过2秒。
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值