使用完成端口HTTP下载的代码

本文对比了使用完成端口API和asio库实现HTTP下载的功能代码。通过直接调用完成端口API和利用asio库两种方式实现了相同的HTTP下载功能,并分析了两者在CPU占用率上的表现。
使用完成端口HTTP下载的代码

(转载请注明来源于金庆的专栏)

试运行asio的async_client例程时,发现CPU占用很高,
所以又写了一个相同功能但直接调用完成端口API的代码,
进行比较,发现同样占用CPU。

与flashget比较,下载速度差不多,但flashget不占CPU。

将直接API调用代码和利用asio的代码都列在下面。
进行测试时,要将其中的参数定义改改,如SERVER参数。
并且要找个大文件下载才有明显结果。

#include <iostream>
#include <winsock2.h>

// Modify these:
// "http://server.test.com/jinq/test.zip"
#define SERVER "server.test.com"
#define REQ_PATH "/jinq/test.zip"
const char * SVR_IP = "127.0.0.1";

int main(int argc, char* argv[])
{
// Init.
WSADATA wsd;
WSAStartup(MAKEWORD(2, 2), &wsd);
HANDLE hCp = CreateIoCompletionPort(
INVALID_HANDLE_VALUE, NULL, 0, 0);
SOCKET skt = WSASocket(AF_INET,
SOCK_STREAM, 0, NULL, 0, WSA_FLAG_OVERLAPPED);
assert(INVALID_SOCKET != skt);

// connect skt and request
SOCKADDR_IN addr;
addr.sin_family = PF_INET;
addr.sin_port = htons(80);
addr.sin_addr.s_addr = inet_addr(SVR_IP);
connect(skt, (SOCKADDR*)&addr, sizeof(addr));
const char * REQ =
"GET " REQ_PATH " HTTP/1.0/r/n"
"Host: " SERVER "/r/n"
"Accept: */*/r/n"
"Connection: close/r/n/r/n";
send(skt, REQ, strlen(REQ), 0);

// Associate skt to completion port.
const DWORD COMPLETION_KEY = 12345;
CreateIoCompletionPort((HANDLE)skt,
hCp, COMPLETION_KEY, 0);

WSABUF wsaBuf;
wsaBuf.len = 64 * 1024 - 1;
wsaBuf.buf = new char[64 * 1024];
DWORD dwReceived;
DWORD dwFlags = 0;
WSAOVERLAPPED overlapped;

// Start recv.
ZeroMemory(&overlapped, sizeof(overlapped));
WSARecv(skt, &wsaBuf, 1,
&dwReceived,
&dwFlags,
&overlapped,
NULL);

// Check the completion port in loop.
while (true)
{
DWORD dwTransferred;
LPOVERLAPPED lpOverlapped;
DWORD dwKey;
BOOL bRet = GetQueuedCompletionStatus(
hCp, &dwTransferred, &dwKey, &lpOverlapped, 1000);
if (!bRet) continue;
assert(COMPLETION_KEY == dwKey);
std::cout << "Transferred: " << dwTransferred << std::endl;
assert(dwTransferred <= wsaBuf.len);
wsaBuf.buf[50] = '/0';
std::cout << "Content: " << wsaBuf.buf << std::endl;

// next recv
ZeroMemory(&overlapped, sizeof(overlapped));
WSARecv(skt, &wsaBuf, 1,
&dwReceived,
&dwFlags,
&overlapped,
NULL);
}

return 0;
}

#include <iostream>
#include <istream>
#include <ostream>
#include <string>
#include <boost/asio.hpp>
#include <boost/bind.hpp>

const std::string SERVER("MyServer");
const std::string PATH("/jinq/test.zip");

using boost::asio::ip::tcp;

class client
{
public:
client(boost::asio::io_service& io_service,
const std::string& server, const std::string& path)
: socket_(io_service)
{
// Query server and try to connect.
tcp::resolver resolver(io_service);
tcp::resolver::query query(server, "http");
tcp::resolver::iterator endpoint_iterator = resolver.resolve(query);
tcp::resolver::iterator end;

// Try each endpoint until we successfully establish a connection.
boost::system::error_code error = boost::asio::error::host_not_found;
while (error && endpoint_iterator != end)
{
socket_.close();
socket_.connect(*endpoint_iterator++, error);
}
if (error)
throw boost::system::system_error(error);

// Send the request.
boost::asio::streambuf request;
std::ostream request_stream(&request);
request_stream << "GET " << path << " HTTP/1.0/r/n";
request_stream << "Host: " << server << "/r/n";
request_stream << "Accept: */*/r/n";
request_stream << "Connection: close/r/n/r/n";
boost::asio::write(socket_, request);

// start reading...
boost::asio::async_read(socket_, response_,
boost::asio::transfer_at_least(1),
boost::bind(&client::handle_read_content, this,
boost::asio::placeholders::error));
}

private:
void handle_read_content(const boost::system::error_code& err)
{
if (!err)
{
// Write all of the data that has been read so far.
// std::cout << &response_ << "/n";
std::cout << "Received: " << response_.size() << std::endl;
response_.consume(response_.size());

// Continue reading remaining data until EOF.
boost::asio::async_read(socket_, response_,
boost::asio::transfer_at_least(1),
boost::bind(&client::handle_read_content, this,
boost::asio::placeholders::error));
}
else if (err != boost::asio::error::eof)
{
std::cout << "Error: " << err << "/n";
}
}

tcp::socket socket_;
boost::asio::streambuf response_;
};

int main(int argc, char* argv[])
{
try
{
boost::asio::io_service io_service;
client c(io_service, SERVER, PATH);
io_service.run();
}
catch (std::exception& e)
{
std::cout << "Exception: " << e.what() << "/n";
}
return 0;
}
最近有项目要做一个高性能网络服务器,决定下功夫搞定完成端口(IOCP),最终花了一个星期终于把它弄清楚了,并用C++写了一个版本,效率很不错。 但,从项目的总体需求来考虑,最终决定上.net平台,因此又花了一天一夜弄出了一个C#版,在这与大家分享。 一些心得体会: 1、在C#中,不用去面对完成端口的操作系统内核对象,Microsoft已经为我们提供了SocketAsyncEventArgs类,它封装了IOCP的使用。请参考:http://msdn.microsoft.com/zh-cn/library/system.net.sockets.socketasynceventargs.aspx?cs-save-lang=1&cs-lang=cpp#code-snippet-1。 2、我的SocketAsyncEventArgsPool类使用List对象来存储对客户端来通信的SocketAsyncEventArgs对象,它相当于直接使用内核对象时的IoContext。我这样设计比用堆栈来实现的好处理是,我可以在SocketAsyncEventArgsPool池中找到任何一个与服务器连接的客户,主动向它发信息。而用堆栈来实现的话,要主动给客户发信息,则还要设计一个结构来存储已连接上服务器的客户。 3、对每一个客户端不管还发送还是接收,我使用同一个SocketAsyncEventArgs对象,对每一个客户端来说,通信是同步进行的,也就是说服务器高度保证同一个客户连接上要么在投递发送请求,并等待;或者是在投递接收请求,等待中。本例只做echo服务器,还未考虑由服务器主动向客户发送信息。 4、SocketAsyncEventArgs的UserToken被直接设定为被接受的客户端Socket。 5、没有使用BufferManager 类,因为我在初始化时给每一个SocketAsyncEventArgsPool中的对象分配一个缓冲区,发送时使用Arrary.Copy来进行字符拷贝,不去改变缓冲区的位置,只改变使用的长度,因此在下次投递接收请求时恢复缓冲区长度就可以了!如果要主动给客户发信息的话,可以new一个SocketAsyncEventArgs对象,或者在初始化中建立几个来专门用于主动发送信息,因为这种需求一般是进行信息群发,建立一个对象可以用于很多次信息发送,总体来看,这种花销不大,还减去了字符拷贝和消耗。 6、测试结果:(在我的笔记本上时行的,我的本本是T420 I7 8G内存) 100客户 100,000(十万次)不间断的发送接收数据(发送和接收之间没有Sleep,就一个一循环,不断的发送与接收) 耗时3004.6325 秒完成 总共 10,000,000 一千万次访问 平均每分完成 199,691.6 次发送与接收 平均每秒完成 3,328.2 次发送与接收 整个运行过程中,内存消耗在开始两三分种后就保持稳定不再增涨。 看了一下对每个客户端的延迟最多不超过2秒。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值