linux获取网站源码,Linux获取网页源码的几种方法 - 遗世之都 - ITeye技术网站

JavaEye博客还是本科做毕业设计时候开通的，基本上荒废了，现在决定记录下平时编程遇到的问题或者解决方案。

第一个为利用linux下的工具来获取网页源码，我用的是Wget，也可以使用Curl，curl的话更加的灵活，可以设置很多参数

C++代码

//通过Wget来获取网页

string GetHtmlByWget(string url)

{

//获取待下载网页文件名

string fileName = url.substr((int)url.find_last_of("/") + 1);

if(fileName !="")

{

string strCom = "wget -q ";//wget命令，-q表示不显示下载信息

strCom.append(url);

system(strCom.c_str()); //执行wget

ifstream fin(fileName.c_str());

if(!fin)

{

return"";

}

string strHtml = "";

charchTemp[1024] ="";

//读取网页文件到内存中

while(fin.getline(chTemp , 1024))

{

strHtml.append(string(chTemp));

strcpy(chTemp , "");

}

fin.close();

strCom = "rm -f ";//删除文件命令,-f表示直接删除不做任何提示

strCom.append(fileName);

system(strCom.c_str()); //删除刚才下载下来的文件

returnstrHtml;//返回网页源码

}

else

{

return"";

}

}

//通过Wget来获取网页

string GetHtmlByWget(string url)

{

//获取待下载网页文件名

string fileName = url.substr((int)url.find_last_of("/") + 1);

if(fileName != "")

{

string strCom = "wget -q "; //wget命令，-q表示不显示下载信息

strCom.append(url);

system(strCom.c_str()); //执行wget

ifstream fin(fileName.c_str());

if(!fin)

{

return "";

}

string strHtml = "";