网络爬虫c实现

写了一个网络爬虫，可以抓取网上的图片。

需要给定初始网站即可。

在vs2010中编译通过。

需要使用多字节字符集进行编译，

vs2010默认的是Unicode字符集。

编译后，运行即可，有惊喜哦！！！

[cpp]  view plain copy print ?

1. //#include <Windows.h>  
2. #include <string>  
3. #include <iostream>  
4. #include <fstream>  
5. #include <vector>  
6. #include "winsock2.h"  
7. #include <time.h>  
8. #include <queue>  
9. #include <hash_set>  
10.   
11.   
12. #pragma comment(lib, "ws2_32.lib")   
13. using namespace std;  
14.   
15. #define DEFAULT_PAGE_BUF_SIZE 1048576  
16.   
17. queue<string> hrefUrl;  
18. hash_set<string> visitedUrl;  
19. hash_set<string> visitedImg;  
20. int depth=0;  
21. int g_ImgCnt=1;  
22.   
23. //解析URL，解析出主机名，资源名  
24. bool ParseURL( const string & url, string & host, string & resource){  
25.     const char * pos = strstr( url.c_str(), "http://" );  
26.     if( pos==NULL ) pos = url.c_str();  
27.     else pos += strlen("http://");  
28.     if( strstr( pos, "/")==0 )  
29.         return false;  
30.     char pHost[100];  
31.     char pResource[200];  
32.     sscanf( pos, "%[^/]%s", pHost, pResource );  
33.     host = pHost;  
34.     resource = pResource;  
35.     return true;  
36. }  
37.   
38. //使用Get请求，得到响应  
39. bool GetHttpResponse( const string & url, char * &response, int &bytesRead ){  
40.     string host, resource;  
41.     if(!ParseURL( url, host, resource )){  
42.         cout << "Can not parse the url"<<endl;  
43.         return false;  
44.     }  
45.       
46.     //建立socket  
47.     struct hostent * hp= gethostbyname( host.c_str() );  
48.     if( hp==NULL ){  
49.         cout<< "Can not find host address"<<endl;  
50.         return false;  
51.     }  
52.   
53.     SOCKET sock = socket( AF_INET, SOCK_STREAM, IPPROTO_TCP);  
54.     if( sock == -1 || sock == -2 ){  
55.         cout << "Can not create sock."<<endl;  
56.         return false;  
57.     }  
58.   
59.     //建立服务器地址  
60.     SOCKADDR_IN sa;  
61.     sa.sin_family = AF_INET;  
62.     sa.sin_port = htons( 80 );  
63.     //char addr[5];  
64.     //memcpy( addr, hp->h_addr, 4 );  
65.     //sa.sin_addr.s_addr = inet_addr(hp->h_addr);  
66.     memcpy( &sa.sin_addr, hp->h_addr, 4 );  
67.   
68.     //建立连接  
69.     if( 0!= connect( sock, (SOCKADDR*)&sa, sizeof(sa) ) ){  
70.         cout << "Can not connect: "<< url <<endl;  
71.         closesocket(sock);  
72.         return false;  
73.     };  
74.   
75.     //准备发送数据  
76.     string request = "GET " + resource + " HTTP/1.1\r\nHost:" + host + "\r\nConnection:Close\r\n\r\n";  
77.   
78.     //发送数据  
79.     if( SOCKET_ERROR ==send( sock, request.c_str(), request.size(), 0 ) ){  
80.         cout << "send error" <<endl;  
81.         closesocket( sock );  
82.         return false;  
83.     }  
84.   
85.     //接收数据  
86.     int m_nContentLength = DEFAULT_PAGE_BUF_SIZE;  
87.     char *pageBuf = (char *)malloc(m_nContentLength);  
88.     memset(pageBuf, 0, m_nContentLength);  
89.   
90.     bytesRead = 0;  
91.     int ret = 1;  
92.     cout <<"Read: ";  
93.     while(ret > 0){  
94.         ret = recv(sock, pageBuf + bytesRead, m_nContentLength - bytesRead, 0);  
95.           
96.         if(ret > 0)  
97.         {  
98.             bytesRead += ret;  
99.         }  
100.   
101.         if( m_nContentLength - bytesRead<100){  
102.             cout << "\nRealloc memorry"<<endl;  
103.             m_nContentLength *=2;  
104.             pageBuf = (char*)realloc( pageBuf, m_nContentLength);       //重新分配内存  
105.         }  
106.         cout << ret <<" ";  
107.     }  
108.     cout <<endl;  
109.   
110.     pageBuf[bytesRead] = '\0';  
111.     response = pageBuf;  
112.     closesocket( sock );  
113.     return true;  
114.     //cout<< response <<endl;  
115. }  
116. //提取所有的URL以及图片URL  
117. void HTMLParse ( string & htmlResponse, vector<string> & imgurls, const string & host ){  
118.     //找所有连接，加入queue中  
119.     const char *p= htmlResponse.c_str();  
120.     char *tag="href=\"";  
121.     const char *pos = strstr( p, tag );  
122.     ofstream ofile("url.txt", ios::app);  
123.     while( pos ){  
124.         pos +=strlen(tag);  
125.         const char * nextQ = strstr( pos, "\"" );  
126.         if( nextQ ){  
127.             char * url = new char[ nextQ-pos+1 ];  
128.             //char url[100]; //固定大小的会发生缓冲区溢出的危险  
129.             sscanf( pos, "%[^\"]", url);  
130.             string surl = url;  
131.             if( visitedUrl.find( surl ) == visitedUrl.end() ){  
132.                 visitedUrl.insert( surl );  
133.                 ofile << surl<<endl;  
134.                 hrefUrl.push( surl );  
135.             }  
136.             pos = strstr(pos, tag );  
137.             delete [] url;  
138.         }  
139.     }  
140.     ofile << endl << endl;  
141.     ofile.close();  
142.   
143.     tag ="<img ";  
144.     const char* att1= "src=\"";  
145.     const char* att2="lazy-src=\"";  
146.     const char *pos0 = strstr( p, tag );  
147.     while( pos0 ){  
148.         pos0 += strlen( tag );  
149.         const char* pos2 = strstr( pos0, att2 );  
150.         if( !pos2 || pos2 > strstr( pos0, ">") )  
151.             pos = strstr( pos0, att1)+strlen(att1);  
152.         else  
153.             pos = pos2 + strlen(att2);  
154.         const char * nextQ = strstr( pos, "\"");  
155.         if( nextQ ){  
156.             char * url = new char[nextQ-pos+1];  
157.             sscanf( pos, "%[^\"]", url);  
158.             cout << url<<endl;  
159.             string imgUrl = url;  
160.             if( visitedImg.find( imgUrl ) == visitedImg.end() ){  
161.                 visitedImg.insert( imgUrl );  
162.                 imgurls.push_back( imgUrl );  
163.             }  
164.             pos0 = strstr(pos0, tag );  
165.             delete [] url;  
166.         }  
167.     }  
168.     cout << "end of Parse this html"<<endl;  
169. }  
170.   
171. //把URL转化为文件名  
172. string ToFileName( const string &url ){  
173.     string fileName;  
174.     fileName.resize( url.size());  
175.     int k=0;  
176.     for( int i=0; i<(int)url.size(); i++){  
177.         char ch = url[i];  
178.         if( ch!='\\'&&ch!='/'&&ch!=':'&&ch!='*'&&ch!='?'&&ch!='"'&&ch!='<'&&ch!='>'&&ch!='|')  
179.             fileName[k++]=ch;  
180.     }  
181.     return fileName.substr(0,k) + ".txt";  
182. }  
183.   
184. //下载图片到img文件夹  
185. void DownLoadImg( vector<string> & imgurls, const string &url ){  
186.   
187.     //生成保存该url下图片的文件夹  
188.     string foldname = ToFileName( url );  
189.     foldname = "./img/"+foldname;  
190.     if(!CreateDirectory( foldname.c_str(),NULL ))  
191.         cout << "Can not create directory:"<< foldname<<endl;  
192.     char *image;  
193.     int byteRead;  
194.     for( int i=0; i<imgurls.size(); i++){  
195.         //判断是否为图片，bmp，jgp，jpeg，gif   
196.         string str = imgurls[i];  
197.         int pos = str.find_last_of(".");  
198.         if( pos == string::npos )  
199.             continue;  
200.         else{  
201.             string ext = str.substr( pos+1, str.size()-pos-1 );  
202.             if( ext!="bmp"&& ext!="jpg" && ext!="jpeg"&& ext!="gif"&&ext!="png")  
203.                 continue;  
204.         }  
205.         //下载其中的内容  
206.         if( GetHttpResponse(imgurls[i], image, byteRead)){  
207.             const char *p=image;  
208.             const char * pos = strstr(p,"\r\n\r\n")+strlen("\r\n\r\n");  
209.             int index = imgurls[i].find_last_of("/");  
210.             if( index!=string::npos ){  
211.                 string imgname = imgurls[i].substr( index , imgurls[i].size() );  
212.                 ofstream ofile( foldname+imgname, ios::binary );  
213.                 if( !ofile.is_open() )  
214.                     continue;  
215.                 cout <<g_ImgCnt++<< foldname+imgname<<endl;  
216.                 ofile.write( pos, byteRead- (pos-p) );  
217.                 ofile.close();  
218.             }  
219.             free(image);  
220.         }  
221.     }  
222. }  
223.   
224.   
225.   
226. //广度遍历  
227. void BFS( const string & url ){  
228.     char * response;  
229.     int bytes;  
230.     if( !GetHttpResponse( url, response, bytes ) ){  
231.         cout << "The url is wrong! ignore." << endl;  
232.         return;  
233.     }  
234.     string httpResponse=response;  
235.     free( response );  
236.     string filename = ToFileName( url );  
237.     ofstream ofile( "./html/"+filename );  
238.     if( ofile.is_open() ){  
239.         ofile << httpResponse << endl;  
240.         ofile.close();  
241.     }  
242.     vector<string> imgurls;  
243.     HTMLParse( httpResponse,  imgurls, url );  
244.       
245.     //下载图片资源  
246.     DownLoadImg( imgurls, url );  
247. }  
248. void main()  
249. {  
250.     WSADATA wsaData;  
251.     if( WSAStartup(MAKEWORD(2,2), &wsaData) != 0 ){  
252.         return;  
253.     }  
254.     CreateDirectory( "./img",0);  
255.     CreateDirectory("./html",0);  
256.     //string urlStart = "http://hao.360.cn/meinvdaohang.html";  
257.     string urlStart = "http://hao.360.cn/meinvdaohang.html";  
258.     BFS( urlStart );  
259.     visitedUrl.insert( urlStart );  
260.     while( hrefUrl.size()!=0 ){  
261.         string url = hrefUrl.front();  
262.         cout << url << endl;  
263.         BFS( url );  
264.         hrefUrl.pop();  
265.     }  
266.     WSACleanup();  
267.     return;  
268. }  

写了一个网络爬虫，可以抓取网上的图片。

需要给定初始网站即可。

在vs2010中编译通过。

需要使用多字节字符集进行编译，

vs2010默认的是Unicode字符集。

编译后，运行即可，有惊喜哦！！！

[cpp]  view plain copy print ?

1. //#include <Windows.h>  
2. #include <string>  
3. #include <iostream>  
4. #include <fstream>  
5. #include <vector>  
6. #include "winsock2.h"  
7. #include <time.h>  
8. #include <queue>  
9. #include <hash_set>  
10.   
11.   
12. #pragma comment(lib, "ws2_32.lib")   
13. using namespace std;  
14.   
15. #define DEFAULT_PAGE_BUF_SIZE 1048576  
16.   
17. queue<string> hrefUrl;  
18. hash_set<string> visitedUrl;  
19. hash_set<string> visitedImg;  
20. int depth=0;  
21. int g_ImgCnt=1;  
22.   
23. //解析URL，解析出主机名，资源名  
24. bool ParseURL( const string & url, string & host, string & resource){  
25.     const char * pos = strstr( url.c_str(), "http://" );  
26.     if( pos==NULL ) pos = url.c_str();  
27.     else pos += strlen("http://");  
28.     if( strstr( pos, "/")==0 )  
29.         return false;  
30.     char pHost[100];  
31.     char pResource[200];  
32.     sscanf( pos, "%[^/]%s", pHost, pResource );  
33.     host = pHost;  
34.     resource = pResource;  
35.     return true;  
36. }  
37.   
38. //使用Get请求，得到响应  
39. bool GetHttpResponse( const string & url, char * &response, int &bytesRead ){  
40.     string host, resource;  
41.     if(!ParseURL( url, host, resource )){  
42.         cout << "Can not parse the url"<<endl;  
43.         return false;  
44.     }  
45.       
46.     //建立socket  
47.     struct hostent * hp= gethostbyname( host.c_str() );  
48.     if( hp==NULL ){  
49.         cout<< "Can not find host address"<<endl;  
50.         return false;  
51.     }  
52.   
53.     SOCKET sock = socket( AF_INET, SOCK_STREAM, IPPROTO_TCP);  
54.     if( sock == -1 || sock == -2 ){  
55.         cout << "Can not create sock."<<endl;  
56.         return false;  
57.     }  
58.   
59.     //建立服务器地址  
60.     SOCKADDR_IN sa;  
61.     sa.sin_family = AF_INET;  
62.     sa.sin_port = htons( 80 );  
63.     //char addr[5];  
64.     //memcpy( addr, hp->h_addr, 4 );  
65.     //sa.sin_addr.s_addr = inet_addr(hp->h_addr);  
66.     memcpy( &sa.sin_addr, hp->h_addr, 4 );  
67.   
68.     //建立连接  
69.     if( 0!= connect( sock, (SOCKADDR*)&sa, sizeof(sa) ) ){  
70.         cout << "Can not connect: "<< url <<endl;  
71.         closesocket(sock);  
72.         return false;  
73.     };  
74.   
75.     //准备发送数据  
76.     string request = "GET " + resource + " HTTP/1.1\r\nHost:" + host + "\r\nConnection:Close\r\n\r\n";  
77.   
78.     //发送数据  
79.     if( SOCKET_ERROR ==send( sock, request.c_str(), request.size(), 0 ) ){  
80.         cout << "send error" <<endl;  
81.         closesocket( sock );  
82.         return false;  
83.     }  
84.   
85.     //接收数据  
86.     int m_nContentLength = DEFAULT_PAGE_BUF_SIZE;  
87.     char *pageBuf = (char *)malloc(m_nContentLength);  
88.     memset(pageBuf, 0, m_nContentLength);  
89.   
90.     bytesRead = 0;  
91.     int ret = 1;  
92.     cout <<"Read: ";  
93.     while(ret > 0){  
94.         ret = recv(sock, pageBuf + bytesRead, m_nContentLength - bytesRead, 0);  
95.           
96.         if(ret > 0)  
97.         {  
98.             bytesRead += ret;  
99.         }  
100.   
101.         if( m_nContentLength - bytesRead<100){  
102.             cout << "\nRealloc memorry"<<endl;  
103.             m_nContentLength *=2;  
104.             pageBuf = (char*)realloc( pageBuf, m_nContentLength);       //重新分配内存  
105.         }  
106.         cout << ret <<" ";  
107.     }  
108.     cout <<endl;  
109.   
110.     pageBuf[bytesRead] = '\0';  
111.     response = pageBuf;  
112.     closesocket( sock );  
113.     return true;  
114.     //cout<< response <<endl;  
115. }  
116. //提取所有的URL以及图片URL  
117. void HTMLParse ( string & htmlResponse, vector<string> & imgurls, const string & host ){  
118.     //找所有连接，加入queue中  
119.     const char *p= htmlResponse.c_str();  
120.     char *tag="href=\"";  
121.     const char *pos = strstr( p, tag );  
122.     ofstream ofile("url.txt", ios::app);  
123.     while( pos ){  
124.         pos +=strlen(tag);  
125.         const char * nextQ = strstr( pos, "\"" );  
126.         if( nextQ ){  
127.             char * url = new char[ nextQ-pos+1 ];  
128.             //char url[100]; //固定大小的会发生缓冲区溢出的危险  
129.             sscanf( pos, "%[^\"]", url);  
130.             string surl = url;  
131.             if( visitedUrl.find( surl ) == visitedUrl.end() ){  
132.                 visitedUrl.insert( surl );  
133.                 ofile << surl<<endl;  
134.                 hrefUrl.push( surl );  
135.             }  
136.             pos = strstr(pos, tag );  
137.             delete [] url;  
138.         }  
139.     }  
140.     ofile << endl << endl;  
141.     ofile.close();  
142.   
143.     tag ="<img ";  
144.     const char* att1= "src=\"";  
145.     const char* att2="lazy-src=\"";  
146.     const char *pos0 = strstr( p, tag );  
147.     while( pos0 ){  
148.         pos0 += strlen( tag );  
149.         const char* pos2 = strstr( pos0, att2 );  
150.         if( !pos2 || pos2 > strstr( pos0, ">") )  
151.             pos = strstr( pos0, att1)+strlen(att1);  
152.         else  
153.             pos = pos2 + strlen(att2);  
154.         const char * nextQ = strstr( pos, "\"");  
155.         if( nextQ ){  
156.             char * url = new char[nextQ-pos+1];  
157.             sscanf( pos, "%[^\"]", url);  
158.             cout << url<<endl;  
159.             string imgUrl = url;  
160.             if( visitedImg.find( imgUrl ) == visitedImg.end() ){  
161.                 visitedImg.insert( imgUrl );  
162.                 imgurls.push_back( imgUrl );  
163.             }  
164.             pos0 = strstr(pos0, tag );  
165.             delete [] url;  
166.         }  
167.     }  
168.     cout << "end of Parse this html"<<endl;  
169. }  
170.   
171. //把URL转化为文件名  
172. string ToFileName( const string &url ){  
173.     string fileName;  
174.     fileName.resize( url.size());  
175.     int k=0;  
176.     for( int i=0; i<(int)url.size(); i++){  
177.         char ch = url[i];  
178.         if( ch!='\\'&&ch!='/'&&ch!=':'&&ch!='*'&&ch!='?'&&ch!='"'&&ch!='<'&&ch!='>'&&ch!='|')  
179.             fileName[k++]=ch;  
180.     }  
181.     return fileName.substr(0,k) + ".txt";  
182. }  
183.   
184. //下载图片到img文件夹  
185. void DownLoadImg( vector<string> & imgurls, const string &url ){  
186.   
187.     //生成保存该url下图片的文件夹  
188.     string foldname = ToFileName( url );  
189.     foldname = "./img/"+foldname;  
190.     if(!CreateDirectory( foldname.c_str(),NULL ))  
191.         cout << "Can not create directory:"<< foldname<<endl;  
192.     char *image;  
193.     int byteRead;  
194.     for( int i=0; i<imgurls.size(); i++){  
195.         //判断是否为图片，bmp，jgp，jpeg，gif   
196.         string str = imgurls[i];  
197.         int pos = str.find_last_of(".");  
198.         if( pos == string::npos )  
199.             continue;  
200.         else{  
201.             string ext = str.substr( pos+1, str.size()-pos-1 );  
202.             if( ext!="bmp"&& ext!="jpg" && ext!="jpeg"&& ext!="gif"&&ext!="png")  
203.                 continue;  
204.         }  
205.         //下载其中的内容  
206.         if( GetHttpResponse(imgurls[i], image, byteRead)){  
207.             const char *p=image;  
208.             const char * pos = strstr(p,"\r\n\r\n")+strlen("\r\n\r\n");  
209.             int index = imgurls[i].find_last_of("/");  
210.             if( index!=string::npos ){  
211.                 string imgname = imgurls[i].substr( index , imgurls[i].size() );  
212.                 ofstream ofile( foldname+imgname, ios::binary );  
213.                 if( !ofile.is_open() )  
214.                     continue;  
215.                 cout <<g_ImgCnt++<< foldname+imgname<<endl;  
216.                 ofile.write( pos, byteRead- (pos-p) );  
217.                 ofile.close();  
218.             }  
219.             free(image);  
220.         }  
221.     }  
222. }  
223.   
224.   
225.   
226. //广度遍历  
227. void BFS( const string & url ){  
228.     char * response;  
229.     int bytes;  
230.     if( !GetHttpResponse( url, response, bytes ) ){  
231.         cout << "The url is wrong! ignore." << endl;  
232.         return;  
233.     }  
234.     string httpResponse=response;  
235.     free( response );  
236.     string filename = ToFileName( url );  
237.     ofstream ofile( "./html/"+filename );  
238.     if( ofile.is_open() ){  
239.         ofile << httpResponse << endl;  
240.         ofile.close();  
241.     }  
242.     vector<string> imgurls;  
243.     HTMLParse( httpResponse,  imgurls, url );  
244.       
245.     //下载图片资源  
246.     DownLoadImg( imgurls, url );  
247. }  
248. void main()  
249. {  
250.     WSADATA wsaData;  
251.     if( WSAStartup(MAKEWORD(2,2), &wsaData) != 0 ){  
252.         return;  
253.     }  
254.     CreateDirectory( "./img",0);  
255.     CreateDirectory("./html",0);  
256.     //string urlStart = "http://hao.360.cn/meinvdaohang.html";  
257.     string urlStart = "http://hao.360.cn/meinvdaohang.html";  
258.     BFS( urlStart );  
259.     visitedUrl.insert( urlStart );  
260.     while( hrefUrl.size()!=0 ){  
261.         string url = hrefUrl.front();  
262.         cout << url << endl;  
263.         BFS( url );  
264.         hrefUrl.pop();  
265.     }  
266.     WSACleanup();  
267.     return;  
268. }  

2 *************************************************************************************************************************************

[cpp]  view plain copy

1. #include <sys/types.h>  
2. #include <sys/stat.h>  
3. #include <fcntl.h>  
4. #include <winsock2.h>  
5. #include <unistd.h>  
6. #include <stdio.h>  
7. #include <string.h>  
8. #include <stdlib.h>  
9. #include <errno.h>  
10. #include <locale.h>  
11.   
12. #define bzero(p, s) memset(p, 0, s)  
13. #define USERAGENT "Wget/1.10.2"  
14. #define ACCEPT "*/*"  
15. #define ACCEPTLANGUAGE "zh-cn,zh;q=0.5"  
16. #define ACCEPTENCODING "gzip,deflate"  
17. #define ACCEPTCHARSET "gb2312,utf-8;q=0.7,*;q=0.7"  
18. #define KEEPALIVE "300"  
19. #define CONNECTION "keep-alive"  
20. #define CONTENTTYPE "application/x-www-form-urlencoded"  
21.   
22. #define MAXFILENAME 14  
23. #define DEBUG 1  
24.   
25. typedef struct webnode  
26. {  
27.     char * host;                 /* 网页所在的主机 */  
28.     int    port;                 /* 网络服务器所使用的端口 */  
29.     char *  dir;                 /* 网页所在的目录 */  
30.     char * page;                 /* 网页文件名 */  
31.     char * file;                 /* 本地保存的文件名 */  
32.     char IsHandled;              /* 是否处理过 */  
33.     struct webnode * brother;    /* 兄弟节点链表指针 */  
34.     struct webnode * child;      /* 子节点链表指针 */  
35. } WEBNODE;  
36.   
37. struct sockaddr_in server_addr;  
38. int sockfd = 0, dsend = 0, totalsend = 0, nbytes = 0, reqn = 0, i = 0, j = 0, ret = 0;  
39. struct hostent *host;  
40. char request[409600] = "", buffer[1024] = "", httpheader[1024] = "";  
41. int FileNumber = 0;  
42. char e[2] = "@/";  
43. WEBNODE * NodeHeader, * NodeTail, * NodeCurr;  
44. char * mapped_mem;  
45.   
46. int GetHost(char * , char ** , char ** , int * , char ** ); /**/  
47. void AnalyzePage(WEBNODE *); /**/  
48. void AddInitNode(char *, char *, int, char * ); /**/  
49. void HandleInitNode(WEBNODE *); /**/  
50. void DisplayNode(WEBNODE *); /**/  
51. void HandOneNode(WEBNODE *); /**/  
52. void DoneWithList(int); /**/  
53. void DoOnce(); /**/  
54. void ConnectWeb(void); /**/  
55. void SendRequest(void); /**/  
56. void ReceiveResponse(void); /**/  
57. void GetEmail(char * ); /**/  
58. void GetLink(char * ); /**/  
59. void GetBeforePos(char * , char ** ); /**/  
60. void GetAfterPos(char * , char ** ); /**/  
61. void AddChildNode(WEBNODE * , char * ); /**/  
62. void GetAfterPosWithSlash(char * , char ** ); /**/  
63. void GetMemory(char ** , int ); /**/  
64. int IsExistWeb(WEBNODE * , char * , char * , int , char * ); /**/  
65. void Rstrchr(char * , int , char ** ); /**/  
66. int GetLocalAgent(char * UserAgent, char * Accept, char * AcceptLanguage, char * AcceptEncoding, char * AcceptCharset, char * KeepAlive, char * Connection, char * ContentType); /**/  
67.   
68. /************************************************************** 
69. 功能：设置 HTTP 协议头内容的一些固定值 
70. ***************************************************************/  
71. int GetLocalAgent(char * UserAgent, char * Accept, char * AcceptLanguage, char * AcceptEncoding, char * AcceptCharset, char * KeepAlive, char * Connection, char * ContentType)  
72. {  
73.     memcpy(UserAgent, USERAGENT, strlen(USERAGENT));  
74.     memcpy(Accept, ACCEPT, strlen(ACCEPT));  
75.     memcpy(AcceptLanguage, ACCEPTLANGUAGE, strlen(ACCEPTLANGUAGE));  
76.     memcpy(AcceptEncoding, ACCEPTENCODING, strlen(ACCEPTENCODING));  
77.     memcpy(AcceptCharset, ACCEPTCHARSET, strlen(ACCEPTCHARSET));  
78.     memcpy(KeepAlive, KEEPALIVE, strlen(KEEPALIVE));  
79.     memcpy(Connection, CONNECTION, strlen(CONNECTION));  
80.     memcpy(ContentType, CONTENTTYPE, strlen(CONTENTTYPE));  
81.     return 0;  
82. }  
83.   
84. /************************************************************** 
85. 功能：在字符串 s 里搜索 x 字符，并设置指针 d 指向该位置 
86. ***************************************************************/  
87. void Rstrchr(char * s, int x, char ** d)  
88. {  
89.     int len = strlen(s) - 1;  
90.     while(len >= 0)  
91.     {  
92.         if(x == s[len]) {(*d) = s + len; return;}  
93.         len--;  
94.     }  
95.     (*d) = 0;  
96. }  
97.   
98. /************************************************************** 
99. 功能：连接一个网站服务器 
100. ***************************************************************/  
101. void ConnectWeb(void)  
102. {  
103.     /* connect to web server */  
104.     /* create a socket descriptor */  
105.     if((sockfd=socket(PF_INET,SOCK_STREAM,0))==-1)  
106.     {  
107.         fprintf(stderr,"\tSocket Error:%s\a\n",strerror(errno));  
108.         exit(1);  
109.     }  
110.   
111.     /* bind address */  
112.     bzero(&server_addr, sizeof(server_addr));  
113.     server_addr.sin_family = AF_INET;  
114.     server_addr.sin_port = htons(NodeCurr->port);  
115.     server_addr.sin_addr = *((struct in_addr *)host->h_addr);  
116.   
117.     /* connect to the server */  
118.     if(connect(sockfd, (struct sockaddr *)(&server_addr), sizeof(struct sockaddr)) == -1)  
119.     {  
120.         fprintf(stderr, "\tConnect Error:%s\a\n", strerror(errno));  
121.         exit(1);  
122.     }  
123. }  
124.   
125. /************************************************************** 
126. 功能：向网站发送 HTTP 请求 
127. ***************************************************************/  
128. void SendRequest(void)  
129. {  
130.     /* send my http-request to web server */  
131.     dsend = 0;totalsend = 0;  
132.     nbytes=strlen(request);  
133.     while(totalsend < nbytes)  
134.     {  
135.         dsend = write(sockfd, request + totalsend, nbytes - totalsend);  
136.         if(dsend==-1)  {fprintf(stderr, "\tsend error!%s\n", strerror(errno));exit(0);}  
137.         totalsend+=dsend;  
138.         fprintf(stdout, "\n\tRequest.%d %d bytes send OK!\n", reqn, totalsend);  
139.     }  
140. }  
141.   
142. /************************************************************** 
143. 功能：接收网站的 HTTP 返回 
144. ***************************************************************/  
145. void ReceiveResponse(void)  
146. {  
147.     /* get response from web server */  
148.     fd_set writefds;  
149.     struct timeval tival;  
150.     int retry = 0;  
151.     FILE * localfp = NULL;  
152.   
153.     i=0; j = 0;  
154.     __ReCeive:  
155.     FD_ZERO(&writefds);  
156.     tival.tv_sec = 10;  
157.     tival.tv_usec = 0;  
158.     if(sockfd > 0) FD_SET(sockfd, &writefds);  
159.     else {fprintf(stderr, "\n\tError, socket is negative!\n"); exit(0);}  
160.   
161.     ret = select(sockfd + 1, &writefds, NULL, NULL, &tival);  
162.     if(ret ==0 )  
163.     {  
164.         if(retry++ < 10) goto __ReCeive;  
165.     }  
166.     if(ret <= 0) {fprintf(stderr, "\n\tError while receiving!\n"); exit(0);}  
167.   
168.     if(FD_ISSET(sockfd, &writefds))  
169.     {  
170.         memset(buffer, 0, 1024);  
171.         memset(httpheader, 0, 1024);  
172.         if((localfp = fopen(NodeCurr->file, "w")) == NULL) {if(DEBUG) fprintf(stderr, "create file '%s' error\n", NodeCurr->file); return;}  
173.         /* receive data from web server */  
174.         while((nbytes=read(sockfd,buffer,1))==1)  
175.         {  
176.             if(i < 4)  
177.             {  
178.                 /* 获取 HTTP 消息头 */  
179.                     if(buffer[0] == '\r' || buffer[0] == '\n')  i++;  
180.                     else i = 0;  
181.                     memcpy(httpheader + j, buffer, 1); j++;  
182.             }  
183.             else  
184.             {  
185.                 /* 获取 HTTP 消息体 */  
186.                     fprintf(localfp, "%c", buffer[0]); /* print content on the screen */  
187.                     i++;  
188.             }//else  
189.         }//while  
190.         fclose(localfp);  
191.     }//if(FD_ISSET(sockfd, &writefds))  
192. }  
193.   
194. /************************************************************** 
195. 功能：执行一次 HTTP 请求 
196. ***************************************************************/  
197. void DoOnce()  
198. {  
199.     /* send and receive */  
200.     ConnectWeb(); /* connect to the web server */  
201.   
202.     /* send a request */  
203.     SendRequest();  
204.   
205.     /* receive a response message from web server */  
206.     ReceiveResponse();  
207.   
208.     close(sockfd); /* because HTTP protocol do something one connection, so I can close it after receiving */  
209. }  
210.   
211. /************************************************************** 
212. 功能：执行 HTTP 请求 
213. ***************************************************************/  
214. void DoneWithList(int flag)  
215. {  
216.     if(flag) fprintf(stdout, "\tRequest.%d is:\n%s", ++reqn, request);  
217.   
218.     DoOnce();  
219.   
220.     if(flag) fprintf(stdout, "\n\tThe following is the response header:\n%s", httpheader);  
221. }  
222.   
223. /************************************************************** 
224. 功能：从字符串 src 中分析出网站地址和端口，并得到文件和目录 
225. ***************************************************************/  
226. int GetHost(char * src, char ** web, char ** file, int * port, char ** dir)  
227. {  
228.     char * pA, * pB, * pC;  
229.     int len;  
230.   
231.     *port = 0;  
232.     if(!(*src))  return -1;  
233.     pA = src;  
234.     if(!strncmp(pA, "http://", strlen("http://")))  pA = src+strlen("http://");  
235.     else return 1;  
236.     pB = strchr(pA, '/');  
237.     if(pB)  
238.     {  
239.         len = strlen(pA) - strlen(pB);  
240.         GetMemory(web, len);  
241.         memcpy((*web), pA, len);  
242.         if(*(pB+1))  
243.         {  
244.             Rstrchr(pB + 1, '/', &pC);  
245.             if(pC) len = strlen(pB + 1) - strlen(pC);  
246.             else len = 0;  
247.             if(len > 0)  
248.             {  
249.                 GetMemory(dir, len);  
250.                 memcpy((*dir), pB + 1, len);  
251.   
252.                 if(pC + 1)  
253.                 {  
254.                     len = strlen(pC + 1);  
255.                     GetMemory(file, len);  
256.                     memcpy((*file), pC + 1, len);  
257.                 }  
258.                 else  
259.                 {  
260.                     len = 1;  
261.                     GetMemory(file, len);  
262.                     memcpy((*file), e, len);  
263.                 }// else  
264.             }// if(len > 0)  
265.             else  
266.             {  
267.                 len = 1;  
268.                 GetMemory(dir, len);  
269.                 memcpy((*dir), e + 1, len);  
270.   
271.                 len = strlen(pB + 1);  
272.                 GetMemory(file, len);  
273.                 memcpy((*file), pB + 1, len);  
274.             }// else  
275.         }// if(*(pB+1))  
276.         else  
277.         {  
278.             len = 1;  
279.             GetMemory(dir, len);  
280.             memcpy((*dir), e + 1, len);  
281.   
282.             len = 1;  
283.             GetMemory(file, len);  
284.             memcpy((*file), e, len);  
285.         }// else  
286.     }// if(pB)  
287.     else  
288.     {  
289.         len = strlen(pA);  
290.         GetMemory(web, len);  
291.         memcpy((*web), pA, strlen(pA));  
292.         len = 1;  
293.         GetMemory(dir, len);  
294.         memcpy((*dir), e + 1, len);  
295.         len = 1;  
296.         GetMemory(file, len);  
297.         memcpy((*file), e, len);  
298.     }// else  
299.   
300.     pA = strchr((*web), ':');  
301.     if(pA)  *port = atoi(pA + 1);  
302.     else *port = 80;  
303.   
304.     return 0;  
305. }  
306.   
307. /********************************************************************* 
308. *filename: mailaddrsearch.c 
309. *purpose: 用 C 语言编写一个网络蜘蛛来搜索网上出现的电子邮件地址 
310. *tidied by: zhoulifa(zhoulifa@163.com) 周立发(http://zhoulifa.bokee.com) 
311. Linux爱好者 Linux知识传播者 SOHO族 开发者 最擅长C语言 
312. *date time:2006-08-31 21:00:00 
313. *Note: 任何人可以任意复制代码并运用这些文档，当然包括你的商业用途 
314. * 但请遵循GPL 
315. *Thanks to: www.gd-linux.org 广东省 Linux 公共服务技术支持中心 
316. *********************************************************************/  
317.   
318. int main(int argc, char ** argv)  
319. {  
320.     int WebPort;  
321.     char * WebHost = 0, * PageAddress = 0, * WebDir = 0;  
322.   
323.     if(argc < 2) {if(DEBUG) fprintf(stdout, "Command error, you should input like this:\n\t%s WebPageAddress1 WebPageAddress2 WebPageAddress3 ...", argv[0]); exit(0);}  
324.   
325.     NodeHeader = NodeTail = NodeCurr = 0;  
326.   
327.     for(i = 1; i < argc; i++)  
328.     {  
329.         ret = GetHost(argv, &WebHost, &PageAddress, &WebPort, &WebDir); /* Get web page info */  
330.         if(ret) {if(DEBUG) fprintf(stdout, "GetHost error from '%s'\n", argv); exit(0);}  
331.         AddInitNode(WebHost, PageAddress, WebPort, WebDir); /* add this page to chain */  
332.     }  
333.     free(WebHost); free(PageAddress);free(WebDir);  
334.     if(DEBUG)  
335.     {  
336.         fprintf(stdout, "\nDisplay.%5d:", FileNumber);  
337.         DisplayNode(NodeHeader); /* display every node */  
338.     }  
339.     HandleInitNode(NodeHeader); /* handle every page */  
340.     return 0;  
341. }  
342.   
343. /************************************************************** 
344. 功能：分析网页 
345. ***************************************************************/  
346. void AnalyzePage(WEBNODE * node)  
347. {  
348.     int fd;  
349.     int flength = 0;  
350.     fd = open(node->file, O_RDONLY);  
351.     if(fd == -1)        goto __AnalyzeDone;  
352.     flength = lseek(fd, 1, SEEK_END);  
353.     write(fd, "\0", 1);  
354.     lseek(fd, 0, SEEK_SET);  
355.     mapped_mem = mmap(0, flength, PROT_READ, MAP_PRIVATE, fd, 0);  
356.     GetEmail(mapped_mem);  
357.     GetLink(mapped_mem);  
358.     close(fd);  
359.     munmap(mapped_mem, flength);  
360. __AnalyzeDone:  
361.     close(fd);  
362.     node->IsHandled = 1;  
363.     remove(node->file);  
364. }  
365.   
366. /************************************************************** 
367. 功能：为根节点设置兄弟节点 
368. ***************************************************************/  
369. void AddInitNode(char * Host, char * Page, int Port, char * Dir)  
370. {  
371.     WEBNODE * NewNode;  
372.     char filename[MAXFILENAME + 1] = "";  
373.   
374.     if(NodeHeader == NULL) NewNode = NodeHeader = (WEBNODE *)malloc(sizeof(WEBNODE));  
375.     else NodeTail->brother = NewNode = (WEBNODE *)malloc(sizeof(WEBNODE));  
376.     memset(NewNode, 0, sizeof(WEBNODE));  
377.     NewNode->host = (char *)malloc(strlen(Host) + 1);  
378.     memset(NewNode->host, 0, strlen(Host) + 1);  
379.     NewNode->page = (char *)malloc(strlen(Page) + 1);  
380.     memset(NewNode->page, 0, strlen(Page) + 1);  
381.     NewNode->dir = (char *)malloc(strlen(Dir) + 1);  
382.     memset(NewNode->dir, 0, strlen(Dir) + 1);  
383.     NewNode->file = (char *)malloc(MAXFILENAME + 1);  
384.     memset(NewNode->file, 0, MAXFILENAME + 1);  
385.     strcpy(NewNode->host, Host);  
386.     strcpy(NewNode->page, Page);  
387.     strcpy(NewNode->dir, Dir);  
388.     sprintf(filename, "file%05d.html", FileNumber++);  
389.     strcpy(NewNode->file, filename);  
390.     NewNode->port = Port;  
391.     NewNode->IsHandled = 0;  
392.     NewNode->brother = 0;  
393.     NewNode->child = 0;  
394.     NodeTail = NewNode;  
395. }  
396.   
397. /************************************************************** 
398. 功能：处理根节点信息 
399. ***************************************************************/  
400. void HandleInitNode(WEBNODE * node)  
401. {  
402.     WEBNODE * CurrentNode = 0;  
403.     CurrentNode = node;  
404.     if(CurrentNode)  
405.     {  
406.         while(CurrentNode)  
407.         {  
408.             if(CurrentNode->IsHandled == 0)  
409.             {  
410.                 HandOneNode(CurrentNode);  
411.                 if(DEBUG)  
412.                 {  
413.                     fprintf(stdout, "\nDisplay.%5d:", FileNumber);  
414.                     DisplayNode(NodeHeader); /* display every node */  
415.                 }  
416.             }  
417.             CurrentNode = CurrentNode->brother;  
418.         }// while  
419.         CurrentNode = node;  
420.         while(CurrentNode)  
421.         {  
422.             if(CurrentNode->child && CurrentNode->child->IsHandled == 0)  
423.             {  
424.                 HandleInitNode(CurrentNode->child);  
425.             }  
426.             CurrentNode = CurrentNode->brother;  
427.         }// while  
428.     }  
429. }  
430.   
431. /************************************************************** 
432. 功能：显示年有节点信息 
433. ***************************************************************/  
434. void DisplayNode(WEBNODE * NodeHeader)  
435. {  
436.     WEBNODE * TempNode;  
437.     TempNode = NodeHeader;  
438.     fprintf(stdout, "\n");  
439.     while(TempNode)  
440.     {  
441.         if(!strcmp(TempNode->dir, "/"))  
442.             fprintf(stdout, "\t%s:%d%s%s => %s %d\n", TempNode->host, TempNode->port, TempNode->dir, strcmp(TempNode->page, "@")?TempNode->page:"", TempNode->file, TempNode->IsHandled);  
443.         else  
444.             fprintf(stdout, "\t%s:%d/%s/%s => %s %d\n", TempNode->host, TempNode->port, TempNode->dir, strcmp(TempNode->page, "@")?TempNode->page:"", TempNode->file, TempNode->IsHandled);  
445.         TempNode = TempNode->brother;  
446.     }// while  
447.   
448.     TempNode = NodeHeader;  
449.     while(TempNode)  
450.     {  
451.         if(TempNode->child)  
452.             DisplayNode(TempNode->child);  
453.         TempNode = TempNode->brother;  
454.     }// while  
455. }  
456.   
457. /************************************************************** 
458. 功能：处理单个节点信息 
459. ***************************************************************/  
460. void HandOneNode(WEBNODE * node)  
461. {  
462.     char UserAgent[1024] = "",  
463.         Accept[1024] = "",  
464.         AcceptLanguage[1024] = "",  
465.         AcceptEncoding[1024] = "",  
466.         AcceptCharset[1024] = "",  
467.         KeepAlive[1024] = "",  
468.         Connection[1024] = "",  
469.         ContentType[1024] = "";  
470.   
471.     NodeCurr = node;  
472.     if((host=gethostbyname(NodeCurr->host))==NULL) /* get ip address by domain */  
473.     {  
474.         if(DEBUG)  fprintf(stderr,"\tGethostname '%s' error, %s\n", NodeCurr->host, strerror(errno));  
475.         exit(1);  
476.     }  
477.     GetLocalAgent(UserAgent, Accept, AcceptLanguage, AcceptEncoding, AcceptCharset, KeepAlive, Connection, ContentType); /* Get client browser information */  
478.   
479.     if(strcmp(NodeCurr->dir, "/"))  
480.         sprintf(request, "GET /%s/%s HTTP/1.0\r\nHost: %s\r\nUser-Agent: %s\r\nAccept: %s\r\nConnection: %s\r\n\r\n", NodeCurr->dir, strcmp(NodeCurr->page, "@")?NodeCurr->page:"", NodeCurr->host, UserAgent, Accept, Connection);  
481.     else  
482.         sprintf(request, "GET %s%s HTTP/1.0\r\nHost: %s\r\nUser-Agent: %s\r\nAccept: %s\r\nConnection: %s\r\n\r\n", NodeCurr->dir, strcmp(NodeCurr->page, "@")?NodeCurr->page:"", NodeCurr->host, UserAgent, Accept, Connection);  
483.   
484.     DoneWithList(1);  
485.     AnalyzePage(NodeCurr);  
486. }  
487.   
488. /************************************************************** 
489. 功能：从字符串 src 中分析出邮件地址保存到文件 
490. ***************************************************************/  
491. void GetEmail(char * src)  
492. {  
493.     char * pa, * pb, * pc, *pd;  
494.     char myemail[1024] = "";  
495.     FILE * mailfp = NULL;  
496.     if((mailfp = fopen("email.txt", "a+")) == NULL)  
497.     return;  
498.     pa = src;  
499.     while((pb = strchr(pa, '@')))  
500.     {  
501.         GetBeforePos(pb, &pc);  
502.         GetAfterPos(pb, &pd);  
503.         if(pc && pd && (strlen(pc) > (strlen(pd) + 3)))  
504.         {  
505.             memset(myemail, 0, 1024);  
506.             memcpy(myemail, pc, strlen(pc) - strlen(pd));  
507.             if(strcmp(NodeCurr->dir, "/")) fprintf(mailfp, "%s\thttp://%s/%s/%s\n", myemail, NodeCurr->host, NodeCurr->dir, strcmp(NodeCurr->page, "@")?NodeCurr->page:"");  
508.             else  fprintf(mailfp, "%s\thttp://%s%s%s\n", myemail, NodeCurr->host, NodeCurr->dir, strcmp(NodeCurr->page, "@")?NodeCurr->page:"");  
509.             if(*(pd + 1))  
510.                 pa = pd + 1;  
511.             else break;  
512.         }  
513.         else if(*(pb + 1))  
514.             pa = pb + 1;  
515.         else  
516.             break;  
517.     }// while  
518.     fclose(mailfp);  
519. }  
520.   
521. /************************************************************** 
522. 功能：从 src 中找出前面的字母、数字等内含，即 email 地址中 @ 的前面部分 
523. ***************************************************************/  
524. void GetBeforePos(char * src, char ** d)  
525. {  
526.     char * x;  
527.     if(src - 1)  
528.         x = src - 1;  
529.     else {*d = 0; return ;}  
530.     while(x)  
531.     {  
532.         if(*x >= 'a' && *x <= 'z') {x--; continue;}  
533.         else if(*x >= 'A' && *x <= 'Z') {x--; continue;}  
534.         else if(*x >= '0' && *x <= '9') {x--; continue;}  
535.         else if(*x == '.' || *x == '-' || *x == '_') {x--; continue;}  
536.         else {break;}  
537.     }  
538.     x++;  
539.     if(x) *d = x;  
540.     else *d = 0;  
541. }  
542.   
543. /************************************************************** 
544. 功能：从 src 中找出后面的字母、数字等内含，即 email 地址中 @ 的后面部分 
545. ***************************************************************/  
546. void GetAfterPos(char * src, char ** d)  
547. {  
548.     char * x;  
549.     if(src + 1)  
550.         x = src + 1;  
551.     else {*d = 0; return ;}  
552.   
553.     while(x)  
554.     {  
555.         if(*x >= 'a' && *x <= 'z') {x++; continue;}  
556.         else if(*x >= 'A' && *x <= 'Z') {x++; continue;}  
557.         else if(*x >= '0' && *x <= '9') {x++; continue;}  
558.         else if(*x == '.' || *x == '-' || *x == '_') {x++; continue;}  
559.         else {break;}  
560.     }  
561.   
562.     if(x) *d = x;  
563.     else *d = 0;  
564. }  
565.   
566. /************************************************************** 
567. 功能：从 src 中找出前面的字母、数字等内含，即一个网页地址中主机名后面的部分 
568. ***************************************************************/  
569. void GetAfterPosWithSlash(char * src, char ** d)  
570. {  
571.     char * x;  
572.     if(src)  
573.     x = src;  
574.     else {*d = 0; return ;}  
575.   
576.     while(x)  
577.     {  
578.         if(*x >= 'a' && *x <= 'z') {x++; continue;}  
579.         else if(*x >= 'A' && *x <= 'Z') {x++; continue;}  
580.         else if(*x >= '0' && *x <= '9') {x++; continue;}  
581.         else if(*x == '.' || *x == '-' || *x == '_' || *x == '=') {x++; continue;}  
582.         else if(*x == ':' || *x == '/' || *x == '?' || *x == '&') {x++; continue;}  
583.         else {break;}  
584.     }  
585.     if(x) *d = x;  
586.     else *d = 0;  
587. }  
588.   
589. /************************************************************** 
590. 功能：为 myanchor 分配 len 大小的内存 
591. ***************************************************************/  
592. void GetMemory(char ** myanchor, int len)  
593. {  
594.     if(!(*myanchor))  
595.         (*myanchor) = (char *)malloc(len + 1);  
596.     else  
597.         (*myanchor) = (char *)realloc((void *)(*myanchor), len + 1);  
598.     memset((*myanchor), 0, len + 1);  
599. }  
600.   
601. /************************************************************** 
602. 功能：从 src 中分析出网页链接，并加入到当前节点的子节点上 
603. ***************************************************************/  
604. void GetLink(char * src)  
605. {  
606.     char * pa, * pb, * pc;  
607.     char * myanchor = 0;  
608.     int len = 0;  
609.   
610.     pa = src;  
611.     do  
612.     {  
613.         if((pb = strstr(pa, "href='")))  
614.         {  
615.             pc = strchr(pb + 6, '\'');  
616.             len = strlen(pb + 6) - strlen(pc);  
617.             GetMemory(&myanchor, len);  
618.             memcpy(myanchor, pb + 6, len);  
619.         }  
620.         else if((pb = strstr(pa, "href=\"")))  
621.         {  
622.             pc = strchr(pb + 6, '"');  
623.             len = strlen(pb + 6) - strlen(pc);  
624.             GetMemory(&myanchor, len);  
625.             memcpy(myanchor, pb + 6, len);  
626.         }  
627.         else if((pb = strstr(pa, "href=")))  
628.         {  
629.             GetAfterPosWithSlash(pb + 5, &pc);  
630.             len = strlen(pb + 5) - strlen(pc);  
631.             GetMemory(&myanchor, len);  
632.             memcpy(myanchor, pb + 5, len);  
633.         }  
634.         else {goto __returnLink ;}  
635.   
636.         if(strlen(myanchor) > 0)  
637.             AddChildNode(NodeCurr, myanchor);  
638.         if(pc + 1)  
639.             pa = pc + 1;  
640.     }while(pa);  
641. __returnLink:  
642.     return;  
643. }  
644.   
645. /************************************************************** 
646. 功能：为当前节点增加子节点 
647. ***************************************************************/  
648. void AddChildNode(WEBNODE * node, char * src)  
649. {  
650.     int WebPort, len;  
651.     char * WebHost = 0, * PageAddress = 0, * WebDir = 0, * pC = 0;  
652.     WEBNODE * NewNode;  
653.     char filename[MAXFILENAME + 1] = "";  
654.     char IsFromRoot = 0;  
655.   
656.     if(!src)        return;  
657.     if(!strncasecmp(src, "mailto:", strlen("mailto:")))        return ;  
658.     if(strstr(src, ".css"))        return;  
659.     if(strstr(src, ".xml"))        return;  
660.     if(strstr(src, ".ico"))        return;  
661.     if(strstr(src, ".jpg"))        return;  
662.     if(strstr(src, ".gif"))        return;  
663.     if(strstr(src, "javascript:"))        return;  
664.     if(strstr(src, "+"))        return;  
665.   
666.     ret = GetHost(src, &WebHost, &PageAddress, &WebPort, &WebDir);  
667.     if(ret)  
668.     {  
669.         len = strlen(node->host);  
670.         GetMemory(&WebHost, len);  
671.         strcpy(WebHost, node->host);  
672.   
673.         WebPort = node->port;  
674.   
675.         IsFromRoot = !strncmp(src, "/", 1);  
676.         if(IsFromRoot && (src + 1))  
677.             Rstrchr(src + 1, '/', &pC);  
678.         else if(!IsFromRoot)  
679.             Rstrchr(src, '/', &pC);  
680.         else  
681.             pC = 0;  
682.   
683.         if(pC)  
684.         {  
685.             if(IsFromRoot)  
686.                 len = strlen(src + 1) - strlen(pC);  
687.             else  
688.                 len = strlen(src) - strlen(pC) + strlen(node->dir) + 1;  
689.             GetMemory(&WebDir, len);  
690.   
691.             if(IsFromRoot)  
692.                 memcpy(WebDir, src + 1, len);  
693.             else  
694.             {  
695.                 memcpy(WebDir, node->dir, strlen(node->dir));  
696.                 strcat(WebDir, "/");  
697.                 memcpy(WebDir + strlen(node->dir) + 1, src, strlen(src) - strlen(pC));  
698.             }  
699.   
700.             if(pC + 1)  
701.             {  
702.                 len = strlen(pC + 1);  
703.                 GetMemory(&PageAddress, len);  
704.                 strcpy(PageAddress, pC + 1);  
705.             }  
706.             else  
707.             {  
708.                 len = 1;  
709.                 GetMemory(&PageAddress, len);  
710.                 memcpy(PageAddress, e, len);  
711.             }  
712.         }  
713.         else  
714.         {  
715.             if(IsFromRoot)  
716.             {  
717.                 len = 1;  
718.                 GetMemory(&WebDir, len);  
719.                 memcpy(WebDir, e + 1, len);  
720.   
721.                 len = strlen(src + 1);  
722.                 GetMemory(&PageAddress, len);  
723.                 memcpy(PageAddress, src + 1, len);  
724.             }  
725.             else  
726.             {  
727.                 len = strlen(node->dir);  
728.                 GetMemory(&WebDir, len);  
729.                 memcpy(WebDir, node->dir, len);  
730.   
731.                 len = strlen(src);  
732.                 GetMemory(&PageAddress, len);  
733.                 memcpy(PageAddress, src, len);  
734.             }  
735.         }  
736.     }  
737.     ret = IsExistWeb(NodeHeader, WebHost, PageAddress, WebPort, WebDir);  
738.     if(ret) goto __ReturnAdd;  
739.   
740.     if(node->child == NULL)  
741.         NewNode = node->child = (WEBNODE *)malloc(sizeof(WEBNODE));  
742.     else  
743.         NodeTail->brother = NewNode = (WEBNODE *)malloc(sizeof(WEBNODE));  
744.   
745.     memset(NewNode, 0, sizeof(WEBNODE));  
746.     NewNode->host = (char *)malloc(strlen(WebHost) + 1);  
747.     memset(NewNode->host, 0, strlen(WebHost) + 1);  
748.     NewNode->page = (char *)malloc(strlen(PageAddress) + 1);  
749.     memset(NewNode->page, 0, strlen(PageAddress) + 1);  
750.     NewNode->dir = (char *)malloc(strlen(WebDir) + 1);  
751.     memset(NewNode->dir, 0, strlen(WebDir) + 1);  
752.     NewNode->file = (char *)malloc(MAXFILENAME + 1);  
753.     memset(NewNode->file, 0, MAXFILENAME + 1);  
754.     strcpy(NewNode->host, WebHost);  
755.     strcpy(NewNode->page, PageAddress);  
756.     strcpy(NewNode->dir, WebDir);  
757.     sprintf(filename, "file%05d.html", FileNumber++);  
758.     strcpy(NewNode->file, filename);  
759.     NewNode->port = WebPort;  
760.     NewNode->IsHandled = 0;  
761.     NewNode->brother = 0;  
762.     NewNode->child = 0;  
763.     NodeTail = NewNode;  
764.   
765. __ReturnAdd:  
766.     free(WebHost);  
767.     free(PageAddress);  
768.     free(WebDir);  
769. }  
770.   
771. /************************************************************** 
772. 功能：检查是否已经处理过的网页 
773. ***************************************************************/  
774. int IsExistWeb(WEBNODE * node, char * host, char * page, int port, char * dir)  
775. {  
776.     WEBNODE * t;  
777.     t = node;  
778.   
779.     while(t)  
780.     {  
781.         if(!strcmp(t->host, host) && !strcmp(t->page, page) && t->port == port && !strcmp(t->dir, dir)) return 1;  
782.         t = t->brother;  
783.     }  
784.     t = node;  
785.   
786.     while(t)  
787.     {  
788.         if(t->child)  
789.         {  
790.             ret = IsExistWeb(t->child, host, page, port, dir);  
791.             if(ret)  
792.                 return 2;  
793.         }  
794.         t = t->brother;  
795.     }  
796.     return 0;  
797. }  

3 *********************************************************************************************************************************************************

最近不知吃了什么药，对网络爬虫非常有兴趣，记得以前想过写个爬虫把自己百度博客的帖子都抓下来备份，现在正是时机了。

代码是（用了近两周晚上加周末时间）在linux环境下用c/c++语言写的，已经发布到github上了。结构还算清晰，使用了多线程、高级多路IO复用、socket网络编程等技术和一些哈希算法，爬取性能还是不错的。目前还在不断地进行细节优化（目前是1.0版本）。

有此方面兴趣的同学们可以下载下来看看，也希望看过代码的人可以相互切磋交流，甚至加入到开发中（可以联系我）。

Github：https://github.com/qteqpid/spiderq

4****************************************************************************************************************************************************************************

本节通过介绍larbin的数据（url）流向，以便对larbin有一个整体的认识，从而了解网络爬虫的工作原理。

从main.cc里面的代码开始：
        stateMain(2);
        input();
        stateMain(3);
        sequencer();
        stateMain(4);
        fetchDns();
        stateMain(5);
        fetchOpen();
        stateMain(6);
        checkAll();
        // select
        stateMain(count++);
        poll(global::pollfds, global::posPoll, 10);
        stateMain(7);

1.  input()
     主要工作：初始化input监听端口，准备接收手动/额外输入的url。当接收到请求连接发送过来的url时，保存到相应的URL队列中（比如URLsDisk或URLsPriority）。

2.  sequencer()
     主要工作：在满足url个数限制之后，通过调用canGetUrl函数按优先级从各个URL队列（比如URLsPriorityWait，URLsPriority，URLsDiskWait，URLsDisk）获取url保存到某个NamedSite（通过url的hash值）中，如：global::namedSiteList[u->hostHashCode()].putPriorityUrlWait(u);
     putPriorityUrlWait，putPriorityUrl等函数实际调用putGenericUrl函数处理url：忽略掉 url（forgetUrl），或者重新放回URL队列，或者放入global::dnsSites NamedSite队列中，或者放到某个IPSite中。

3.  fetchDns()
      主要工作：从global::dnsSites 获取NamedSite实例请求DNS获取url的IP地址。当从DNS获取到IP地址后，该url被放入到某个IPSite中（通过NamedSite::dnsOK（）方法）。
      dnsOK中创建连接conn，生成GET请求，用来l获取robots.txt。当获取/并解析完robots.txt（NamedSite::robotsResult调用transfer(u)将url保存到某个IPSite中，同时将IPSite保存到global::okSites中）。

4.  fetchOpen()
      主要工作：从global::okSites中找到一个IPSite实例，调用其方法函数fetch()创建连接conn，生成GET请求，用来下载url文件。下载完后用html实例分析html文件中的url，并保存到URL队列中等待下一轮的处理。

5.  checkAll()
     主要工作：处理所有连接发生的读/写事件，重新注册事件到pollfds数组中。


其他：
robots和html 解析器：
1.  robots解析器：略
2. html解析器：当下载/解析完html文件后，endOfFile->manageHtml->endOfLoad->loaded等函数被调用，用来保存html文件。loaded函数被不同模块实现，用来控制保存html的方法（网站镜像文件保存或者其他。。。）