Python实现抓取访问特定URL的数据包

这篇文章紧接着《使用Python来分离或者直接抓取pcap抓包文件中的HTTP流》展开，那篇文章是昨天写的，今天早上突然又想实现一个直接抓包的程序，于是天没亮就又爬起来了...

本文的代码以及前文的代码在github的地址：https://github.com/marywangran/Python-Http-cap-demux/tree/master

        Python有很多库可以实现抓包和分析包，典型就是pypcap用来抓包，dpkt用来分析，关于这两个库的安装，我有一些随笔，虽然这些对于一个Python老手而言似乎是信手拈来可以吹着口哨搞定的事，但是对于新手而言，似乎必然会遇到这样那样的问题，因此我先分享一些关于安装方面的事情。
        Python的库太过丰富，但是前提是你必须可以随意安装它，我比较推荐使用pip安装，它就像apt-get，yum这样，甚至语法都一样：
apt-get/yum/pip install aaaaa
但是pip要真的用起来似乎还是要花点时间的。我首先下载了setuptool：
wget https://pypi.python.org/packages/source/s/setuptools/setuptools-3.0.tar.gz
然后解压，进入其主目录后执行：
python ./setup.py build
python ./setup.py install
然后在我了解到pip本身也是一个Python库的时候，我执行了：
easy_install pip
随后得到了令人遗憾的错误提示，说什么”unknown url type: https“，然后我问了度娘，解决了该问题，很简单，执行下面的步骤即可：
1.yum install openssl-devel
2.重新编译Python并install
接下来就可以easy_install pip了，然后就可以：
pip install pypcap
pip install dpkt
最后，代码就可以随便写了...

我主要还是想在直接抓包的时候就过滤好我想要的包，而不是先抓一个超级大的pcap文件，然后再慢慢解析分流。只要脑子里面有清晰的逻辑，并且手边有一个得心应手的编程语言，模拟任何事情都不是难事，把昨天的代码一改，把分析pcap的逻辑改成pypcap/dpkt抓包解包的逻辑，一切似乎就是那么简单。代码如下：

[python]  view plain  copy

1. #!/usr/local/bin/python  
2.   
3. import pcap  
4. import dpkt  
5.   
6. cap = pcap.pcap('eth3')      
7. cap.setfilter('tcp port 80')  
8. files4out = {}  
9. url = 'www.baidu.com'  
10.   
11. for ptime,pktdata in cap:    
12.     pkt = dpkt.ethernet.Ethernet(pktdata)  
13.     if pkt.data.data.__class__.__name__ <> 'TCP':  
14.         continue  
15.     ipsrc_tag = 0  
16.     ipdst_tag = 0  
17.     sport_tag = 0  
18.     dport_tag = 0  
19.   
20.     ipdata = pkt.data  
21.     sip='%d.%d.%d.%d'%tuple(map(ord,list(ipdata.src)))  
22.     dip='%d.%d.%d.%d'%tuple(map(ord,list(ipdata.dst)))  
23.   
24.     tcpdata = pkt.data.data  
25.     sport = tcpdata.sport  
26.     dport = tcpdata.dport  
27.       
28.     src_tag = sip  
29.     dst_tag = dip  
30.     sp_tag = str(sport)  
31.     dp_tag = str(dport)  
32.     if ord(list(ipdata.src)[0]) > ord(list(ipdata.dst)[0]):  
33.         temp = dst_tag  
34.         dst_tag = src_tag  
35.         src_tag = temp  
36.               
37.     if sport > dport:  
38.         temp = sp_tag  
39.         sp_tag = dp_tag  
40.         dp_tag = temp  
41.   
42.     content = url  
43.     FLAG = 0  
44.       
45.     appdata = tcpdata.data  
46.     if appdata.find(content) <> -1:  
47.         print 'find'  
48.         FLAG = 1  
49.       
50.     name = src_tag + '_' + dst_tag + '_' + sp_tag + '_' + dp_tag  
51.     if (name) in files4out:  
52.         item = files4out[name]  
53.         fi = 0  
54.         cnt = item[1]  
55.         if cnt < 6 and item[3] <> 1:  
56.             item[1] += 1  
57.             item[2].append(pktdata)  
58.             if FLAG == 1:  
59.                 item[3] = 1  
60.         elif item[3] == 1:  
61.             for index in range(cnt+1):  
62.                 pktdatai = item[2][index]  
63.                 pkti = dpkt.ethernet.Ethernet(pktdatai)  
64.                 ipdatai = pkti.data  
65.                 tcpdatai = pkti.data.data  
66.                 sipi='%d.%d.%d.%d'%tuple(map(ord,list(ipdatai.src)))  
67.                 dipi='%d.%d.%d.%d'%tuple(map(ord,list(ipdatai.dst)))  
68.                 sporti = tcpdatai.sport  
69.                 dporti = tcpdatai.dport  
70.                 print '[datai]' + sipi + ':' + str(sporti) + '-' + dipi + ':' + str(dporti)  
71.             item[1] = -1  
72.               
73.             print '[data]' + sip + ':' + str(sport) + '-' + dip + ':' + str(dport)  
74.         else  
75.             # 这里优化空间巨大！  
76.             # 为了不让随意的五元组无情地侵占字典空间，这里有几个策略：  
77.             # 1.发现FIN的时候，再容许这个流在字典中存在固定的时间段或者在允许此流来回5个包，之后删除字典的索引  
78.             # 2.如果超过6个包都没有等到GET /$url，那么在timewait的时间内，此流不允许占据字典空间  
79.             del files4out[name]  
80.               
81.               
82.     else:  
83.         item = [0, 0, [], 0, 0]  
84.   
85.         item[2].append(pktdata)  
86.         files4out[name] = item