Parse Packets in Pcap format

最新推荐文章于 2023-10-22 21:46:24 发布
最新推荐文章于 2023-10-22 21:46:24 发布
阅读量110 收藏
点赞数
CC 4.0 BY-SA版权
原文链接：http://www.cnblogs.com/zhouzhuo/p/3657576.html
本文详细介绍了如何使用pcap_open_offline()和pcap_next_ex()函数解析Pcap文件，包括文件的具体格式分析，如GlobalHeader、PacketHeader和PacketData的结构，以及需要注意的关键细节。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1. pcap_t* pcap_open_offline(const char* fname, char* errbuf)

Open a savefile in the tcpdump/libpcap format to read packets.

pcap_open_offline() is called to open a "savefile" for reading. fname specifies the name of the file to open. The file has the same format as those used by tcpdump(1) and tcpslice(1). The name "-" in a synonym for stdin. Alternatively, you may call pcap_fopen_offline() to read dumped data from an existing open stream fp. Note that on Windows, that stream should be opened in binary mode. errbuf is used to return error text and is only set when pcap_open_offline() or pcap_fopen_offline() fails and returns NULL.

Regular Usage pcap_t * pcap = pcap_open_offline(file.c_str(), errbuff);

 

2. pcap_next_ex

read the next packet from a pcap_t

#include <pcap/pcap.h>

pcap_next_ex() returns 1 if the packet was read without problems, 0 if packets are being read from a live capture and the timeout expired, -1 if an error occurred while reading the packet, and -2 if packets are being read from a ``savefile'' and there are no more packets to read from the savefile. If -1 is returned,pcap_geterr() or pcap_perror() may be called with p as an argument to fetch or display the error text.

Usage while(int returnValue = pcap_next_ex(pcap, &header, &data) >= 0)

 

3. Pcap 文件格式

上面介绍了两个用于解析 Pcap 文件的函数, 下面来分析下 Pcap 文件的具体格式

Pcap 文件组成如下:

Global Header

Packet Header (1) /* 第一个数据包 */

Packet Data (1)

Packet Header (2)

Packet Data (2)

…

 

3.1 Global Header

struct pcap_file_header {
        bpf_u_int32 magic;
        u_short version_major;
        u_short version_minor;
        bpf_int32 thiszone;    
        bpf_u_int32 sigfigs;   
        bpf_u_int32 snaplen;   
        bpf_u_int32 linktype;  
};

有了上面两个函数, 我们可以直接跳过 Global Header. 因此 global header 不需要关心.

 

3.2 Packet Header

Packet 指的是 Pcap Packet, Header 的定义是

struct pcap_pkthdr {
        struct timeval ts;     
        bpf_u_int32 caplen;    
        bpf_u_int32 len;       
};
struct timeval {
        long            tv_sec;        
        suseconds_t     tv_usec;       
};

timeval 中, tv_sec 是秒, tv_usec 是毫秒, 使用的是 UTC 时间, 转化到大陆的时间需要加 8 小时.

 

3.3 Packet Data

Packet Data 是 TCP/IP 协议意义上的数据包, 在 Data 部分, 分别是

以太网帧头 14 字节

IP 头 20 字节

TCP 头一般 20 字节 or UDP 头 (根据 IP 头的协议属性确定)

Payload, 真正的数据.

 

IP 头部协议类型:

 01    ICMP
 02    IGMP
 06    TCP
 17    UDP
 88    IGRP
 89    OSPF

 

4. 需要注意

[1] 描述了配置 visual studio 2010 + winpcap 环境具体步骤, 但需要注意最后一步把 winpcap.lib 改成 wpcap.lib 否则编译报错.

[3] 给出了测试代码, 能够运行就表示配置成功, 注意, 假如创建的项目是 empty project, 那么需要在预处理器中额外添加 WIN32;

[4] 有人在 stackoverflow 提问, 使用 [2] 给出的代码得出的记过不对. 有人回答网络流与大小端模式的转化关系, 比如使用ntohl, ntohs, inet_ntoa 函数.

 

Reference

[1] http://www.rhyous.com/2011/11/12/how-to-compile-winpcap-with-visual-studio-2010/

[2] http://www.rhyous.com/2011/11/13/how-to-read-a-pcap-file-from-wireshark-with-c/

[3] http://blog.youkuaiyun.com/caodesheng110/article/details/7670588

[4] http://stackoverflow.com/questions/12999538/read-from-a-pcap-file-and-print-out-ip-addresses-and-port-numbers-in-c-but-my-r

转载于:https://www.cnblogs.com/zhouzhuo/p/3657576.html

Pcap文件格式
霍当家的博客
12-23 1240
Pcap 文件解析
python十六进制转pcap文件_PCAP文件格式分析(做抓包软件之必备)
weixin_28687415的博客
01-29 1265
转载源：http://blog.youkuaiyun.com/anzijin/article/details/2008333http://www.ebnd.cn/2009/09/07/file-format-analysis-of-wireshark-pcap/前段时间因工作要求，需要对各种数据包进行分析和操作，内容涉及网路协议分析，socket，文件操作等。在此分享下学习和实践的经验。首先介绍下网络抓包、协...
pcap文件格式解析
weixin_30878361的博客
10-25 415
头文件pcap_format.h代码： /*分析解析pcap文件协议格式。 *pcap格式文件可由tcpdump或者wireshark生成，文件格式组成如下： *fileheader *packetheader *packetdata *packetheader *packetdata ...
PCAPNG文件格式详解——这一篇就够了！
m0_53887937的博客
10-22 1万+
现今流行数据包格式pcapng详细介绍。
rtsp client rtp parse packages
11-07
封装rtsp client,tcp发送消息，解析rtp数据包客户端，c++开发语言实现demo
XiaomiRouter自学之路(05-U-boot配置编译烧录)
Creator_Ly的博客
02-26 2417
XiaomiRouter自学之路(05-U-boot配置编译烧录)
PCAP格式点云数据转换
03-19
def parse_pcap_to_xyz(pcap_file, output_file): packets = rdpcap(pcap_file) with open(output_file, 'w') as f: for packet in packets: # 假设每个包都包含点云数据 points = extract_points_from_...
【Python】测试dpkt解析pcap
weixin_30521649的博客
11-06 2534
1、前言 本想借助dpkt解析mail、dns、http来辅助分析pcap包进行分析，查阅资料学习却发现并不如使用scapy那么方便。 dpkt是一个python模块，可以对简单的数据包创建/解析，以及基本TCP / IP协议的解析，速度很快。 dpkt 手册 https://dpkt.readthedocs.io/en/latest/ dpkt 下载 https://pypi.org...
import sys import io import os import numpy as np import matplotlib as mpl import matplotlib.pyplot as plt import scapy.all as scapy from collections import defaultdict from sklearn.preprocessing import StandardScaler from sklearn.cluster import KMeans from sklearn.metrics import silhouette_score import pandas as pd import tkinter as tk from tkinter import filedialog, messagebox from scapy.layers.inet import IP, TCP, UDP, ICMP from scapy.layers.dns import DNS, DNSRR from datetime import datetime import time from sklearn.decomposition import PCA # 设置Matplotlib中文显示支持 plt.rcParams['font.sans-serif'] = ['SimHei', 'Microsoft YaHei', 'WenQuanYi Micro Hei'] plt.rcParams['axes.unicode_minus'] = False # 解决负号显示问题 # 设置系统输出编码为UTF-8 sys.stdout = io.TextIOWrapper(sys.stdout.buffer, encoding='utf-8') if os.name == 'nt': # Windows系统专用设置 os.system('chcp 65001') # 切换到UTF-8代码页 # ====================== # 文件选择对话框 # ====================== def select_files(): """创建文件选择对话框""" root = tk.Tk() root.withdraw() # 隐藏主窗口 # 选择PCAP文件 pcap_path = filedialog.askopenfilename( title="选择PCAP文件", filetypes=[("PCAP文件", "*.pcap"), ("PCAPNG文件", "*.pcapng"), ("所有文件", "*.*")] ) if not pcap_path: print("未选择PCAP文件，程序退出") sys.exit(0) # 选择输出目录 output_dir = filedialog.askdirectory(title="选择结果保存位置") if not output_dir: print("未选择输出目录，程序退出") sys.exit(0) return pcap_path, output_dir # ====================== # 1. PCAP文件解析与流重组 # ====================== print("请选择PCAP文件和输出位置...") pcap_path, output_dir = select_files() print(f"解析文件: {pcap_path}") print(f"保存位置: {output_dir}") # 新增：DNS解析缓存 dns_cache = {} # 流式解析大PCAP文件，避免内存溢出 def parse_large_pcap(pcap_path): flows = defaultdict(list) # 使用字典存储网络流 packet_count = 0 # 总包计数器 ip_packet_count = 0 # IP包计数器 global dns_cache # 使用全局DNS缓存 # 使用PcapReader流式读取，避免一次性加载大文件 with scapy.PcapReader(pcap_path) as pcap_reader: for pkt in pcap_reader: packet_count += 1 # 进度显示（每10000个包） if packet_count % 10000 == 0: print(f"已处理 {packet_count} 个包...") # 新增：DNS响应解析 - 修复索引越界问题 if DNS in pkt and pkt[DNS].qr == 1: # 只处理DNS响应 # 获取实际可用的回答记录数量 actual_ancount = len(pkt[DNS].an) if hasattr(pkt[DNS], 'an') else 0 # 使用实际数量而不是ancount字段 for i in range(min(pkt[DNS].ancount, actual_ancount)): rr = pkt[DNS].an[i] if isinstance(rr, DNSRR) and rr.type == 1: # A记录 try: ip = rr.rdata # 正确处理域名格式 domain = rr.rrname.decode('utf-8', errors='ignore').rstrip('.') # 添加到DNS缓存 if ip not in dns_cache: dns_cache[ip] = set() dns_cache[ip].add(domain) except Exception as e: # 忽略解析错误 pass # 仅处理IP层数据包 if IP in pkt: ip_packet_count += 1 ip_layer = pkt[IP] proto_num = ip_layer.proto # 获取协议号 # 初始化端口变量 src_port, dst_port = 0, 0 # 根据协议类型提取端口信息 if proto_num == 6 and TCP in pkt: # TCP协议 src_port = pkt[TCP].sport dst_port = pkt[TCP].dport elif proto_num == 17 and UDP in pkt: # UDP协议 src_port = pkt[UDP].sport dst_port = pkt[UDP].dport elif proto_num == 1 and ICMP in pkt: # ICMP协议 # 使用类型和代码代替端口 src_port = pkt[ICMP].type dst_port = pkt[ICMP].code # 创建五元组作为流的唯一标识 flow_key = (ip_layer.src, ip_layer.dst, src_port, dst_port, proto_num) flows[flow_key].append(pkt) # 将包添加到对应流 print(f"共处理 {packet_count} 个包，其中 {ip_packet_count} 个IP包") print(f"DNS缓存大小: {len(dns_cache)} 个IP到域名的映射") return flows # 解析PCAP文件 flows = parse_large_pcap(pcap_path) print(f"共识别出 {len(flows)} 个网络流") # ====================== # 2. 特征工程 # ====================== print("正在提取流量特征...") features = [] # 存储特征向量 valid_flows = [] # 存储有效流的标识 # 只初始化源时间列表 src_start_times = [] src_end_times = [] # 特征名称列表 feature_names = [ '包数量', '总字节数', '平均包间隔', '包间隔标准差', '平均包长', '包长标准差', '最小包长', '最大包长', '上行比例' ] min_packets = 5 # 流的最小包数阈值 for flow_key, packets in flows.items(): packet_count = len(packets) # 过滤包数不足的流 if packet_count < min_packets: continue # 1. 基础统计特征 total_bytes = sum(len(p) for p in packets) # 总字节数 # 2. 时序特征（包到达间隔） timestamps = np.array([float(p.time) for p in packets]) if packet_count > 1: iat = np.diff(timestamps) # 包间隔 mean_iat = np.mean(iat) # 平均间隔 std_iat = np.std(iat) if len(iat) > 1 else 0 # 间隔标准差 else: mean_iat = std_iat = 0 # 3. 包长特征 pkt_lengths = np.array([len(p) for p in packets]) mean_pkt_len = np.mean(pkt_lengths) # 平均包长 std_pkt_len = np.std(pkt_lengths) if packet_count > 1 else 0 # 包长标准差 min_pkt_len = np.min(pkt_lengths) # 最小包长 max_pkt_len = np.max(pkt_lengths) # 最大包长 # 4. 方向特征（上行比例） src_ip = flow_key[0] # 流源IP dst_ip = flow_key[1] # 流目的IP # 判断数据包方向（1=上行，0=下行） directions = np.array([1 if p[IP].src == src_ip else 0 for p in packets]) up_ratio = np.mean(directions) # 上行包比例 # 源IP发送的包的时间戳 src_pkt_times = [float(p.time) for p in packets if p[IP].src == src_ip] # 计算源的起始和终止时间 src_start = min(src_pkt_times) if src_pkt_times else np.nan src_end = max(src_pkt_times) if src_pkt_times else np.nan # 添加时间信息到列表 src_start_times.append(src_start) src_end_times.append(src_end) # 添加特征向量 features.append([ packet_count, total_bytes, mean_iat, std_iat, mean_pkt_len, std_pkt_len, min_pkt_len, max_pkt_len, up_ratio ]) valid_flows.append(flow_key) # 记录有效流 if not features: # 错误处理：无有效流 print("错误：没有提取到任何有效网络流") print("可能原因：") print("1. 所有流都少于5个包（尝试减小过滤阈值）") print("2. 文件格式不兼容（尝试用Wireshark打开验证）") print("3. 没有IP流量（检查网络捕获配置）") sys.exit(1) feature_matrix = np.array(features) print(f"提取了 {len(features)} 个有效流的 {len(feature_names)} 维特征") # ====================== # 3. 数据标准化 # ====================== print("正在进行数据标准化...") scaler = StandardScaler() scaled_features = scaler.fit_transform(feature_matrix) # Z-score标准化 # ====================== # 4. 肘部法则确定最佳K值 # ====================== print("使用肘部法则确定最佳聚类数...") n_samples = scaled_features.shape[0] # 样本数量 # 动态调整K值范围 if n_samples < 5: print(f"警告：样本数量较少({n_samples})，将使用简化聚类策略") k_range = range(1, min(11, n_samples + 1)) # K上限不超过样本数 else: k_range = range(1, 11) # 测试1-10个聚类 sse = [] # 存储SSE（误差平方和） kmeans_models = {} # 存储不同K值的模型 for k in k_range: # 跳过超过样本数的K值 if k > n_samples: print(f"跳过K={k}（超过样本数{n_samples}）") continue # 训练K-means模型 kmeans = KMeans(n_clusters=k, n_init=10, random_state=42) kmeans.fit(scaled_features) sse.append(kmeans.inertia_) # 记录SSE kmeans_models[k] = kmeans # 存储模型 # 样本不足时的处理 if len(sse) < 2: optimal_k = min(2, n_samples) # 至少2类（不超过样本数） print(f"样本过少，直接设置K={optimal_k}") else: # 绘制肘部法则图 plt.figure(figsize=(10, 6)) plt.plot(list(k_range)[:len(sse)], sse, 'bo-') plt.xlabel('聚类数量 $ K$') plt.ylabel('SSE (误差平方和)') plt.title('肘部法则确定最佳聚类数') plt.grid(True) elbow_path = os.path.join(output_dir, 'elbow_method.png') plt.savefig(elbow_path, dpi=300) plt.close() print(f"肘部法则图已保存为 {elbow_path}") # 自动检测拐点（二阶差分最小值） if len(sse) >= 3: knee_point = np.argmin(np.diff(sse, 2)) + 2 # 计算二阶差分 optimal_k = max(2, min(10, knee_point)) # 确保K在2-10之间 else: optimal_k = max(2, min(3, n_samples)) # 样本少时选择2或3 print(f"自动检测的最佳聚类数: K = {optimal_k}") # ====================== # 5. K-means聚类 # ====================== print(f"正在进行K-means聚类 (K={optimal_k})...") # 调整K值不超过样本数 if optimal_k > n_samples: optimal_k = max(1, n_samples) print(f"调整聚类数为样本数: K = {optimal_k}") # 使用已有模型或新建模型 if optimal_k in kmeans_models: kmeans = kmeans_models[optimal_k] cluster_labels = kmeans.labels_ else: kmeans = KMeans(n_clusters=optimal_k, n_init=10, random_state=42) cluster_labels = kmeans.fit_predict(scaled_features) # 计算轮廓系数（K>1时） if optimal_k > 1: silhouette_avg = silhouette_score(scaled_features, cluster_labels) print(f"轮廓系数: {silhouette_avg:.4f} (接近1表示聚类效果良好)") else: print("聚类数为1，无需计算轮廓系数") # ====================== # 6. 结果分析与可视化（新增域名显示） # ====================== # 创建结果DataFrame result_df = pd.DataFrame({ '源IP': [flow[0] for flow in valid_flows], '目的IP': [flow[1] for flow in valid_flows], '协议': [f"TCP(6)" if flow[4] == 6 else f"UDP(17)" for flow in valid_flows], '聚类标签': cluster_labels, '源起始时间': src_start_times, '源终止时间': src_end_times, '包数量': feature_matrix[:, 0], '总字节数': feature_matrix[:, 1] }) # 新增：添加域名信息 def get_domains(ip): """获取IP对应的域名列表""" domains = dns_cache.get(ip, set()) return ", ".join(domains) if domains else "N/A" result_df['目的域名'] = result_df['目的IP'].apply(get_domains) # 新增：时间格式化函数 def format_timestamp(ts): """将时间戳格式化为可读字符串""" if np.isnan(ts): return "N/A" return datetime.fromtimestamp(ts).strftime("%Y-%m-%d %H:%M:%S.%f")[:-3] # 保留毫秒 # 应用时间格式化 result_df['源起始时间'] = result_df['源起始时间'].apply(format_timestamp) result_df['源终止时间'] = result_df['源终止时间'].apply(format_timestamp) # 只保留需要的列 required_columns = ['源IP', '目的IP', '协议', '源起始时间', '源终止时间', '目的域名', '包数量', '总字节数'] result_df = result_df[required_columns] # 生成结果文件名（带时间戳） timestamp = datetime.now().strftime("%Y%m%d_%H%M%S") output_filename = f'cluster_result_{timestamp}.csv' output_path = os.path.join(output_dir, output_filename) try: result_df.to_csv(output_path, index=False, encoding='utf_8_sig') print(f"聚类结果已保存为 {output_path}") except Exception as e: print(f"保存结果文件失败: {str(e)}") # 尝试临时目录作为备选 temp_dir = os.path.join(os.environ.get('TEMP', ''), 'netflow_clustering') os.makedirs(temp_dir, exist_ok=True) temp_path = os.path.join(temp_dir, output_filename) result_df.to_csv(temp_path, index=False, encoding='utf_8_sig') print(f"聚类结果已保存为 {temp_path}") # 簇统计信息（使用聚类标签列） if '聚类标签' in result_df.columns: cluster_stats = result_df.groupby('聚类标签').agg({ '包数量': 'mean', '总字节数': 'mean' }).rename(columns={ '包数量': '平均包数量', '总字节数': '平均总字节数' }) print("\n各用户簇流量特征统计:") print(cluster_stats.round(2)) else: print("警告：结果中缺少聚类标签列，无法进行簇统计") # 使用PCA降维可视化 pca = PCA(n_components=2) # 降维到2D principal_components = pca.fit_transform(scaled_features) plt.figure(figsize=(12, 8)) scatter = plt.scatter( principal_components[:, 0], principal_components[:, 1], c=cluster_labels, # 按簇着色 cmap='viridis', alpha=0.6 ) # 标记簇中心 centers = pca.transform(kmeans.cluster_centers_) plt.scatter( centers[:, 0], centers[:, 1], c='red', s=200, alpha=0.9, marker='X', edgecolor='black' ) plt.colorbar(scatter, label='用户簇') plt.xlabel('主成分 1') plt.ylabel('主成分 2') plt.title(f'校园网用户流量聚类 (K={optimal_k})') plt.grid(alpha=0.3) # 可视化文件保存到输出目录 vis_filename = f'cluster_visualization_{timestamp}.png' vis_path = os.path.join(output_dir, vis_filename) plt.savefig(vis_path, dpi=300) plt.close() print(f"聚类可视化图已保存为 {vis_path}") # 最终输出 print("\n聚类完成! 结果文件已保存:") print(f"- {elbow_path}: 肘部法则图") print(f"- {output_path}: 详细聚类结果") print(f"- {vis_path}: 聚类可视化") 根据这段程序画出pcap分包流程
07-15
for timestamp, packet in pc: # 解析数据包 eth = parse_ethernet(packet) ip = parse_ip(eth.payload) tcp = parse_tcp(ip.payload) # 流量分析 update_stats(ip.src, ip.dst, tcp.sport, tcp.dport) ...
Libpcap File Format
runningya的专栏
05-15 2667
Libpcap File Format<br /> <br />The libpcap file format is the main capture file format used in TcpDump/WinDump, Wireshark/TShark, snort, and many other networking tools. <br /> <br />目录Libpcap File FormatOverviewFile FormatGlobal HeaderRecord (Packet) Hea
rtp_parse_one_packet
sunshineywz的博客
06-09 372
static int rtp_parse_one_packet(RTPDemuxContext *s, AVPacket *pkt, uint8_t **bufptr, int len) { uint8_t *buf = bufptr ? *bufptr : NULL; int flags = 0; uint32_t timestamp; int rv = 0; if (!buf) { .
PCAP文件格式分析(做抓包软件之必备)
青青子衿
01-01 2万+
PCAP文件格式分析(做抓包软件之必备)一、基本格式：文件头 数据包头 数据报 数据包头 数据报......二、文件头结构体：sturct pcap_file_header{DWORD              magic;      WORD                 version_major;      WORD                 vers
pcap文件格式及文件解析
weixin_30909575的博客
06-23 990
pcap文件格式及文件解析 第一部分：PCAP包文件格式 一基本格式： 文件头数据包头数据报数据包头数据报...... 二、文件头： 文件头结构体sturctpcap_file_header{DWORDmagic;DWORDversion...
pcap文件格式
热门推荐
Joyce
05-22 2万+
在Linux里，pcap可以说是一种通用的数据流格式，很多开源的项目都需要用到这种格式的文件。 ROHC的库里，测试脚本的入口参数之一就是一个pcap格式的数据流文件。 如果清楚了pcap的格式，就可以自己去生成数据流文件，从而去使用ROHC的库。
电赛历年试题&经验分享.7z
最新发布
08-12
电赛历年试题&经验分享.7z
PLC立体车库智能仿真系统：基于博途V15的西门子1200PLC控制与触摸屏操作 - PLC编程 v1.5
08-12
基于博途V15软件平台构建的3×2立体车库智能仿真系统。该系统采用西门子1200PLC进行控制，配备触摸屏操作界面，实现了自动出入库、电梯式小车移动以及变频器输出等功能。文中展示了详细的程序注释和模块化编程方法，如使用TON定时器实现载车板升降的速度控制，利用FC块封装车辆检测模块，通过GRAPH语言编写自动出入库逻辑等。此外，还提到了系统的IO表设计和故障处理机制，以及未来可能加入AI算法进行智能车位分配的设想。 适合人群：对PLC编程、工业自动化控制系统感兴趣的工程师和技术爱好者。 使用场景及目标：适用于学习和研究PLC编程技巧、工业自动化控制系统的仿真开发，帮助理解和掌握PLC控制逻辑、触摸屏交互设计、变频器仿真等关键技术。 其他说明：该项目不仅提供了完整的源代码和详细的注释，还能在博途PLCSIM Advanced环境中进行全仿真测试，为实际工程应用提供宝贵的经验和参考。
LuWu-陆吾，一个简单的无代码深度学习平台
08-12
资源下载链接为： https://pan.quark.cn/s/2f73b93e37c3 LuWu——陆吾，一个简单的无代码深度学习平台。（最新、最全版本！打开链接下载即可用！）
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值