网络协议抓包分析与爬虫入门

最新推荐文章于 2025-12-06 19:00:36 发布

原创

最新推荐文章于 2025-12-06 19:00:36 发布 · 1.6k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#网络 #http #网络协议

本文介绍了使用Wireshark进行网络协议抓包分析，特别是在抓包疯狂聊天应用时，通过UDP端口7001进行数据传输的细节。接着，文章概述了爬虫的基本原理和实现步骤，并提供了爬取http://www.51mxd.cn/网站的实践案例。最后，展示了如何爬取重庆交通大学新闻网的新闻标题，总结了网络爬虫在提高效率方面的重要性。

网络协议抓包分析与爬虫入门

一、Wireshark抓包疯狂聊天
二、爬虫入门
- - 原理
  - 代码
  - 爬
  - 结果
三、爬重交大新闻网
- - 代码
  - 结果
四、总结

一、Wireshark抓包疯狂聊天

1.打开疯狂聊天，发送信息测试连通性

在这里插入图片描述

2.Wireshark抓包

通过分析程序源码可以看到程序通过UDP向255.255.255.255发送信息
在这里插入图片描述

在wireshark中输入筛选ip.dst==255.255.255.255进行过滤

3.分析

在这里插入图片描述

1.首先我们看端口，端口号是7001，通过分析源码可以得知端口号为房间号+5000，我们房间号是2001，无误。
2.当我们发送全英文xin的时候，我们可以直接看到信息。
3.当发送中文加数字的时候，，只能看到**……123**，我们通过字符转换工具以及分析代码可以发现中文经过了utf-8转换，一个中文占三个字节。对比前面全英文可以发现，英文只占一个字节。

二、爬虫入门

爬 http://www.51mxd.cn/ 练习题

原理

1.爬虫从初始网页的URL开始,获取初始网页上的URL
2.在抓取网页的过程中，不断从当前页面上抽取新的URL放X队列
3.直到满足系统给定的停止条件

代码

import requests
from bs4 import BeautifulSoup
import csv
from tqdm import tqdm

# 模拟浏览器访问
Headers = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3741.400 QQBrowser/10.5.3863.400'

# 表头
csvHeaders = ['题号', '难度', '标题', '通过率', '通过数/总提交数']

# 题目数据
subjects = []

# 爬取题目
print('题目信息爬取中：\n')
for pages in tqdm(range(1, 11 + 1)):

    r = requests.get(f'http://www.51mxd.cn/problemset.php-page={pages}.htm', Headers)

    r.raise_for_status(