本文介绍了在Java网络爬虫中遇到的问题，即Chrome的网络抓包工具无法捕获登录表单提交的数据。作者转向使用tcpdump进行网络抓包，并通过wireshark进行数据包分析。在Ubuntu环境下，由于fiddler支持不佳，作者详细解释了tcpdump的参数用法，以及如何保存抓包数据为cap文件供wireshark分析。通过wireshark的过滤功能，作者成功获取了所需的数据包。
最近打算通过学校的某某系统抓取一下每个学生的个人信息，由于需要进行模拟登录，所以就要对登录页面进行post参数的提交。但是在进行网络抓包的过程中，使用chrome自带的网络抓包分析工具(也就是F12)发现每次在进行登录提交表格之后，chrome并不能将所需要提交的参数表单抓取下来。
问了学长原因，觉得是登录成功之后因为页面的跳转需要进行刷新，所以就将表单提交的那部分数据给刷掉了。学长提供的解决办法是使用fiddler网络抓包工具进行抓包及分析。但在查阅相关资料之后发现fiddler对Linux操作系统(本人开发环境Ubuntu 16.04)的支持并不是很好。所以我使用了tcpdump进行网络抓包，结合wireshark进行数据包的分析。
需求如下：
如图，提交登录表单的页面，然后使用chrome自带抓包工具进行网络抓包：
这里面并没有我想要的东西。
tcpdump的使用tcpdump [-i 网卡] -nnAX ‘表达式’
各参数说明如下：-i：interface 监听的网卡。
-nn：表示以ip和port的方式显示来源主机和目的主机，而不是用主机名和
最低0.47元/天 解锁文章
扫一扫
1162
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
