hou09tian的博客

如果找到HTML格式的数据，会对它进行解析，在网格视图中显示出来，如图6所示。XML Inspector可以把选中的请求数据和响应数据解释成XML格式的字符串，显示XML文档节点的树形图。JSON Inspector会把选中的请求数据或者响应数据解释为JSON格式的字符串，以属性视图显示JSON对象节点，如图11所示。Raw Inspector可以查看完整的请求和响应，包括文本格式的header和body，如图9所示。Auth Inspector会显示请求数据和响应数据的授权及认证，如图8所示。

在之前提到，inspector用来显示界面左侧抓取到的数据列表中选定数据的请求和响应。当打开inspector之后，可以看到它的界面分为上下两部分，其中上面部分是请求数据的inspector，下面是响应数据的inspector。这两部分之间有一条很细的蓝色分割线，如图3所示，将鼠标放在该分割线上，鼠标形状发生变化，此时可以拖动鼠标来改变这两部分的大小，鼠标双击该分割线可以使得响应inspector最大化，再次双击该分割线，界面恢复原状。图3 分割线。

Fiddler的数据列表位于主界面的左下角，用于显示抓取到数据的概要。

在手机的浏览器中输入“192.168.1.106:8888”（图5①），其中，“192.168.1.106”时在“2.1 确定运行Fiddler电脑的IP地址”中查看的电脑IP地址，“8888”是在“1 配置Fiddler”中配置的Fiddler的监听端口。选择安卓手机中的“设置->WLAN”，在“WLAN”设置的窗口中，长按手机连接的WLAN网络，如图9①所示，之后会显示图9②所示的菜单，选择“修改网络”选项。然后，输入证书名称（图8①），并选择“凭据用途”（图8②），点击“确定”按键（图8③）。...

使用Fiddler可以抓取安卓手机的上网数据，主要分为三步：一是配置Fiddler；二是在手机中安装Fiddler的证书；三是配置手机的网络。

之后，在“设置”窗口中，选择“高级”，如图7①所示，接下来选择“安全与隐私”中的“证书管理”，如图7②所示。图7 安全与隐私在“证书”对话框中，选择“受信任的根证书颁发机构”选项卡（图8①），之后选择右下角的“导入”按键（图8②）。图8 “证书”对话框然后，在“证书导入向导”对话框中点击“下一页”，如图9所示。图9 证书导入向导接下来，选择“浏览”按键（图10①），选择在“3.2 产生Fiddler的证书。...

1 Fiddler简介Fiddler是一个http协议调试代理工具，它能够记录并检查浏览器和服务器之间的通过http协议进行通信的数据。正常情况下，当我们访问某个网站时，由浏览器直接与服务器网站进行通信，如图1所示。图1 浏览器与服务器的正常通信Fiddler可以作为浏览器与服务器的中介，即浏览器将请求数据传递给Fiddler，再由Fiddler将请求转发给服务器；而从服务器发送过来的响应数据首先送到Fiddler，再由Fiddler转发给浏览器。......

在弹出的“Available Package”对话框中，输入“BeautifulSoup4”，如图13①所示，之后选中该模块，如图13②所示，最后点击左下角的“install package”，安装BeautifulSoup库，如图13所示。之后，在打开的“Settings”对话框中选择左侧的“Project:XXX->Python Interpreter”，如图12①所示，之后点击对话框右侧的“＋”号，如图12②所示。点击图14中的“OK”按键，关闭该窗口，此时代码已经不再报错，如图15所示。......

Beautiful Soup是一个可以从HTML或XML文件中提取数据的Python库。它能够实现惯用的文档导航，查找，修改文档的方式。Beautiful Soup会帮你节省数小时甚至数天的工作时间。Beautiful Soup支持Python标准库中的HTML解析器,还支持一些第三方的解析器，这些第三方的解析器包括“lxml”和“html5lib”等。在IDLE和PyCharm中使用Beautiful Soup时，需要安装相应的库及第三方解析器。......