python实现基于websocket协议的网络爬虫

WebSocket是一种在单个TCP连接上进行全双工通信的协议，简单来说就是建立一个TCP长连接之后，你可以服务器随时可以给客户端发送消息，客户端随时可以给服务器发送消息，而以前只能是客户端给服务器发送消息，服务器返回消息。

 

websocket协议我们简称为ws，ws的网络爬虫其原理和普通爬虫没有其他区别，都是模拟客户端与服务器进行对话，不同的是我们要用到websocket库。

 

测试网址是websocket官网提供的demo，http://demos.kaazing.com/echo/index.html

 

 

 

我们抓包看看ws协议的通信特点：

 

 

 

一次连接双向通信，在浏览器开发者工具中，点击ws数据包在弹出的详情中点击Frames，这里面是通信的数据。知道了大致的工作原理以后我们来实现一个简单的无验证、无加密内容的ws爬虫，目标网址还是上面那个。

 

我们实现和目标网址之前的数据交互，常见方法如下：

# -*- coding：utf-8 -*-

import webso