python实现基于websocket协议的网络爬虫

WebSocket是一种在单个TCP连接上进行全双工通信的协议,简单来说就是建立一个TCP长连接之后,你可以服务器随时可以给客户端发送消息,客户端随时可以给服务器发送消息,而以前只能是客户端给服务器发送消息,服务器返回消息。

 

websocket协议我们简称为ws,ws的网络爬虫其原理和普通爬虫没有其他区别,都是模拟客户端与服务器进行对话,不同的是我们要用到websocket库。

 

测试网址是websocket官网提供的demo,http://demos.kaazing.com/echo/index.html

 

 

 

我们抓包看看ws协议的通信特点:

 

 

 

一次连接双向通信,在浏览器开发者工具中,点击ws数据包在弹出的详情中点击Frames,这里面是通信的数据。知道了大致的工作原理以后我们来实现一个简单的无验证、无加密内容的ws爬虫,目标网址还是上面那个。

 

我们实现和目标网址之前的数据交互,常见方法如下:

# -*- coding:utf-8 -*-

import webso
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值