queue可作为distribute-webmagic的任务队列,也可作为独立的消息去重中间件
在distribute-webmagic中的架构图:
该组件通讯基于netty,缓存基于ehcache,介绍以下核心类
EhCache 封装后的缓存
QueueClient 客户端启动和发送数据
ConnectionListener 客户端断线自动重连
NettyUtils 基于tcp的自定义协议和字符转码
SelfDefineEncodeHandler 解决拆包装包问题
StandardServerHandler 协议类
QueueServer 服务端启动
FilePath 文件配置路径
TaskQueue 任务队列