
BigData
michaelwrong
这个作者很懒,什么都没留下…
展开
-
基于Vert.x的自定义通信协议解析(粘包、拆包)
公司服务于农业物联网行业,由我负责开发与.net代理服务(代理控制器)的通信,根据前期的建设情况,选择Socket自由协议通信,报文投标首字节68H、2字节长度、68H,末尾1字节校验位+16H。我用Vertx创建TCP client监听代理服务,实现通信。处理器接收buffer,我需要对buffer进行解包,由于是自由协议,无法自动实现粘包、拆包的处理,于是自己写了部分代码,也就是本文的重点。/** * description: BufferWrapper <br> * date原创 2020-06-11 08:47:48 · 2657 阅读 · 1 评论 -
zookeeper集群部署配置dataDir路径踩坑记录
zookeeper集群部署要求,在每台机器上修改myid下的server标识,例如dataDir=/home/jsp/data/zookeeperdataLogDir=/home/jsp/logs/zookeeperserver.1=s100:2888:3888server.2=s200:2888:3888server.3=s300:2888:3888其中dataDir的目录不支...原创 2019-04-10 10:54:59 · 6594 阅读 · 1 评论 -
农业物联网平台数据中心研发历程
基于Hadoop的分布式存储计算框架,我于2016年便借助51cto徐培成老师的培训接触,老实讲只学到了些皮毛,倒是借助徐老师的Java基础提升了自己对面向对象编程的理解。进入2019年,由于公司业务的需要,规划建设农业物联网平台,解决数万个传感器数据存储、查询分析的需求。从当前的数据量看,其实也并不算大,大约千万条的级别,但考虑之后的扩展性及全省推广之后的大数据量接入,决定走分布式框架。于是首选...原创 2019-04-23 08:27:40 · 532 阅读 · 0 评论