
分布式
文章平均质量分 87
凭江仙
踏踏实实走路,认认真真做人
展开
-
windows + anaconda 安装PySpark3.0.1
Spark作为分布式内存计算框架,可以广泛应用在数据处理、分析等应用场景。因此,希望借助Spark高性能的处理项目中的数据,搭建windows+Spark3.0.1开发环境,深入了解Spark的处理能力与实现机制。原创 2022-11-24 19:59:53 · 1604 阅读 · 1 评论 -
HBase standalone方式部署
软件版本ubuntu20,hbase-2.4.0,ava-11-openjdk-amd64hbase-2.4.0可以在https://mirror.bit.edu.cn/apache/hbase/中下载hbase-2.4.0-bin.tar.gz解压HBase使用命令解压到安装目录,我的目录为/home/linjx/Desktop/installed/hbase-2.4.0tar -xzvf hbase-2.4.0-bin.tar.gz修改HBase配置一、修改conf/hba原创 2021-01-25 21:20:55 · 394 阅读 · 0 评论 -
python-面包店算法实现多线程锁
#coding: UTF-8import threadingimport timeimport random# 面包店算法实现线程锁# 争夺的资源incNum = 0class BakeryLock: def __init__(self, threadCount): # 取得的号码 self.number = [0 for _ in range(threadCount)] # 是否正在取号 self.enterin.原创 2020-05-17 21:40:07 · 435 阅读 · 0 评论 -
分布式一致性算法Paxos JAVA多线程方式实现
github地址:https://github.com/hellolinjx/PaxosImpl/// 准备提案过程,获得大多数决策者支持后进入确认提案阶段。 public synchronized boolean prepare(){ PrepareResult prepareResult = null; boolean isContinue = true;原创 2017-10-22 23:29:46 · 2012 阅读 · 0 评论 -
zooKeeper使用NIO通信中解决tcp粘包、拆包的方法
Tcp协议是个“流协议”,流就是没有界限的一串数据。Tcp底层并不关心上层业务数据,它会根据Tcp缓冲区的实际情况进行包的划分。所以,在业务上一个完整的数据,可能会被拆分成多个Tcp数据包进行传输,也可能会将业务上的多个数据打包为一个数据包进行传输。所以,必须在Tcp的上层设计应用协议来解决。业界主流协议的解决方案,可以归纳为如下四种:1、消息定长。例如每个报文的大小固定为200字节,如果原创 2017-11-27 19:58:29 · 1228 阅读 · 1 评论 -
三种java对象跨语言序列化反序列化实现与效率对比-上
java对象常用的跨语言序列化反序列化主要有三种:一是xml形式;二是json形式;三是protobuf字节流形式。本篇文章主要介绍这三种序列化反序列化方式的实现和其效率对比。 首先介绍xml形式的序列化与反序列化,使用jaxb来实现。JAXB能够使用Jackson对JAXB注解的支持实现(jackson-module-jaxb-annotations),既方便生成XML,也方便生成...原创 2018-04-22 21:46:00 · 5482 阅读 · 0 评论