大数据/云计算/分布式计算
关注
分享
扫一扫
大数据，云计算，分布式计算。
zhangphil
zhangphil@live.com
展开
-
ZooKeeper基础概念
ZooKeeper项目起源ZooKeeper起源于Yahoo的研究项目。研究人员发现，Yahoo内部很多大型系统需要依赖一个系统进行分布式协调，但这些系统往往都存在分布式单点问题。因此Yahoo研究人员试图研发一套通用的、无单点问题的分布式协调框架，以便研发人员将精力集中在业务逻辑上。分布式系统概述：分布式系统是跨越多个物理机器，独立运行的多个软件系统所组成大系统。分布式系统就比如一群人...原创 2019-11-01 23:09:28 · 339 阅读 · 0 评论 -
基于ZkClient往zookeeper分布式集群节点写入数据
zookeeper自身的ZooKeeper构建一个连接，然后往zookeeper节点写入数据，但是代码写法略显复杂。现在使用github上的一个开源项目ZkClienthttps://github.com/sgroschupf/zkclient可以大大简化往zookeeper分布式集群中的节点写入数据的复杂度。首先需要在pom.xml添加引用： <depend...原创 2019-08-25 23:06:13 · 1461 阅读 · 0 评论 -
zookeeper启动错误：Invalid config, exiting abnormally
zookeeper启动错误：Invalid config, exiting abnormally原因是在conf下面的zoo.cfg写配置时候，server.x=x.x.x.x:x:x 后面多了空格。解决方案：删除多余空格即可。原创 2019-08-24 23:27:47 · 10022 阅读 · 4 评论 -
分布式MQTT消息订阅-发布框架：高可用性ActiveMQ
分布式MQTT消息订阅-发布框架：高可用性ActiveMQActiveMQ是MQTT的一种实现。ActiveMQ基于JMS。ActiveMQ开发包下载地址：http://activemq.apache.org/download.htmlActiveMQ最适合做消息推送。国内很多厂商基于ActiveMQ改造出多种消息推送平台。下载完成ActiveMQ压缩包后解压，解压后直接在Java环境中运...原创 2019-07-05 23:20:27 · 4777 阅读 · 1 评论 -
ActiveMQ安装配置和使用简例
本文作者：Zhang Phil原文链接：ActiveMQ安装配置和使用简例ActiveMQ是一套JMS（Java Message Service）开源消息服务实现的组件。以Windows操作系统为例，本文简述了ActiveMQ的安装配置和使用简例。消息服务是互联网应用的最基本功能，只要是互联网应用，就少不了消息通信。而ActiveMQ是一个相对比较成熟稳定的JMS消息服务组件，原创 2015-09-02 08:49:30 · 12327 阅读 · 2 评论 -
zookeeper集群节点中Java程序代码写入节点数据
基于IDEA开发。需要添加对zookeeper的maven引用。 <dependencies> <dependency> <groupId>org.apache.zookeeper</groupId> <artifactId>zookeeper</artif...原创 2019-08-22 23:08:34 · 2398 阅读 · 0 评论 -
Windows 10环境zookeeper单机伪集群部署和配置
Windows 10环境zookeeper单机伪集群部署和配置1，首先到zookeeper项目主页地址下载项目包，https://archive.apache.org/dist/zookeeper/本文基于zookeeper-3.5.52，本例目的是在一台Windows 10（64位）机器上，部署三个zookeeper节点，因此把第1步解压后的包：复...原创 2019-08-21 23:29:49 · 2227 阅读 · 1 评论 -
大数据：Hadoop入门经典案例wordcount单词统计Java代码实现
大数据：Hadoop入门经典案例wordcount单词统计Java代码实现，Windows 10环境，IntelliJ IDEA集成开发环境。附1通过命令行形式实现大数据平台Hadoop下单词统计功能。现在通过自己编写Java代码实现。本例基于Hadoop 2.8.3，Windows 10（64位）。开发环境是Windows下的IntelliJ IDEA。1，首先需要为IntelliJ I...原创 2019-08-16 23:57:27 · 5081 阅读 · 2 评论 -
大数据：Hadoop基础常识hive，hbase，MapReduce，Spark
大数据：Hadoop基础常识hive，hbase，MapReduce，SparkHadoop是根据Google三大论文为基础研发的，Google 三大论文分别是: MapReduce、 GFS和BigTable。Hadoop的核心是两个部分：一、分布式存储（HDFS，Hadoop Distributed File System）。二、分布式计算（MapReduce）。MapRed...原创 2019-08-11 23:44:47 · 1979 阅读 · 0 评论 -
大数据：Hadoop入门案例，命令行wordcount统计
大数据：Hadoop入门案例，命令行wordcount统计以Hadoop自带的wordcount为例，说明如何在Windows环境下，统计若干文件中的单词出现次数。上传要统计的文件。假设在计算机本地有三个文件，f1.txt，f2.txt，f3.txt，这个三个文件位于E:/myfile文件夹下，需要把myfile整个文件上传到HDFS上。本例目的就是统计存放到HDFS中的f1,f2,f3这...原创 2019-08-10 23:16:59 · 2553 阅读 · 0 评论 -
大数据：Hadoop文件操作HDFS常用命令（一）
大数据：Hadoop文件操作HDFS常用命令（一）1、创建目录。在HDFS中创建一个文件目录：hadoop dfs -mkdir2、查看文件结构目录：hdfs dfs -ls -R /例如，在HDFS中创建一个test_dir的文件目录，然后查看：如果查看具体某一个文件目录下的文件层次，则为：hadoop fs -ls /mydirmyd...原创 2019-08-09 23:03:26 · 31251 阅读 · 3 评论 -
大数据：Windows环境下搭建安装Hadoop详解
基于Windows10 64位。Hadoop-2.8.3，winutils-2.8.3。1，下载Hadoop发布的稳定包：https://archive.apache.org/dist/hadoop/common/下载后把文件解压，如图：本文基于Hadoop版本hadoop-2.8.32，当前电脑要安装有java的jdk，配置java环境和java_home。我没修...原创 2019-08-08 23:18:27 · 7977 阅读 · 3 评论 -
Hadoop client NameNode、DataNode节点读写文件过程
Hadoop client NameNode、DataNode节点读写文件过程读：写：原创 2019-08-02 23:03:26 · 673 阅读 · 0 评论 -
zookeeper分布式集群中Curator的NodeCache监测特定节点数据更新添加删除
zookeeper分布式集群中Curator的NodeCache监测特定节点数据更新添加删除import org.apache.curator.RetryPolicy;import org.apache.curator.framework.CuratorFramework;import org.apache.curator.framework.CuratorFrameworkFac...原创 2019-09-09 23:12:08 · 1193 阅读 · 0 评论 -
zookeeper大规模分布式集群中任一单点设备上线下线心跳感知系统（一）
zookeeper大规模分布式集群中任一单点设备上线下线心跳感知系统（一）分布式集群中，为了能全局感知任一单点设备的存活状态，经常有心跳感知系统的设计需求，要实现这样的心跳感知。常规的做法无法就是保持一个Socket长连接或者http短连接，但是这样的实现手法往往扩展性极差，且问题非常多，维护成本很高。而zookeeper恰恰就是这种分布式集群大规模设备心跳感知系统的最佳“框架”性解决方案...原创 2019-10-09 23:52:53 · 760 阅读 · 0 评论 -
zookeeper分布式集群Curator分布式锁InterProcessMutex
zookeeper分布式集群Curator分布式锁InterProcessMuteximport org.apache.curator.RetryPolicy;import org.apache.curator.framework.CuratorFramework;import org.apache.curator.framework.CuratorFrameworkFactory;i...原创 2019-10-07 23:18:03 · 782 阅读 · 0 评论 -
zookeeper分布式集群Curator的分布式long型计数器DistributedAtomicLong
zookeeper分布式集群Curator的分布式long型计数器DistributedAtomicLong同样作为分布式计数器，DistributedAtomicLong比SharedCount更简单易用。import org.apache.curator.RetryPolicy;import org.apache.curator.framework.CuratorFramew...原创 2019-10-05 23:06:01 · 858 阅读 · 0 评论 -
zookeeper分布式集群Curator的分布式整型int计数器SharedCount
zookeeper分布式集群Curator的分布式整型int计数器SharedCountimport org.apache.curator.RetryPolicy;import org.apache.curator.framework.CuratorFramework;import org.apache.curator.framework.CuratorFrameworkFactory;...原创 2019-10-04 23:28:41 · 636 阅读 · 0 评论 -
Android移动设备远程接入ZooKeeper分布式集群
Android移动设备连接接入到zookeeper分布式集群在Android Studio中添加引用依赖：compile group:'org.apache.zookeeper', name:'zookeeper', version:'3.5.5'Android端代码：package zhangphil.zookeeper;import androidx.app...原创 2019-10-15 23:51:34 · 1083 阅读 · 0 评论 -
zookeeper分布式集群中基于Curator实现单点设备上线下线心跳感知系统（二）
zookeeper分布式集群中基于Curator实现单点设备上线下线心跳感知系统（二）假设该设备A处于分布式集群中，且需要实时感知分布式集群中其他设备的上线、下线，存活状态：import org.apache.curator.RetryPolicy;import org.apache.curator.framework.CuratorFramework;import org.a...原创 2019-10-13 23:32:41 · 1183 阅读 · 1 评论 -
zookeeper分布式集群Curator的LeaderSelector节点选举Leader
ZooKeeper分布式集群Curator的LeaderSelector节点选举Leaderimport org.apache.curator.RetryPolicy;import org.apache.curator.framework.CuratorFramework;import org.apache.curator.framework.CuratorFrameworkFactor...原创 2019-09-28 23:55:04 · 1021 阅读 · 0 评论 -
zookeeper分布式集群Curator的LeaderLatch节点选举Leader
zookeeper分布式集群Curator的LeaderLatch节点选举Leaderimport org.apache.curator.RetryPolicy;import org.apache.curator.framework.CuratorFramework;import org.apache.curator.framework.CuratorFrameworkFactor...原创 2019-09-18 23:19:05 · 1204 阅读 · 0 评论 -
zookeeper分布式集群中Curator的PathChildrenCache监测节点数据更新添加删除
zookeeper分布式集群中Curator的PathChildrenCache监测节点数据更新添加删除import org.apache.curator.RetryPolicy;import org.apache.curator.framework.CuratorFramework;import org.apache.curator.framework.CuratorFramew...原创 2019-09-11 23:38:41 · 1514 阅读 · 0 评论 -
zookeeper分布式集群中Curator的TreeCache监测节点数据更新添加删除
zookeeper分布式集群中Curator的TreeCache监测节点数据更新添加删除import org.apache.curator.RetryPolicy;import org.apache.curator.framework.CuratorFramework;import org.apache.curator.framework.CuratorFrameworkFacto...原创 2019-09-11 00:04:50 · 1952 阅读 · 0 评论