leone的博客

Mac 环境 Hadoop 提交 job 报错 /bin/bash: /bin/java: No such file or directory➜ hadoop-2.9.2 bin/hadoop jar /Users/leone/Documents/hadoop-wc.jar com.leone.bigdata.hadoop.mr.wc.MrHelloWord /data/words.log /output /Users/leone/Documents/hadoop-wc.jar20/06/20 20:

HadoopHadoop背景什么是HADOOPHADOOP是apache旗下的一套开源软件平台HADOOP提供利用服务器集群，根据用户的自定义业务逻辑，对海量数据进行分布式处理,HADOOP的核心组件有:HDFS（分布式文件系统）、YARN（运算资源调度系统）、MAPREDUCE（分布式运算编程框架），广义上来说，HADOOP通常是指一个更广泛的概念——HADOOP生态圈HADOOP产生背...

Hadoop HA什么是 HAHA是High Available缩写，是双机集群系统简称，指高可用性集群，是保证业务连续性的有效解决方案，一般有两个或两个以上的节点，且分为活动节点及备用节点。通常把正在执行业务的称为活动节点，而作为活动节点的一个备份的则称为备用节点。当活动节点出现问题，导致正在运行的业务（任务）不能正常运行时，备用节点此时就会侦测到，并立即接续活动节点来执行业务。从而实现业务...

编译 Hadoop系统环境系统： CentOS-7.3_x64protobuf: protobuf-2.5.0maven： maven-3.6.0hadoop: hadoop-2.9.2java： jdk1.8.0_131findbugs： findbugs-1.3.9准备工作# 安装编译需要的依赖库yum install -y lzo-devel zlib-devel au...

Windows下编译 Hadoop-2.9.2系统环境系统： Windows 10 10.0_x64maven： Apache Maven 3.6.0jdk: jdk_1.8.0_201ProtocolBuffer： portoc-2.5.0zlib： 1.2.3-libOpenSSL： 1_0_2rcmake： 3.14.3-win64-x64Cygwin： 2.897_x86...

Ubuntu 下编译 Hadoop-2.9.2系统环境系统： ubuntu-18.10-desktop-amd64maven： Apache Maven 3.6.0jdk: jdk_1.8.0_201ProtocolBuffer： portoc-2.5.0OpenSSL： OpenSSL 1.1.1cmake： cmake3.12.1hadoop： hadoop-2.9.2安装...

Mac 下编译 Hadoop-2.9.2系统环境系统： Mac OS_10.14.4maven： Apache Maven 3.6.0jdk: jdk_1.8.0_201ProtocolBuffer： portoc-2.5.0zlib： 1.2.3-libOpenSSL： 1_0_2rcmale： 3.14.3-win64-x64Cygwin： 2.897_x86_64hado...