
Hadoop 笔记
文章平均质量分 60
放心飞吧
不可知论者的不懈努力
展开
-
【Hadoop】执行start-dfs.sh出错
问题1:hadoop2.7.3部署警告: Unable to load native-hadoop library for your platform该警告通过如下方法消除了:dream361@ubuntu:/usr/local/hadoop/sbin$ vim /usr/local/hadoop/etc/hadoop/hadoop-env.sh 修改HADOOP_OPTS:expor原创 2017-02-26 10:55:03 · 8820 阅读 · 0 评论 -
【Hadoop】集群配置要点
Hadoop集群 环境搭建总结。原创 2017-02-28 17:56:14 · 850 阅读 · 0 评论 -
【Zookeeper】3.4.9 基本配置
zookeeper 3.4.9 基本配置原创 2017-03-03 10:11:47 · 466 阅读 · 0 评论 -
【Zookeeper】角色、顺序号、读写机制
角色leader 负责进行投票的发起和决议,更新系统状态learner 包括follower和observerfollower用于接受客户端请求并向客户端返回结果,在选举过程中参与投票observer可以接受客户端连接,并将请求转发给leader,但observer不参加投票过程,只同步 leader的状态,observer是为了扩展系统,提高读取速度client 请求发起方原创 2017-03-03 10:26:31 · 1403 阅读 · 0 评论 -
【Zookeeper】应用场景
一、场景配置管理配置的管理在分布式应用环境中很常见,例如同一个应用系统需要多台server运行,但是他们运行的应用系统的某些配置项是相同的,如果要修改这些相同的配置项,那么就必须同时修改每台运行这应用系统的server,这样非常麻烦而且容易出错。将配置信息保存在Zookeeper的某个目录节点中,然后让所有需要修改的server监控配置信息的变化,一旦配置信息发生变化,每台应用机器都会原创 2017-03-03 11:19:13 · 303 阅读 · 0 评论 -
【Hadoop】NameNode
HDFS原创 2017-03-07 18:07:17 · 500 阅读 · 0 评论 -
【Hadoop】 2.7.3版本 hdfs 命令行使用
1.查看HDFS下目录结构及文件dream361@ubuntu:~$ hdfs dfs -ls -R /2.创建文件目录/tmpdream361@ubuntu:~$ hdfs dfs -mkdir /tmp3.将当前目录下a.txts复制到HDFS文件系统dream361@ubuntu:~$ hdfs dfs -put a.txt /inputFile4.列出/tmp目录dream原创 2017-02-26 11:40:35 · 2048 阅读 · 0 评论 -
【Hadoop】HDFS的java客户端编写
HDFS JAVA客户端原创 2017-03-08 19:53:37 · 2601 阅读 · 0 评论