hadoop
大龄下岗程序员
大龄下岗程序员,将毕生绝学,经验,技巧,职场套路,毫无保留全部分享
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
hadoop中NameNode、DataNode和Client三者之间协作关系及通信方式介绍
1)NameNode、DataNode和Client NameNode可以看作是分布式文件系统中的管理者,主要负责管理文件系统的命名空间、集群配置信息和存储块的复制等。NameNode会将文件系统的Meta-data存储在内存中,这些信息主要包括了文件信息、每一个文件对应的文件块的信息和每一个文件块在DataNode的信息等。 DataNode是文件存储的基本单元,它将Block存储在原创 2015-03-31 12:40:47 · 2763 阅读 · 0 评论 -
su: incorrect password
在使用普通用户登录的状态下使用su (su -)命令 切换到root用户时提示:su: incorrect password,但是直接使用root用户和密码可以登录操作系统。 解决方案: 可能跟su这个执行文件的属性有关。 The permissions should be "-rwsr-xr-x" 而自己的系统中su 的属性为 "-rwxr-xr-x" 也就是说,s原创 2015-04-07 09:50:01 · 2778 阅读 · 0 评论 -
ssh连接linux服务器只显示-bash-4.1#
在linux shell中不显示路径了,显示为-bash-4.1#用起来很不方便。 如何改为显示路径的shell呢? 步骤如下: vim ~/.bash_profile (不用管.bash_profile这个文件有几个,自己新建一个也是可以的) 在最后加上 export PS1='[\u@\h \W]\$' 然后执行 source ~/.bash_profile 这样shell就可以显示路径了。 注:如果出现退出重新登录,又不显示了,此时需要在两个用户中都安照以上步骤进行修改即可。原创 2015-04-07 09:55:23 · 2558 阅读 · 0 评论 -
shell判断文件是否存在
#!/bin/sh myFile="/var /log/httpd/access.log" if [ ! -e "$myFile" ]; then touch "$myFile" fi -e和-f的区别是,-f代表常规文件(regular file),-e代表所有任何类型文件 参考如下: -e filename 如果 filename存在,则为真 -d filena转载 2015-04-20 09:29:13 · 6150 阅读 · 0 评论 -
Hadoop的核心思想
Hadoop包括两大核心,分布式存储系统和分布式计算系统。 1.1.1.1. 分布式存储 为什么数据需要存储在分布式的系统中哪,难道单一的计算机存储不了吗,难道现在的几个TB的硬盘装不下这些数据吗?事实上,确实装不下。比如,很多的电信通话记录就存储在很多台服务器的很多硬盘中。那么,要处理这么多数据,必须从一台一台服务器分别读取数据和写入数据,太麻烦了! 我们希望有一种文件系统,可转载 2015-04-29 21:29:31 · 629 阅读 · 0 评论 -
HDFS 异常
HDFS 异常 HTTP ERROR 500 Problem accessing /nn_browsedfscontent.jsp. Reason: Cannot issue delegation token. Name node is in safe mode. The reported blocks 0 needs additional 10 blocks to reach th原创 2015-04-28 09:04:27 · 1423 阅读 · 1 评论
分享