
hadoop
lingzhi007
这个作者很懒,什么都没留下…
展开
-
hadoop 我的配置过程 -主机配置
192.168.1.10 node10192.168.1.11node11192.168.1.12node12192.168.1.13node13 192.168.1.3node03 UBUNTU 修改主机 /etc/hostnameredhat 修改 /etc/sysconfig/network 修改成节点后 hadoop web 的 ...原创 2013-03-06 01:24:58 · 143 阅读 · 0 评论 -
集群中 统一命令执行 和 文件拷贝
filecopy#!/bin/bashif [ $# -lt 2 ]; then echo "error.. need args" exit 1fihost=$1filefullpath=$2var=${host//,/ } #这里是将var中的,替换为空格 for element in $var do...原创 2016-11-05 13:06:03 · 232 阅读 · 0 评论 -
ssh 免密码 不工作的问题
ssh 免密码 不工作的问题别人不能自动登录进来,先检查 ,自己能不能登录自己一般可能是 文件权限的问题 64 ssh-keygen -t rsa 65 ls 66 cat authorized_keys 67 ssh-keygen -t rsa -P '' -f id_rsa 68 cat id_rsa.pub >> aut...原创 2016-11-05 12:43:21 · 96 阅读 · 0 评论 -
eclipse
eclipse + hadoop main classorg.apache.hadoop.util.RunJar index v1.jar key keyinput output1000000 vm -Dproc_jar -Xmx1000m -Dhadoop.log.dir=/home/hadoop/hadoop/hadoop-1.0.4/li...原创 2013-07-23 21:37:54 · 83 阅读 · 0 评论 -
hadoop 我的配置
slave 192.168.1.101192.168.1.102192.168.1.103192.168.1.104 master192.168.1.3 core-site.xml<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="confi...原创 2012-10-04 19:27:46 · 168 阅读 · 0 评论 -
转 经典漫画讲解HDFS原理
转 http://blog.youkuaiyun.com/tnt87/article/details/7855612经典漫画讲解HDFS原理 分布式文件系统比较出名的有HDFS 和 GFS,其中HDFS比较简单一点。本文是一篇描述非常简洁易懂的漫画形式讲解HDFS的原理。比一般PPT要通俗易懂很多。不难得的学习资料。1、三个部分: 客户端、n...原创 2012-10-04 19:16:05 · 163 阅读 · 0 评论 -
hadoop 在eclipse 中调试
转 http://blog.sciencenet.cn/blog-540233-591217.html尝试了一下 可以打断点调试了测试一:grep bin/hadoop fs -put conf input 把hadoop文件夹下的conf文件夹复制到dfs的/user/grid/input,做为输入文件夹 bin/hadoop jar hadoop-exam...原创 2012-10-04 19:13:45 · 129 阅读 · 0 评论 -
hadoop 搞起来了
转 http://blog.youkuaiyun.com/hguisu/article/details/7237395感谢这位兄弟 ,郁闷了一天终于搞定,不过有些概念 参数的配置要细看 下一部 写一个应用看看Hadoop集群配置(最全面总结)分类: 云计算hadoop 2012-02-06 17:15 6711人阅读 评论(9) 收藏 举报目录(?)[+]Hadoop集群...原创 2012-10-03 20:13:05 · 175 阅读 · 0 评论 -
远程链接并自动执行 命令 带参数 同步主机时间到各vm
vmware 设置的 tools.syncTime = "TRUE" 可还是莫有 hbase 如果 region servers 时间和 master 相差很大就会出错 写了一个脚本 从宿主主机 去同步 各vm 的时间 一 已 root 身份 $ ssh-keygen -t rsa 然后一直按回车 完成后,在home跟目录下会产生隐藏文件夹.ssh ...原创 2013-03-11 22:19:20 · 153 阅读 · 0 评论 -
hadoop fs.default.name 9000 端口在外面连不上
hadoop fs.default.name 9000 端口在外面连不上 由于 第一行 node03 服务会绑定地一行 最外的地址访问不到 127.0.0.1 node03 localhost.localdomain localhost ::1 node03 localhost6.localdomain6 localhost6192.1...原创 2013-03-06 20:31:52 · 530 阅读 · 0 评论 -
hdfs HA 实验
hdfs HA 实验hdfs 第一次 机器准备 ,机器配合 hostname,ip 作为namenode 的机器 到其他的机器要有 ssh 权限 1、 start zk cluster 主 : 2、 ./hdfs journalnode 这个会启动所有配置的 journalnode ,执行机 要有到 其他 机器的 ssh 的...原创 2016-11-06 16:35:35 · 135 阅读 · 0 评论