hadoop学习笔记

更改文件或目录的所属用户

sudo chown hadoop /location_folders

sudo chown -R  hadoop  location_folders
无密钥登录
ssh-keygen -t rsa
之前如果建立 ssh 连接,
只要將公鑰複製到 ~/.ssh/authorized_keys 就可以利用金鑰登入
而不需要建立密碼.


現在的 ssh 使用同樣的方法會出現錯誤訊息


Agent admitted failure to sign using the key


解決方式 使用 ssh-add 指令將私鑰 加進來 （根据个人的密匙命名不同更改 id_rsa）
# ssh-add   ~/.ssh/id_rsa  




127.0.0.1 ubuntu.ubuntu-domain ubuntu
远程连接windows系统
sudo rdesktop -u administrator -p 233 -f 172.18.145.89
退出全屏Ctrl+Alt+Enter


rm -rf /home/hadoop/tmp
rm -rf /usr/local/hadoop1.0/logs/hadoop*
远程登录windows系统
rdesktop 172.18.145.81:4747
查看进程信息:
/usr/lib/jvm/java-7-sun/bin/jps


ps -ef | grep hive


hbase web 界面
http://localhost:60010/


格式化系统文件
bin/hadoop namenode -format


bin/start-all.sh


bin/stop-all.sh


./usr/local/eclipse/eclipse


./usr/local/apache-6.0.35/bin/startup.sh


./usr/local/apache-6.0.35/bin/shutdown.sh
启动hive服务后，输入

CREATE TABLE hbase_table_1(key int, value string) STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,cf1:val") TBLPROPERTIES ("hbase.table.name" = "xyz");
如果没有报错，则hive和hbase的整合成功了。如果出现namenode in sage mode的提示，则使用


按照如下顺序启动集群相关服务
hadoop-1.0.3/bin/start-all.sh
hadoop-1.0.3/bin/hadoop dfsadmin -safemode leave
离开安全模式
hbase-0.92.0/bin/start-hbase.sh
启动HIVE

hive-0.9.0/bin/hive start
文件系统格式化

hadoop-1.0.3/bin/hadoop namenode -format


hadoop操作


复制文件到hadoop
hadoop-1.0.3/bin/hadoop fs -copyFromLocal /home/hadoop/testTmp/file4.txt /tmp/input/



查看web作业界面
http://localhost:50030/jobtracker.jsp
查看hdfs web页面

http://localhost:50070/dfshealth.jsp