lucklyming的专栏

host文件配置     /etc/hosts文件若没配置好,会引起一系列不见遇见的问题,有时候会在这些问题上面花费较多的时间. hadoop@PC3GD000516:/usr/local/hadoop$ more /etc/hosts127.0.0.1 localhost192.168.215.85 master pc-name0192.168.215.201 sla

最近遇到了一个问题，执行start-all.sh的时候发现JPS一下namenode没有启动         每次开机都得重新格式化一下namenode才可以         其实问题就出在tmp文件，默认的tmp文件每次重新开机会被清空，与此同时namenode的格式化信息就会丢失         于是我们得重新配置一个tmp文件目录         首先在home目录下建立一个hadoop_...

      分布式系统中经常需要协调多进程，多个jvm，或者多台机器之间的同步问题，得益于zookeeper，实现了一个分布式的共享锁，方便在多台服务器之间竞争资源时，来协调各系统之间的协作和同步。 package com.zookeeper.lock.server;import java.io.IOException;import java.util.ArrayList;i...

1）Cygwin相关资料　　（1）Cygwin上安装、启动ssh服务失败、ssh localhost失败的解决方案　　地址：http://blog.163.com/pwcrab/blog/static/16990382220107267443810/　　（2）windows2003+cygwin+ssh　　地址：http://wenku.baidu.com/view/3...

第一部分：软件准备与环境规划Hadoop环境介绍•Hadoop安装路径•/usr/local/hadoopHive环境规划•Hive安装路径•/usr/local/hive•Hive数据存放路径•hdfs•/user/hive/warehouse•Hive元数据•第三方数据库•derby mysql软件准备•OS•ubuntu•JDK•java 1.6.0_27•Hadoop•hado...

运行hadoop程序时，有时候会报以下错误： org.apache.hadoop.dfs.SafeModeException: Cannot delete /user/hadoop/input. Name node is in safe mode 这个错误应该还满常见的吧（至少我运行的时候是这样的） 那我们来分析下这个错误，从字面上来理解： Name node is in safe mod...

        Hadoop集群安装好后，可以测试hadoop的基本功能。hadoop自带了一个jar包（hadoop-examples-0.20.205.0.jar，不同版本最后不同）中wordcount程序可以测试统计单词的个数，先来体验一下再说。 [hadoop@master ~]$ mkdir input  #先创建一个输入目录  [hadoop@master ~]$ cd...

* 文件操作 * 查看目录文件 * $ hadoop dfs -ls /user/cl * * 创建文件目录 * $ hadoop dfs -mkdir /user/cl/temp * * 删除文件 * $ hadoop dfs -rm /user/cl/temp/a.txt * * 删除目录与目录下所有文件 * $ hadoop dfs -rmr /user/cl/temp * * 上传文件 ...

最近遇到了一个问题，执行start-all.sh的时候发现JPS一下namenode没有启动         每次开机都得重新格式化一下namenode才可以         其实问题就出在tmp文件，默认的tmp文件每次重新开机会被清空，与此同时namenode的格式化信息就会丢失         于是我们得重新配置一个tmp文件目录         首先在home目录下建立一个hadoop_t

Hadoop集群安装好后，可以测试hadoop的基本功能。hadoop自带了一个jar包（hadoop-examples-0.20.205.0.jar，不同版本最后不同）中wordcount程序可以测试统计单词的个数，先来体验一下再说。 [hadoop@master ~]$ mkdir input  #先创建一个输入目录  [hadoop@master ~]$ cd input/  

1）Cygwin相关资料　　（1）Cygwin上安装、启动ssh服务失败、ssh localhost失败的解决方案　　地址：http://blog.163.com/pwcrab/blog/static/16990382220107267443810/　　（2）windows2003+cygwin+ssh　　地址：http://wenku.baidu.com/view/3777b8b

* 文件操作 * 查看目录文件 * $ hadoop dfs -ls /user/cl * * 创建文件目录 * $ hadoop dfs -mkdir /user/cl/temp * * 删除文件 * $ hadoop dfs -rm /user/cl/temp/a.txt * * 删除目录与目录下所有文件 * $ hadoop dfs -rmr /user/cl/temp * * 上传文件 *

host文件配置     /etc/hosts文件若没配置好,会引起一系列不见遇见的问题,有时候会在这些问题上面花费较多的时间. hadoop@PC3GD000516:/usr/local/hadoop$ more /etc/hosts127.0.0.1 localhost192.168.215.85 master pc-name0192.168.215.201 ...