
Hadoop
不挑食的程序猿
这个作者很懒,什么都没留下…
展开
-
Hadoop-创建Hadoop并添加用户(CentOS)
1.创建一个名为hadoops的组sudo groupadd hadoopscat /etc/goup 即可查看到新增加的组2.创建一个名为sunyx的用户,归到hadoops用户组下sudo useradd -g hadoops sunyx(剩下的一路回车就好,用系统默认的即可)cat /etc/passwd3.原创 2016-03-16 10:34:14 · 3437 阅读 · 0 评论 -
Hadoop-读取数据的几种方式
1.Hadoop URL中读取数据import java.io.IOException;import java.io.InputStream;import java.net.URL;import org.apache.hadoop.fs.FsUrlStreamHandlerFactory;import org.apache.hadoop.io.IOUtils;public原创 2016-03-24 14:50:30 · 3556 阅读 · 0 评论 -
Hadoop-异常“could only be replicated to 0 nodes, instead of 1”
因为我错误的format了namenode,导致了节点备份的文件格式和namenode的不一致。上传文件就会出现“could only be replicated to 0 nodes, instead of 1”异常。解决办法:清理hadoop.temp.dir所在的空间就可以解决该问题。原创 2016-03-12 16:04:21 · 1325 阅读 · 0 评论 -
Hadoop-Windows下的Eclipse开发环境搭建,远程虚拟机Hadoop服务器
1.将Hadop的eclipse插件包编译好,然后放置到eclipse的plugins下。具体编译过程请自行百度,或者下其编译好的包2.启动eclipse,window->Preferences.设置Hadoop的主路径。这个路径就是hadoop-2.7.2.tar.gz解压而来,和hadoop服务器用的版本一致就好了。3.编辑Locations通过showview原创 2016-03-12 11:21:49 · 436 阅读 · 0 评论 -
Hadoop-第一个Hadoop程序
首先,Eclipse已经能够连接到远程Hadoop了。如果不会可以看这里(http://blog.youkuaiyun.com/sunyx1130/article/details/50864454)1.新建一个Map/Reduce项目2.编写代码import java.io.IOException;import java.util.StringTokenizer;import原创 2016-03-16 12:13:24 · 339 阅读 · 0 评论 -
Hadoop-实例WordCount
1.退出安全模式/opt/hadoop/hadoop272/bin/hadoop dfsadmin -safemode leave2.上传数据到hadoop2.1新建存放的目录/opt/hadoop/hadoop272/bin/hadoop fs -mkdir /input2.2传数据到指定目录/opt/hadoop/hadoop272/bin/hadoop fs -p原创 2016-03-11 15:59:44 · 757 阅读 · 0 评论 -
Hadoop-编译本地库
先放着,晚点更新原创 2016-03-09 16:40:17 · 247 阅读 · 0 评论 -
Hadoop-新增节点
其实新增一个datanode是很简单的。如果会搭建集群环境的话只要把数据节点基本配置弄好,把hadoop拷贝过去让namenode拥有访问新节点的权限就可以了。详细步骤可以参考:Hadoop-CentOS精简版搭建Hadoop集群的1-5步、6.2.3、6.3就可以啦~~原创 2016-03-09 14:10:19 · 302 阅读 · 0 评论 -
Hadoop-CentOS精简版搭建Hadoop集群
1.检查环境Hadoop需要JDK、ssh、rsync这些软件输入如下指令指令用途ssh -v可以检查 ssh的版本java -version可以检查jdk的版本rsync可以查看是否已安装rsync原创 2016-03-07 11:38:39 · 646 阅读 · 0 评论 -
Hadoop-格式化HDFS报错java.net.UnknownHostException: localhost.localdomain: localhost.localdomain
明明在/etc/sysconfig/network中配置了hostname通过 /etc/init.d/network restart重启了网络服务 这样的操作后,hostname依然不是自定义的。直接通过hostname xxxx就可以修改了。hostname改正确了,错误就不报了。成功完成了格式化。原创 2016-03-08 16:11:50 · 376 阅读 · 0 评论 -
Hadoop-写入数据的几种方式
create(新建)import java.io.BufferedInputStream;import java.io.FileInputStream;import java.io.InputStream;import java.io.OutputStream;import java.net.URI;import org.apache.hadoop.conf.Configurati原创 2016-03-24 15:36:58 · 1801 阅读 · 0 评论