李蕊江-优快云博客

转载运行hadoop MapReduce程序常见错误及解决方法整理

一、Permission denied 1、Win系统下用Eclipse中运行远程Hadoop MapReduce程序出现报错 [javascript] view plain copy org.apache.hadoop.security.AccessControlException: org.apache.hadoop.security.

2017-06-13 14:42:07 6214

转载 Hadoop格式化报错java.net.UnknownHostException:

异常描述在对HDFS格式化，执行Hadoop namenode -format命令时，出现未知的主机名的问题，异常信息如下所示： [plain] view plain copy [shirdrn@localhost bin]$ hadoop namenode -format 11/06/22 07:33:31 INFO

2017-06-07 10:24:25 9522

原创重新格式化HDFS的方法

重新格式化hdfs系统的方法：（1）查看hdfs-ste.xml： span style="font-size:18px;">property> name>dfs.namenode.name.dirname> value>/home/hadoop/hdfs/namevalue> description>namenode上存储hdfs名字空间元

2017-06-07 09:29:29 989

转载 hadoop错误INFO util.NativeCodeLoader - Unable to load native-hadoop library for your platform... using

0.以下在系统CentOS 6.3 x86_64上操作 1.试图运行程序，提示"libc.so.6: version `GLIBC_2.14' not found",原因是系统的glibc版本太低，软件编译时使用了较高版本的glibc引起的： [cpp] view plain copy [ghui@StuOS bin]$ pwd /v

2017-06-06 11:11:08 506

原创【hadoop】ssh localhost 免密码登陆

首先ssh-keygen 生成秘钥,然后ssh-copy-id localhost 加到本地.

2017-06-05 13:50:08 728

原创外网远程linux

不想借助第三方工具.一开始不知道linux远程,网上一通乱搜也没头绪.干脆就跟windows一样做个端口映射直接使用,结果是可以的. 系统环境我这里是centos,防火墙直接是关闭的因为我自己测试搭建的服务器. 虚拟机改成桥接模式,然后做端口转发. 之后直接通过外网ip+外部端口就可以实现ssh链接了.

2017-06-05 09:49:56 1530

原创 hadoop常用配置

Hadoop HDFS存储原理这篇博客讲述的非常清晰.http://blog.youkuaiyun.com/haoxiaoyan/article/details/72828723. Hadoop集群具体来说包含两个集群:HDFS集群和YARN集群,两者逻辑上分离,经常在物理上在一起. HDFS集群: 负责存储海量的数据,集群中的角色主要有NameNode/DataNode. YARN集群:

2017-06-01 11:05:00 349

原创 Srping Boot 注解整理

记录一些Spring Boot中的注解,一方面帮助记忆,一方面用的时候可以查询. @Controller @Controller 用于标记在一个类上，使用它标记的类就是一个SpringMVC Controller 对象。分发处理器将会扫描使用了该注解的类的方法，并检测该方法是否使用了@RequestMapping 注解。@Controller 只是定义了一个控制器类，而使用@RequestM

2017-05-31 09:19:36 428

u011762604的博客