daxiang的专栏

后续一系列解决某一问题的文章，皆来自网络其他博客。这些方案是我在win7 + vmware 11.1 + centos7上，搭建hadoop 2.6 + hbase 1.1.4时遇到问题在网上搜到的，亲测方案可行，至少解决了我的问题。转至此处，以作分享。

点击查看原文：http://hadoop.apache.org/docs/r1.0.4/cn/mapred_tutorial.html，hadoop官方入门教程。

点击查看原文：http://blog.youkuaiyun.com/shirdrn/article/details/7280040。

点击查看原文：http://abloz.com/hbase/book.html#notsoquick。

本文转自：http://blog.youkuaiyun.com/wulantian/article/details/38112305，略修改。1. 2014-07-21 17:24:36,310 WARN  [main-SendThread(db99:2222)] zookeeper.ClientCnxn: Session 0x0 for server null, unexpected erro

本文转自：http://edu.dataguru.cn/thread-241488-1-1.html，未作修改。这里有hadoop hbase zookeeper主要关系：1.经过Map、Reduce运算后产生的结果看上去是被写入到HBase了，但是其实HBase中HLog和StoreFile中的文件在进行flush to disk操作时，这两个文件存储到了HDFS的D

本文转自：http://www.cnblogs.com/viviman/archive/2013/03/21/2973539.html，未作修改。1 准备工作因为我只有一台机器，所以，一切都成为了伪分布，但是，其实和集群是一样的啦。在hbase配置之前，先确定自己的linux上有两个前提——hadoop运行环境和zookeeper运行环境我的

本文转自：http://www.blogjava.net/redhatlinux/archive/2014/06/04/414404.html，未作修改。注：我部署时使用的hadoop 2.6.0 + hbase 1.1.4。参考该文档操作完成后，需再部署hbase+zookeeper，否则启动报错。前置条件成功安装配置Hadoop集群Hadoop ve

下面代码在hadoop 2.6.0 + hbase 1.1.4 + centos 7 + jdk 1.7上运行通过。package cn.abc.hbase;import java.io.IOException;import java.util.ArrayList;import java.util.List;import org.apache.hadoop.conf.Con

本文转自：http://www.cnblogs.com/acmy/archive/2011/10/28/2227901.html，未作修改。描述：在window下使用Eclipse进行hadoop的程序编写，然后Run on hadoop 后，出现如下错误：11/10/28 16:05:53 INFO mapred.JobClient: Running job: job

点击查看原文：http://www.powerxing.com/hadoop-build-project-using-eclipse/，由于原文内容较多，不在此处展示。

本文转自：http://www.tuicool.com/articles/b2UNzm，未作修改。由于原文内容过多，在此仅列出部分内容。3、加大打开文件数的限制（open files）查看ulimit -n ulimit -a vi /etc/security/limits.conf最后添加* soft nofile 1024000

本文转自：http://www.ithao123.cn/content-861666.html，未作修改。在说HBase之前，我想再唠叨几句。做互联网应用的哥们儿应该都清楚，互联网应用这东西，你没办法预测你的系统什么时候会被多少人访问，你面临的用户到底有多少，说不定今天你的用户还少，明天系统用户就变多了，结果您的系统应付不过来了了，不干了，这岂不是咱哥几个的悲哀，说时髦点就叫“杯具啊”

在/home/Downloads目录下新建eclipse.desktop，内容如下：[Desktop Entry]Encoding=UTF-8Name=eclipseComment=Eclipse IDEExec=/usr/local/eclipse/eclipseIcon=/usr/local/eclipse/icon.xpmTerminal=falseStart

代码参考网上其他博文，在其基础上作部分优化。以下代码在win7 + jdk1.7 + eclipse3.7 + centos 7 + hadoop2.6条件下运行通过。java工程需添加hadoop根目录下/share/hadoop/下所有jar包到编译路径中。工具类HdfsUtils.java，及测试用例代码如下：HdfsUtils.javapackage com.xy6

[admin@Slave1 ~]$ dateFri Aug 5 08:45:41 CST 2016[admin@Slave1 ~]$ tzselectPlease identify a location so that time zone rules can be set correctly.Please select a continent or ocean. 1) Africa

点击查看原文：http://www.cnblogs.com/yjmyzz/p/4280069.html，内容过多，不在此列出。注：在参考http://blog.youkuaiyun.com/daxiang12092205/article/details/52115792 一文进行部署后，可参考上面文章检查一遍配置。

本文转自：http://www.centoscn.com/CentOS/help/2014/0624/3173.html，未作修改。1.打开终端，提示符为“$”，表明该用户为普通用户，此时，直接输su，回车，输入root密码，回车，就可以切换到root用户下，此时的提示符变为“#”。  注意，输入密码时终端是不显示的，而且每次切换为root用户都要经过这个过程。

1 安装jdk：xshell执行命令：java -version，显示：java version "1.7.0_51"OpenJDK Runtime Environment (rhel-2.4.5.5.el7-x86_64 u51-b31)OpenJDK 64-Bit Server VM (build 24.51-b03, mixed mode)表示centos已安装openj

本文转自：http://www.cnblogs.com/silent2012/archive/2015/07/28/4682770.html，未作修改。CentOS 7.0默认使用的是firewall作为防火墙，使用iptables必须重新设置一下1、直接关闭防火墙systemctl stop firewalld.service #停止firewalls

查看原文：http://www.ruanyifeng.com/blog/2014/06/git_remote.html。由于原文章内容过多，不在此展示。

查看原文：http://www.cnblogs.com/softwaretesting/archive/2011/07/12/2104435.html。原文内容过多，在此仅展示部分内容。插入命令i 在当前位置生前插入I 在当前行首插入a 在当前位置后插入A 在当前行尾插入o 在当前行之后插入一行O 在当前行之前插入一行退出命令

本文转自：http://blog.youkuaiyun.com/wangzhi_821/article/details/5894993，未作修改。错误内容如下 ：2010-9-19 16:09:58 org.apache.catalina.startup.Catalina stopServer严重: Catalina.stop: java.net.ConnectExcept

本文转自：http://www.9upk.com/article/2458.html，未作修改。在虚拟机VM里面装了centos系统，网卡选用桥接方式。刚开始的时候还能自动获取到IP地址，突然有一天IP消失了，再怎么重启都无法获取IP地址。因为之前是可以获取IP，而且 VMware NAT Service 和 VMware DHCP Service 两个已启动，

点击查看原文：http://abloz.com/hbase/book.html，中文版doc。

点击查看原文：https://ctovision.com/2011/01/when-do-you-pick-hbase-instead-of-mysql/。本文仅列出部分内容，未作修改。CATEGORIZED CONTENTCloud ComputingArtificial IntelligenceMobileBig Data

本文转自：http://blog.itpub.net/29175876/viewspace-1062464/，未作修改。原文标题为：vmware中网络配置详解，介绍了三种网络连接模式。centos不能上网是因为连接模式设置错误，我想要的效果：centos和主机能够互相通信（互相ping通），centos能够上网。因此我将网络连接设置为桥接模式。VMWare中网络配置详解VM

本文转自：http://zhidao.baidu.com/link?url=ucHG-fAobNYbZNscClNNM46vdXeC1v4r8EZtgH0Rumk2I6tgUvnlkUusm-1PlIM0Q4gmj6mozZezxNMvQFFRDK，未作修改。意思就是说，VM上使用的是虚拟的网卡，也就是说VM虚拟机上的网卡不是真实存在的，而桥接还有其他的网路链接方式，都是必须存在网

点击查看原文：http://www.centoscn.com/image-text/install/2014/1121/4158.html。原文使用版本为：hadoop 1.0.0，我部署使用的是hadoop 2.6.0，大体步骤正确，个别问题到网上均可找到解决方案。

本文转自：http://www.thinksaas.cn/topics/0/162/162035.html，未作修改。查看权限[ruby]view plaincopy在终端输入:  ls -l xxx.xxx （xxx.xxx是文件名）  那么就会出现相类似的信息，主要都是这些：  -rw-rw-r--

本文转自：http://myhadoop.iteye.com/blog/2043099，未作修改，仅列出部分内容。1、hadoop-root-datanode-master.log 中有如下错误： ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible name

本文部分参考：http://www.cnblogs.com/marost/p/4372778.html，该文写得比较详细。我在操作时，未安装eclipse插件，感觉多余。具体步骤如下：在进行下面操作前，请确保hadoop已正确发布，部分验证方式：1 通过http://192.168.1.XXX:50070/dfshealth.html#tab-overview（XXX为master