李晓蒙的博客

hbase 同步

cdh 6.3.2 离线部署

Base配置和使用文档...................................................................................................... 1一、 HBase原理和结构说明............................................................................................. 2二、 HBase的表结构...............

一、扩容本地磁盘并挂载机器都是阿里云的服务器，需要现在阿里云购买磁盘。然后挂载到服务器上 1、把新加的磁盘挂载到了/hdfs_data2、原来默认的hdfs的数据目录为/usr/local/hadoop/hdfs/data/name>dfs.datanode.data.dirname>value>二、停止Datanode我这里有三台datanode，数量比较小

hadoop 2.7 安装首先下载：http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.4/hadoop-2.7.4.tar.gz解压：tar -zxvf hadoop-2.7.4.tar.gz拷贝到工作目录 ：mv hadoop.xxxxx /usr/local/hadoop安装java 1.8下载

前提，需要安装hadoop 2.7与 Hadoop 类似，Hive 也有 3 种运行模式：1. 内嵌模式将元数据保存在本地内嵌的 Derby 数据库中，这是使用 Hive 最简单的方式。但是这种方式缺点也比较明显，因为一个内嵌的 Derby 数据库每次只能访问一个数据文件，这也就意味着它不支持多会话连接。2. 本地模式这种模式是将元数据保存在

前提条件：安装hadoop ,zookeeper hadoop 请查看其它文章zookpeer 安装。下载：http://mirror.bit.edu.cn/apache/zookeeper/stable/zookeeper-3.4.10.tar.gz解压：tar -zxvf zookeeper-3.4.10.tar.gz拷贝mv zookeeper-3.4

Kettle 命令行使用说明

Hive的内置数据类型可以分为两大类：(1)、基础数据类型；(2)、复杂数据类型。其中，基础数据类型包括：TINYINT,SMALLINT,INT,BIGINT,BOOLEAN,FLOAT,DOUBLE,STRING,BINARY,TIMESTAMP,DECIMAL,CHAR,VARCHAR,DATE。下面的表格列出这些基础类型所占的字节以及从什么版本开始支持这些类型。数据类型

运行Hadoop程序时，有时候会报以下错误： org.apache.hadoop.dfs.SafeModeException: Cannot delete /user/hadoop/input. Name node is in safe mode 这个错误应该还满常见的吧（至少我运行的时候是这样的） 那我们来分析下这个错误，从字面上来理解： Name node is in sa

Hadoop实战-中高级部分 之 Hadoop RestFul 浏览(8094)|评论(2)   交流分类：Java|笔记分类: Hadoop实战-中…… Hadoop RestFulHadoop HDFS原理1Hadoop HDFS原理2Hadoop作业调优参数调整及原理Hadoop HAHadoop MapReduce高级编程

1、版本功能对比版本名称版本时间功能名称说明0.20.x2009.4.22-2011.10.17目前线上基本功能Avatarnode,cloudera3均以该版本作为基础版本0.23.x2011/11/11-现在

假设Hadoop的安装目录HADOOP_HOME为/home/admin/hadoop。启动与关闭启动HADOOP1.         进入HADOOP_HOME目录。2.         执行sh bin/start-all.sh关闭HADOOP1.         进入HADOOP_HOME目录。2.         执行sh bin/stop-all.sh文件

Hive 是facebook开源的一个基于hadoop框架的查询工具，也就是说，需要用hive的话，就要先安装hadoop。这次是小结一下最近用hive的心得，经验分享。hadoop和hive，pig，hbase的安装配置以后专门另开个连载说比较好。所以，我假设你已经有hive了。1.字段的数据类型。hive实际上为了数据挖掘的需要，对hive表的字

首先 dfs.replication这个参数是个client参数，即node level参数。需要在每台datanode上设置。其实默认为3个副本已经够用了，设置太多也没什么用。一个文件，上传到hdfs上时指定的是几个副本就是几个。以后你修改了副本数，对已经上传了的文件也不会起作用。可以再上传文件的同时指定创建的副本数hadoop dfs -D dfs.replication=1

Hadoop操作HDFS命令Hadoop操作HDFS命令如下所示： hadoop fs 查看Hadoop HDFS支持的所有命令 hadoop fs –ls 列出目录及文件信息 hadoop fs –lsr 循环列出目录、子目录及文件信息 hadoop fs –put test.txt /user/sunlightcs 将本地文件系统的test.

首先可以参考这两篇文档： http://code.google.com/p/libpyhdfs/source/browse/trunk/INSTALL http://www.cnblogs.com/zhangmiao-chp/archive/2011/05/04/2036665.html 然后补充两个细节： 1. 我在执行: Java代码  apt-

利用Sqoop把SqlServer数据库中的表导入导出到HDFS为了能够和HDFS之外的数据存储库进行交互，MapReduce程序需要使用外部API来访问数据。Sqoop是一个开源的工具，它允许用户将数据从关系型数据库抽取到Hadoop中，用于进一步的处理。抽取出来的数据可以被Mapreduce程序使用。也可以被其他类似于Hive的工具使用。一旦形成分析结果，Sqoop便可以将这些

1 准备连接hive的python代码在使用Python连接hive之前需要将hive中的文件拷贝到python的sys.path中cp -r $HIVE_PATH/lib/py     /usr/local/lib/python2.7/site-packages或者将hive中连接代码，设法加入到python的eclipse项目中总之，目的只有一个，就

python连接hive的demo      在部署了两个hive后，分别在namenode和一个datanode上，用nohup hive --service hiveserver &将hive server启动。      Hive server 让Hive提供Thrift服务的服务器形式运行，允许不同的语言编写客户端进行访问。使用Thrift、JDBC、ODBC连接器的客户需

1.配置namenode的hdfs-site.xml是必须将dfs.webhdfs.enabled属性设置为true，否则就不能使用webhdfs的LISTSTATUS、LISTFILESTATUS等需要列出文件、文件夹状态的命令，因为这些信息都是由namenode来保存的。在namenode和一台datanode中向/etc/hadoop/conf/hdfs-site.xml中添加属