lusijie的博客

[整理]Centos6.5 + hadoop2.6.4环境搭建搭建Hadoop集群环境（3台机器）1 准备环境1.1 安装系统，并配置网络使3台机器互联互通，且SSH可直连（无需密码、保存私钥）1.1.1 安装系统安装Centos 6.5系统安装过程略1.1.2 配置网络设置三台机器的iP分别为IP主机名称

1、sqoop简介    sqoop是一个用来将hadoop中hdfs和关系型数据库中的数据相互迁移的工具，可以将一个关系型数据库（mysql、oracle等）中的数据    导入到hadoop的hdfs中，也可以将hdfs的数据导入到关系型数据库中。2、sqoop的特点：    sqoop的底层实现是mapreduce，所以sqoop依赖于ha

1. 查询mysql中的数据库sqoop list-databases --connect jdbc:mysql://haoguan-HP-Compaq-Pro-6380-MT:3306 --username root --password 123456  2. import从mysql中导入数据到hdfscreate database testdb; use

命令基本格式:hadoop fs -cmd 1.lshadoop fs -ls /列出hdfs文件系统根目录下的目录和文件hadoop fs -ls -R /列出hdfs文件系统所有的目录和文件2.puthadoop fs -put local file > file >hdfs file的父目录一定要存在，否则命令不会执行

如何将mysql数据导入Hadoop之Sqoop安装　　Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。Sqoop项目开始于

一、准备虚拟机与编译hadoop">1. 安装虚拟机与编译Hadoop 创建3个虚拟机，分别为hsm01, hss01, hss02hostnameiphsm01192.168.99.145hss01192.168.99.151hss02192.168.99.1522. 配置服务器

1.配置yum源Xftp 10.72.39.160  /etc/yum.repo.d/RHEL.repo目的机器上：cd /etc/yum.repos.d/mkdir bakmv CentOS-*.repo bakyum clean allyum makecacheyum list 2.编译64位库yum in

有时候hbase启动后，通过hbase的shell命令status发现节点都是活着的，但运行其它命令比如list等等时，会报错如：org.apache.hadoop.hbase.NotServingRegionException: Region is not online: .META.,,1 这个原因经过验证，很可能是zookeeper引起的，通常这种情况往往是在你正在运

下面我们看看HBase Shell的一些基本操作命令，我列出了几个常用的HBase Shell命令，如下：名称命令表达式创建表create '表名称', '列名称1','列名称2','列名称N'添加记录      put '表名称', '行名称', '列名称:', '值'

centos6.5环境下Zookeeper-3.4.6集群环境部署【系统】Centos 6.5集群部署【软件】准备好jdk环境，此次我们的环境是open_jdk1.8.0_101　　　　zookeeper-3.4.6.tar.gz【步骤】1. 准备条件如果有内部dns或者外网有域名，则直接使用域名如果没有需要修改/etc/hosts文件，或者直接使用

问题导读：        1、--hbase-table、--hbase-row-key、--column-family及--hbase-create-table参数的作用？        2、Sqoop将关系型数据库表中数据导入HBase中，默认Rowkey是什么？        3、如果关系型数据库表中存在多关键字，该怎么办？一、简介及部分重要参数介绍 

问题导读：         1、--hive-import、--hive-overwrite的作用？         2、如何处理关系型数据库字段中字符串含有分隔符问题？         3、使用--hive-import默认字段分隔符是？一行记录分隔符是？         4、NULL值是怎么处理的？--null-string和--null-string的作用？

数据库操作查看所有的数据库hive> show databases ;使用数据库defaulthive> use default;查看数据库信息hive > describe database default; OK db_name comment location owner_name owner_type parame