玩转大数据

一、安装和配置Sqoop 1、开启Zookeeper 2、开启集群服务 3、配置文件：sqoop-env.sh，如下： #Set path to where bin/hadoop is available export HADOOP_COMMON_HOME=/opt/modules/cdh5.3.6/hadoop-2.5.0-cdh5.3.6 #Set path to where hadoop-*-core.jar is available export HADOOP_MAPRED_HOME=/opt/m

查看表的详细信息： hive > desc formatted t1;

一、基本概念 1、数据库与数据仓库 数据库：mysql、oracle、sqlserver、DB2、sqlite、MDB； 数据仓库：Hive，是MR的客户端，也就是说不必要每台机器都安装部署Hive。 2、Hive的特性 操作接口是采用SQL语法，HQL，避免了写MapReduce的繁琐过程。 3、Hive体系结构 （1）Client：终端命令行，其中，JDBC不常用，非常麻烦（相对于前者） （2）metastore：原本的数据集和字段名称以及数据信息之间的双射关系，目前是存储在Mysql中 （3）Serv