玩转大数据

一、安装和配置Sqoop1、开启Zookeeper2、开启集群服务3、配置文件：sqoop-env.sh，如下：#Set path to where bin/hadoop is availableexport HADOOP_COMMON_HOME=/opt/modules/cdh5.3.6/hadoop-2.5.0-cdh5.3.6#Set path to where hadoop-*-core.jar is availableexport HADOOP_MAPRED_HOME=/opt/m

查看表的详细信息：hive > desc formatted t1;

一、基本概念1、数据库与数据仓库数据库：mysql、oracle、sqlserver、DB2、sqlite、MDB；数据仓库：Hive，是MR的客户端，也就是说不必要每台机器都安装部署Hive。2、Hive的特性操作接口是采用SQL语法，HQL，避免了写MapReduce的繁琐过程。3、Hive体系结构（1）Client：终端命令行，其中，JDBC不常用，非常麻烦（相对于前者）（2）metastore：原本的数据集和字段名称以及数据信息之间的双射关系，目前是存储在Mysql中（3）Serv