
Sqoop
jerrfy_w
做一只会飞的狼
展开
-
数据仓库分层
数据仓库&数据集市数据仓库数据仓库,英文名称为Data Warehouse,可简写为DW或DWH。数据仓库,是为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合。它是单个数据存储,出于分析性报告和决策支持目的而创建。 为需要业务智能的企业,提供指导业务流程改进、监视时间、成本、质量以及控制简单来说就是一堆数据集合(log型和db型)的整合处理,,挖掘有效价值,提供决策支...原创 2020-01-10 10:44:15 · 826 阅读 · 1 评论 -
Sqoop 导入&导出
Sqoop 作用:数据从RDBMS和Hadoop之间进行导入导出操作底层就是使用MapReduce来实现的Map 只有MapReduce 没有Reduce导入: importRDBMS ==> Hadoop导出: exportHadoop ==> RDBMS参数帮助查看—》sqoop help[wzj@hadoop001 conf]$ sqoop help19...原创 2019-12-26 02:23:37 · 360 阅读 · 0 评论 -
Sqoop mysql导入Hive 报错Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.hive.shims.ShimLo
sqoop 从mysql导入hive时报如下错误Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.hive.shims.ShimLoader at java.net.URLClassLoader.findClass(URLClassLoader.java:381) at java.lang.ClassLoader.l...原创 2019-12-26 01:20:18 · 1404 阅读 · 1 评论 -
Sqoop 安装部署
1.获取安装包[wzj@hadoop001 software]$ wget https://archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.6-cdh5.16.2.tar.gz2.解压缩[wzj@hadoop001 software]$ tar -xvzf sqoop-1.4.6-cdh5.16.2.tar.gz -C …/app软连接:[w...原创 2019-12-24 13:55:14 · 208 阅读 · 0 评论