
Sqoop
文章平均质量分 91
OnTheRoad_Kang
比你优秀的还比你努力你有什么资格不去努力
展开
-
Sqoop介绍、安装部署及MySql与HDFS数据之间的导入导出
本博客的学习目标:了解Sqoop是什么,能做什么以及架构能够进行Sqoop环境部署 MySql<=>HDFS数据的导入导出准备工作:Hadoop伪分布式集群环境:https://blog.youkuaiyun.com/qq_32297447/article/details/79734894CentOS7下安装配置Mysql:https://blog.youkuaiyun.com/qq_3229744...原创 2018-04-10 10:01:47 · 10237 阅读 · 2 评论 -
大数据大纲&大数据生态圈所涉及的技术
今天博主是做一个大概的概述,缺少的章节会在后面慢慢补充,感兴趣的同学可以在下面评论留言。数据可视化展示中心:KIbana官网:点击打开链接用户指南:点击打开链接Grafana官网:点击打开链接Grafana帮助文档:点击打开链接大数据特征:1)大量化(Volume):存储量大,增量大 TB->PB2)多样化(Variety):来源多:搜索引擎,社交网络,通话记录,传感器格式多:(非)结...原创 2018-03-09 09:36:20 · 21674 阅读 · 4 评论 -
Sqoop1一般用于线上、测试脚本环境开发
注意:sqoop部署运算节点一般有hive、hbase、azkaban、oozie的节点上还有数据库的节点上Sqoop开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql)间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ,postgresql等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。底层是通...原创 2018-11-24 21:40:14 · 9804 阅读 · 0 评论