
hadoop
文章平均质量分 79
wen0220
linux、java、scala、hadoop、spark、es等
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
hadoop集群配置免密钥登陆
背景:搭建集群时,首先要配置各节点间的免密钥登陆,以保证各节点之间的数据传输。介绍一个比较快的配置方法。注意:搭建集群时要保证各机器在相同的用户下,如都在“root”用户或都在“test”用户下。那么免密钥也要都在相同的用户下,配置在不同的用户下是不起作用的。接下来以10台服务器node1~node10,都在root用户下为例1.在node1,root用户目录下输入命令: ssh-keyge...原创 2018-05-05 17:02:17 · 2957 阅读 · 0 评论 -
sqoop从hive、hdfs导入导出数据(mysql)
背景:sqoop主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。这里主要以mysql为例介绍一下,导入导出的使用方法。详情参考官方文档:http://sqoop.apach...原创 2018-06-30 17:05:07 · 5288 阅读 · 0 评论