- 博客(3)
- 收藏
- 关注
RSS订阅原创 Apache sqoop简单使用介绍
文章目录介绍安装及配置导入全量导入全量导入到HDFS全量导入到HIVE子集导入where过滤query查询增量导入append模式lastmodified模式append选项merge-key选项导出默认模式导出更新导出updateonlyallowinsertsqoop job作业创建job查看job查看job详细信息执行job免密执行job介绍sqoop是RDBMS（mysql,oracl...
2019-10-18 17:25:38
915
原创 Hadoop mapreduce中自定义排序及自定义分组
一、map自定义排序哪个字段需要排序，将其设为map输出的key，利用map的排序完成。如果字段为基本类型且正序排序，则直接设为key，利用map默认排序即可。如果字段为对象或需要倒序排序，则需利用对象类实现comparable（WritableComparable）接口，重写接口的comparable方法。二、map自定义分组需新建分组类，继承WritableComparator类...
2019-10-09 16:19:26
1124
原创 HADOOP集群搭建
1. 集群简介Hadoop包括两个集群，hdfs集群和yarn集群hdfs集群负责数据存储，主要角色有：NameNode，DataNode，SecondaryNameNodeyarn集群负责调度管理，主要角色有ResourceManager, NodeManager两者逻辑上没有必要关联一定要放在一起，但一般放在一起。2. 环境准备centOS/VMWare开启三台虚拟机bigdat...
2019-09-25 21:16:49
223
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人