Hadoop
关注
分享
扫一扫
羲凡丞相
get busy living ,or get busy dying
展开
-
YARN REST API 提交MR任务
@羲凡——只为了更好的活着YARN REST API 提交MR任务官网介绍地址 http://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/ResourceManagerRest.html既然是api，推荐使用postman或者idea，本文使用postman0.准备MR的jar包并上传到hdfs上hdfs dfs...原创 2020-04-13 11:28:16 · 1935 阅读 · 4 评论 -
Hadoop-动态增加删除DateNode/修改hdfs备份数/维护JournalNode
@羲凡——只为了更好的活着Hadoop-动态增加删除DateNode/修改hdfs备份数/维护JournalNode一、动态添加DataNode节点0.添加新机器的IP和hostname到每台/etc/hosts文件中1.准备新的DataNode节点机器，配置SSH互信2.在新机器上安装jdk3.复制Hadoop运行目录、hdfs目录及tmp目录至新的DataNode4.在新Data...转载 2019-01-22 15:46:04 · 1158 阅读 · 1 评论 -
Java 压缩HDFS上已有文件
@羲凡——只为了更好的活着Java 压缩HDFS上已有文件hdfs上的文件太大，占用太多磁盘，为了节省磁盘，将历史的一些文件压缩。下面字节上代码。package aaronJava;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataInputStream;import org.a...原创 2019-01-31 17:00:10 · 1121 阅读 · 1 评论 -
Hadoop 公平调度器(Fair Scheduler)配置
@羲凡——只为了更好的活着Hadoop 公平调度器(Fair Scheduler)配置hadoop集群的资源配置是否合理，是检验hadoop运维人员基于公司业务对hadoop配置的熟练程度。下面我简单的说一下配置需要设置那些。1.修改yarn-site.xml，添加下面参数<!-- 指定使用公平资源调度器 --><property> <name>ya...原创 2019-03-21 15:50:30 · 1180 阅读 · 4 评论 -
Hadoop2.0 HA安装完整版——Hadoop2.7.3
@羲凡——只为了更好的活着Hadoop2.0 HA安装完整版——Hadoop2.7.3Hadoop从2008年发布，到现在已经11个年头了。Hadoop安装是任何一个大数据开发或运维人员都必须掌握的。本文尽可能详细的介绍hadoop 高可用的安装并对参数做一定的介绍(用 deplab 用户安装)。hadoop的安装都非常类似，无论是hadoop2.0版本还是hadoop3.0版本。此文中选择H...原创 2019-01-15 14:47:27 · 1718 阅读 · 2 评论 -
ZooKeeper 安装完整版——ZooKeeper3.4.6
@羲凡——只为了更好的活着ZooKeeper 安装完整版——ZooKeeper3.4.61.下载地址如下：https://archive.apache.org/dist/zookeeper/zookeeper-3.4.6/2.安装第1步：在deptest3 机器的 /usr/local/package 目录下解压 zookeeper-3.4.6.tar.gztar -zxf zook...原创 2019-03-20 13:20:30 · 9678 阅读 · 1 评论 -
Hadoop-动态刷新hdfs/yarn配置
@羲凡——只为了更好的活着Hadoop-动态刷新hdfs/yarn配置在很多时候，修改了hadoop的配置后，希望立即生效，但是线上还有任务在执行，不能重启，可以执行以下命令让修改后的hdfs/yarn配置生效1、动态刷新hdfs配置如果是HA集群则在两个namenode节点上执行hdfs dfsadmin -fs hdfs://nn1:9000 -refreshSuperUserGro...原创 2019-05-05 14:48:24 · 5081 阅读 · 7 评论