- 博客(14)
- 收藏
- 关注
RSS订阅原创 yarn上配置kerberos（十二）
一、创建认证规则 二、创建Keytab文件 三、部署Kerberos Keytab文件 四、修改YARN配置文件，包括 1）yarn-site.xml 2）mapred-site.xml 3）container-executor.cfg 五、启动服务 六、测试 实施步骤 1、创建认证规则 [root@cdh1 training]# kadmin.local -q "a
2017-04-06 15:09:07
3720
原创 HDFS上配置kerberos（十一）
一、创建认证规则 二、创建Keytab文件 三、部署Kerberos Keytab文件 四、修改HDFS配置文件，包括 1）core-site.xml 2）hdfs-site.xml 五、启动namenode 六、启动datanode 步骤实施 1、创建认证规则 [root@cdh1 training]# kadmin.local -q "addprinc -randke
2017-04-01 16:36:31
2735
原创 kerberos集群安装配置（十）
Kerberos集群规划 Kerberos安装配置 一、安装KDC server 二、修改配置文件 1）/etc/krb5.conf 2）/var/kerberos/krb5kdc/kdc.conf 3）/var/kerberos/krb5kdc/kadm5.acl 三、同步/etc/krb5.conf到其他服务器 四、创建数据库 五、启动服务 六、创建Kerber
2017-03-31 10:52:32
3034
原创 Hadoop HA + Federation + YARN HA配置实现
集群规划 配置步骤 一、 前提准备 1） 安装好Hadoop2.0集群 《==参考《HA+Federation集群实现（七）》及以前的文章 2） 安装好zookeeper集群 二、 修改如下配置文件 1） yarn-site.xml 2） mapred-site.xml 3） yarn-env.sh 三、 启动服务 1） 启动HDFS 2） 启动YAR
2017-03-28 10:29:40
891
原创 Hadoop 1.2.1 伪分布升级到 2.6.0伪分布（八）
Hadoop 1.2.1伪分布式搭建 一 创建目录 mkdir -p /hadoop/hadoop/data/dfs/name mkdir -p /hadoop/hadoop/data/dfs/data mkdir -p /hadoop/tmp chown -R hadoop:root /hadoop 二 解压hadoop 1.2.1到hadoop [hadoop@hadoo
2017-03-24 16:39:04
802
原创 HA+Federation集群实现（七）
集群规划 配置步骤 1、core-site.xml 1）整合Federation和HA的配置 2、hdfs-site.xml 1）添加新增节点配置 3、启动服务 1）zookeeper 2）journalnode 3）datanode 4）namenode 5）zkfc 实施步骤 在原有的ha基础上进行配置，即基于《基于ZK自动切换模式的实现（六）》的基础之上进行
2017-03-24 09:55:20
422
原创 基于ZK自动切换模式的实现（六）
配置自动切换模式 （1）配置zookeeper集群 （2）开启自动切换模式 在hdfs-site.xml中配置dfs.ha.automatic-failover.enabled参数 （3）配置zookeeper实例 在core-site.xml中配置ha.zookeeper.quorum （4）初始化zookeeper （5）启动journalnode，namenode和datano
2017-03-21 15:47:49
765
原创 使用QJM构建HDFS HA架构（五）
集群规划，在以前的文档中我已经搭建好一个hadoop2.6.0的非集群环境，我们就在这个基础之上搭建HA QJM的集群实现方式 一 操作系统的基本配置 （可以参考hadoop2.6.0三个节点集群环境搭建（一）） 二 Hadoop的安装 （可以参考hadoop2.6.0三个节点集群环境搭建（一）） 三 hdfs-site.xml配置（HA） (1) HD
2017-03-20 15:32:51
470
原创 hadoop2.6.0集群复制因子更改（四）
一、查看当前文件副本个数 [hadoop@master hadoop]$ hdfs dfs -lsr / lsr: DEPRECATED: Please use 'ls -R' instead. drwxr-xr-x - hadoop supergroup 0 2017-03-16 23:39 /system drwxr-xr-x - hadoop sup
2017-03-17 16:25:42
2074
原创 hadoop2.6.0删除集群节点（三）
一、修改master节点hdfs-site.xml，增加dfs.hosts.exclude参数 [hadoop@master hadoop]$ vi hdfs-site.xml dfs.hosts.exclude /opt/hadoop/etc/hadoop/excludes
2017-03-17 15:41:55
454
原创 hadoop2.6.0添加集群节点（二）
一、新节点操作系统配置（可以参考hadoop2.6.0三节点集群环境搭建（一）） (1) 主机名更改 (2) Ip地址配置 (3) /etc/hosts文件配置 (4) Jdk安装 (5) /etc/hosts文件配置防火墙关闭 (6) Selinux关闭 (7) vm.swappiness参数配置 (8) 创建hadoop用户及目录 (9) 无密码登入 二、 更新所有
2017-03-17 14:01:49
986
原创 hadoop2.6.0三个节点集群环境搭建（一）
一、操作系统配置 (1) 主机名更改 (2) Ip地址配置 (3) /etc/hosts文件配置 (4) 无密码登入 (5) Jdk安装 (6) /etc/hosts文件配置防火墙关闭 (7) Selinux关闭 (8) vm.swappiness参数配置 (9) 创建hadoop用户及目录 (1)主机名更改： [root@elephant catchup
2017-03-16 16:17:18
1104
原创 Spark基础的transformation 和 action的函数操作
Spark基础的transformation和 action的函数操作 函数示例： map函数： 操作数据集： In [1]: rdd = sc.textFile("file:/home/training/training_materials/data/weblogs/2014-03-15.log") In [3]: rdd.map(lambda x: x
2017-03-15 13:57:33
539
转载 MapReduce工作原理
最近在研究Hadoop,发现网上的一些关于Hadoop的资料都是以前的1.X版本的,包括MapReduce的工作原理,都是以前的一些过时了的东西,所以自己重新整理了一些新2.X版本的MapReduce的工作原理 下面我画了一张图,便于理解MapReduce得整个工作原理 下面对上面出现的一些名词进行介绍 ResourceManager：是YARN资源控制框架的中心模块
2017-03-15 09:54:18
452
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人