- 博客(14)
- 收藏
- 关注
RSS订阅原创 yarn上配置kerberos（十二）
一、创建认证规则二、创建Keytab文件三、部署Kerberos Keytab文件四、修改YARN配置文件，包括1）yarn-site.xml2）mapred-site.xml3）container-executor.cfg五、启动服务六、测试实施步骤1、创建认证规则[root@cdh1 training]# kadmin.local -q "a
2017-04-06 15:09:07
3643
原创 HDFS上配置kerberos（十一）
一、创建认证规则二、创建Keytab文件三、部署Kerberos Keytab文件四、修改HDFS配置文件，包括1）core-site.xml2）hdfs-site.xml五、启动namenode六、启动datanode步骤实施1、创建认证规则 [root@cdh1 training]# kadmin.local -q "addprinc -randke
2017-04-01 16:36:31
2692
原创 kerberos集群安装配置（十）
Kerberos集群规划Kerberos安装配置一、安装KDC server二、修改配置文件1）/etc/krb5.conf2）/var/kerberos/krb5kdc/kdc.conf3）/var/kerberos/krb5kdc/kadm5.acl三、同步/etc/krb5.conf到其他服务器四、创建数据库五、启动服务六、创建Kerber
2017-03-31 10:52:32
2915
原创 Hadoop HA + Federation + YARN HA配置实现
集群规划配置步骤一、 前提准备1） 安装好Hadoop2.0集群 《==参考《HA+Federation集群实现（七）》及以前的文章2） 安装好zookeeper集群二、修改如下配置文件1） yarn-site.xml2） mapred-site.xml3） yarn-env.sh三、启动服务1） 启动HDFS2） 启动YAR
2017-03-28 10:29:40
850
原创 Hadoop 1.2.1 伪分布升级到 2.6.0伪分布（八）
Hadoop 1.2.1伪分布式搭建一 创建目录mkdir -p /hadoop/hadoop/data/dfs/namemkdir -p /hadoop/hadoop/data/dfs/datamkdir -p /hadoop/tmpchown -R hadoop:root /hadoop二 解压hadoop 1.2.1到hadoop[hadoop@hadoo
2017-03-24 16:39:04
780
原创 HA+Federation集群实现（七）
集群规划配置步骤1、core-site.xml1）整合Federation和HA的配置2、hdfs-site.xml1）添加新增节点配置3、启动服务1）zookeeper2）journalnode3）datanode4）namenode5）zkfc实施步骤在原有的ha基础上进行配置，即基于《基于ZK自动切换模式的实现（六）》的基础之上进行
2017-03-24 09:55:20
399
原创 基于ZK自动切换模式的实现（六）
配置自动切换模式（1）配置zookeeper集群（2）开启自动切换模式在hdfs-site.xml中配置dfs.ha.automatic-failover.enabled参数（3）配置zookeeper实例在core-site.xml中配置ha.zookeeper.quorum（4）初始化zookeeper（5）启动journalnode，namenode和datano
2017-03-21 15:47:49
727
原创 使用QJM构建HDFS HA架构（五）
集群规划，在以前的文档中我已经搭建好一个hadoop2.6.0的非集群环境，我们就在这个基础之上搭建HAQJM的集群实现方式一操作系统的基本配置（可以参考hadoop2.6.0三个节点集群环境搭建（一））二Hadoop的安装（可以参考hadoop2.6.0三个节点集群环境搭建（一））三hdfs-site.xml配置（HA）(1) HD
2017-03-20 15:32:51
419
原创 hadoop2.6.0集群复制因子更改（四）
一、查看当前文件副本个数[hadoop@master hadoop]$ hdfs dfs -lsr /lsr: DEPRECATED: Please use 'ls -R' instead.drwxr-xr-x - hadoop supergroup 0 2017-03-16 23:39 /systemdrwxr-xr-x - hadoop sup
2017-03-17 16:25:42
2039
原创 hadoop2.6.0删除集群节点（三）
一、修改master节点hdfs-site.xml，增加dfs.hosts.exclude参数[hadoop@master hadoop]$ vi hdfs-site.xml dfs.hosts.exclude /opt/hadoop/etc/hadoop/excludes
2017-03-17 15:41:55
431
原创 hadoop2.6.0添加集群节点（二）
一、新节点操作系统配置（可以参考hadoop2.6.0三节点集群环境搭建（一））(1) 主机名更改(2) Ip地址配置(3) /etc/hosts文件配置(4) Jdk安装(5) /etc/hosts文件配置防火墙关闭(6) Selinux关闭(7) vm.swappiness参数配置(8) 创建hadoop用户及目录(9) 无密码登入二、 更新所有
2017-03-17 14:01:49
937
原创 hadoop2.6.0三个节点集群环境搭建（一）
一、操作系统配置(1) 主机名更改(2) Ip地址配置(3) /etc/hosts文件配置(4) 无密码登入(5) Jdk安装(6) /etc/hosts文件配置防火墙关闭(7) Selinux关闭(8) vm.swappiness参数配置(9) 创建hadoop用户及目录(1)主机名更改：[root@elephant catchup
2017-03-16 16:17:18
1050
原创 Spark基础的transformation 和 action的函数操作
Spark基础的transformation和 action的函数操作函数示例：map函数：操作数据集：In [1]: rdd = sc.textFile("file:/home/training/training_materials/data/weblogs/2014-03-15.log")In [3]: rdd.map(lambda x: x
2017-03-15 13:57:33
510
转载 MapReduce工作原理
最近在研究Hadoop,发现网上的一些关于Hadoop的资料都是以前的1.X版本的,包括MapReduce的工作原理,都是以前的一些过时了的东西,所以自己重新整理了一些新2.X版本的MapReduce的工作原理下面我画了一张图,便于理解MapReduce得整个工作原理下面对上面出现的一些名词进行介绍ResourceManager：是YARN资源控制框架的中心模块
2017-03-15 09:54:18
418
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人