- 博客(22)
- 收藏
- 关注
RSS订阅原创 mapreduce on yarn的工作流程
当client提交一个任务后,首先resourceManger(RM)来调度出一个container,这个container是在nodeManger(NM)运作的, client直接和这个container所在的NM进行通信,在这个container中启动applicationMaster(AM),启动成功之后,这个AM将全权负责此次任务的进度,失败原因(在一次job中只有一个A...
2016-05-21 14:40:33
684
zookeeper实现namenode的高可用(HA)(第三篇)
此篇的目的是怎么检错以及原理 192.168.159.31(node1) Namenode 192.168.159.32(node2) zookeeper Datanode JN(JournalNode) 192.168.159.33(node3) zookeeper Datanode JN 1...
2016-03-27 22:54:39
1080
利用zookeeper来实现namanode的高可用(HA)(第二篇)
利用zookeeper来实现namanode的高可用(HA)(第二篇,接上篇) 机器设备:为了叙述方面 采用nodeX的形式来表示主机名 192.168.159.31(node1) Namenode 192.168.159.32(node2) zookeeper Datanode JN(JournalNode) ...
2016-03-27 22:32:31
297
zookeeper环境的搭建,来实现namenode的高可用(HA)(第一篇)
zookeeper来实现namenode的高可用(HA)(第一篇,此篇讲解搭建zookeeper环境) 机器设备:为了叙述方面 采用nodeX的形式来表示主机名 192.168.159.31(node1) Namenode 192.168.159.32(node2) zookeeper Datanode JN(JournalNo...
2016-03-27 21:58:02
530
DataNode启动失败解决
DataNode启动失败解决 第一步:查看日志 打开DataNode上的hadoop日志 在hadoop/logs下 查看类似于 hadoop-root-datanode-node3.log 查看错误 在日志中会看到 类似于这样的错误 Incompatible clusterIDs in /usr/hadoop/tmp/dfs/data: nameno...
2016-03-25 15:42:38
463
原创 hadoop集群环境的搭建
hadoop集群环境的搭建 此处所用hadoop版本为2.5.2 可以从官网上下载 然后解压 我是解压在了/usr/hadoop 下 (目录随自己习惯) 设备 192.168.159.31 NameNode 192.168.159.32 DataNode 192.168.159.33 DataNode ==============...
2016-03-24 21:48:16
160
原创 keepalived + nginx + tomcat+memcache+负载均衡时session共享
第一步: 在tomcat中memcached的jar包 第二步: 修改tomcat/conf/context.xml 添加: <Manager className="de.javakaffee.web.msm.MemcachedBackupSessionManager" memcachedNodes="n1:192.168.159.31:...
2016-03-23 17:00:49
174
keepalived + nginx + tomcat+memcached+高可用主从热备+负载均衡
keepalived + nginx + tomcat来实现HA的负载均衡(HA=高可用) 注: 此文未考虑session共享 ---> 负载均衡tomcat时利用memcached实现session共享 请参考另一篇博客 设备: 两台keepalived + nginx keepalived和nginx同一台服务器都要安装 IP为 192.168.1...
2016-03-22 16:53:04
212
原创 keepalived+lvs 来实现负载均衡
设备:2台realserver ; 2台(keepalived+lvs) 注:此处的虚拟IP为: 192.168.159.200 第一步: 在realserver主机上运行 这样做的目的是为了把虚拟VIP 隐藏 一: echo 1 > /proc/sys/net/ipv4/conf/eth0/arp_ignore echo 1 > /proc/sy...
2016-03-21 21:59:41
137
原创 LVS的DR模式 使用ipvsadm 操作步骤
LVS DR模式 (这个使用的是ipvsadm,没有使用keepalived,另一篇博客介绍) 注: DR虚拟机和realserver不是同一个虚拟机 第一步: 在DR虚拟机上运行 目的是添加虚拟主机 ifconfig eth0:1 192.168.159.200/24 运行了之后可以在cmd中 ping下 试试能不能ping通 第二步: 在real...
2016-03-20 22:55:30
378
原创 HDFS的运行原理,NameNode,DataNode,client介绍
HDFS（Hadoop Distributed File System ）Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS（Google File System）Google 文件系统（中文，英文）。 HDFS有很多特点： ① 保存多个副本，且提供容错机制，副本丢失或宕机自动恢复。默认存3份。 ② 运行在廉价的机器上。（商用机） ③ ...
2016-03-18 16:46:27
1014
原创 echo "密码" | passwd --stdin
[size=medium]echo "密码" | passwd --stdin root 这行命令 可以修改密码[/size]
2016-03-18 14:40:10
3865
原创 linux下利用ntpdate同步时间并定时更新时间
[size=medium]1,首先vim /etc/ntp.conf # For more information about this file, see the man pages # ntp.conf(5), ntp_acc(5), ntp_auth(5), ntp_clock(5), ntp_misc(5), ntp_mon(5). driftfile /var/lib/...
2016-03-18 00:02:59
1101
原创 LINUX虚拟机ping不通外网
[size=medium]LINUX虚拟机ping不通外网： ping 不通IP地址: ping 119.75.217.56 #百度IP地址无法ping通 检查网关是否设置正确：/etc/sysconfig/network GATEWAY=192.168.1.1 ping 不通域名: ping www.baidu.com 检查域名是否设置正确：/etc/resolv.conf...
2016-03-17 22:58:40
1835
原创 linux 利用crontab 来设置定时任务
[size=medium] vim /etc/crontab # Example of job definition: # .---------------- minute (0 - 59) # | .------------- hour (0 - 23) # | | .---------- day of month (1 - 31) # | | | .------...
2016-03-17 14:39:43
156
原创 linux源码安装mysql
[size=medium]///以下的步骤是我亲自安装时记录的,按着我的步骤做即可. 1:需要编译cmake 2:在编译mysql 下载cmake-3.5.0.tar.gz包和mysql-5.6.29.tar.gz安装包并解压.这里不再叙述 -----------------安装cmake----------------- yum -y install gcc gcc-c++...
2016-03-15 23:37:37
151
原创 Not using downloaded repomd.xml because it is older than what we have
yum clean all 即可; 若还是有问题 可以 yum check-update
2016-03-15 09:48:24
4332
2
原创 sublime3 安装anaconda后 代码出现白框的解决方法
使用anaconda插件而出现这些框框， 解决方法: Sublime > Preferences > Package Settings > Anaconda > Settings default 中设置关闭： {"anaconda_linting": false}
2016-03-02 11:07:22
745
原创 CentOS 6.5系统中YUM安装配置MySQL数据库
一、mysql简介 MySQL是一个关系型数据库管理系统，由瑞典MySQL AB公司开发，目前属于Oracle公司。MySQL是一种关联数据库管理系统，关联数据库将数据保存在不同的表中，而不是将所有数据放在一个大仓库内，这样就增加了速度并提高了灵活性。MySQL的SQL语言是用于访问数据库的最常用标准化语言。MySQL软件采用了双授权政策（本词条“授权政策”），它分为社区版和商业版，由于其体...
2016-02-29 23:18:30
149
原创 删除linux系统后,启动电脑报error:no such partition grub rescue>解决
当我们安装了双系统之后,想要删除linux系统,我这里提供一个方法. 1,进入windows系统,然后把linux的分区全部格式化 此时若直接启动电脑会报error:no such partition grub rescue错误 2,用U盘制作一个启动盘(推荐老毛桃) 3,从U盘启动电脑,进入PE界面,在桌面上找到分区工具 4,打开分区工具,然后选择重建MBR ...
2016-02-24 00:02:18
1411
1
原创 双系统(linux+window) 修改启动首选项
1）打开一个Terminal窗口（CTRL+ALT+T） 2）查找一下Windows操作系统的启动顺序号。 键入命令：cat /boot/grub/grub.cfg | grep menuentry 在下面的截屏中，你会看到“Windows 7...”是第五个入口，但是因为入口号的计数是从0开始的，那么真正的入口号应该是4。 3）编辑 /etc/default/gr...
2016-02-23 22:46:02
827
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人