- 博客(10)
- 收藏
- 关注
RSS订阅原创 Hadoop群起脚本及(Zookeeper&kafka)
详细脚本如下群起Hadoop#!/bin/bashecho "=======================正在开启集群服务======================"echo "********************正在开启NameNode(master)节点*******************"ssh hadoop@master '/opt/module/hadoop-2.7....
2019-12-28 11:01:28
217
原创 Hadoop搭建期间的一些注意点(历史服务器、日志聚集)
Hadoop搭建期间的一些注意点①配置历史服务器配置mapred-site.xml[leedon@hadoop101 hadoop]$ vi mapred-site.xml启动历史服务器[leedon@hadoop101 hadoop-2.7.2]$ sbin/mr-jobhistory-daemon.sh start historyserver查看JobHistoryhttp...
2019-12-26 17:33:46
251
原创 集群时间同步
时间同步的方式：找一个机器，作为时间服务器，所有的机器与这台集群时间进行定时的同步如:每隔十分钟，同步一次时间。配置时间同步具体实操：时间服务器配置（必须root用户）（1）检查ntp是否安装[root@hadoop102 桌面]# rpm -qa|grep ntpntp-4.2.6p5-10.el6.centos.x86_64fontpackages-filesystem-...
2019-12-26 17:23:07
249
原创 编写集群分发脚本xsync
scp（secure copy）安全拷贝（1）scp定义：scp可以实现服务器与服务器之间的数据拷贝。（from server1 to server2）（2）基本语法scp -r $pdir/$fname $user@hadoop$host:$pdir/$fname命令 递归 要拷贝的文件路径/名称 目的用户@主机:目的路...
2019-12-26 14:18:39
428
原创 简单分布式集群配置
配置集群/分布式环境基本布局如下：集群/分布式模式需要修改 etc/hadoop 中的5个配置文件，后四个文件可点击查看官方默认设置值，这里仅设置了正常启动所必须的设置项： slaves、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml 。1, 文件 slavemasterslave1slave22, 文件...
2019-12-26 13:29:00
345
原创 SSH无密登录配置
配置ssh（1）基本语法ssh另一台电脑的ip地址（2）ssh连接时出现Host key verification failed的解决方法[hadoop@master opt] $ ssh 192.168.1.103The authenticity of host '192.168.1.103 (192.168.1.103)' can't be established.RSA ke...
2019-12-26 12:56:14
227
原创 集群搭建前期的准备工作（配置linux）
1.Linux系统进行配置①配置静态IP执行命令打开配置文件vim /etc/sysconfig/network-scripts/ifcfg-eno1添加如下选项，具体指可以参照ifconfig命令的结果数据IPADDR=192.168.1.99 # 静态ip地址NETMASK=255.255.255.0 # 子网掩码NM_CONTROLLE...
2019-12-26 10:28:19
182
原创 Centos镜像下载
Centos镜像下载(一个你值得收藏的镜像站点)举例 centos6.5：centos6.5系统安装1、首先打开网易开源镜像站: http://mirrors.163.com/当然，大家也可以使用阿里开源镜像站：http://mirrors.aliyun.com/ 2、点击进入centos目录。3、因为我们选择安装centos6.5版本系统，所以点击进入6.5/目录4、我们打开里面的...
2019-12-25 10:51:51
152
原创 linux中安装mysql时报错解决方案（file /usr/share/mysql/charsets/README from install of MySQL-server-5.6.24-1.el）
报错内容如下： rpm -ivh MySQL-server-5.6.24-1.el6.x86_64.rpm准备中... ################################# [100%] file /usr/share/mysql/charsets/README from install of MySQL-serv...
2019-12-13 14:12:30
7205
14
原创 关于hive配置异常---启动时出现 Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClie
关于hive配置异常—启动时出现 Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClientLogging initialized using configuration in jar:file:/opt/module/hive/lib/hive-common-1.2.1.jar!/hiv...
2019-12-13 14:01:31
411
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人