hadoop搭建
关注
分享
扫一扫
more younger
这个作者很懒，什么都没留下…
展开
-
ssh免密钥登陆
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Ma...转载 2019-02-24 12:41:09 · 276 阅读 · 0 评论 -
Hadoop的HA搭建
hadoop2.0已经发布了稳定版本了，增加了很多特性，比如HDFS HA、YARN等。最新的hadoop-2.6.4又增加了YARN HA注意：apache提供的hadoop-2.6.4的安装包是在32位操作系统编译的，因为hadoop依赖一些C++的本地库，所以如果在64位的操作上安装hadoop-2.6.4就需要重新在64操作系统上重新编译（建议第一次安装用32位的系统，我将编译好的6...转载 2019-03-20 00:42:15 · 154 阅读 · 0 评论 -
客户端操作HDFS
客户端操作HDFS1、使用shell命令-help功能：输出这个命令参数手册-ls功能：显示目录信息示例： hadoop fs -ls hdfs://hadoop-server01:9000/备注：这些参数中，所有的hdfs路径都可以简写–>hadoop fs -ls / 等同于上一条命令的效果-mkdir功能：在hdfs上创建目录示例：hadoop fs -mk...原创 2019-03-04 13:53:10 · 404 阅读 · 0 评论 -
YARN上运行MapReduce程序
YARN上运行MapReduce程序主机名：hadoop101执行步骤（1）配置集群（a）配置yarn-env.sh配置一下JAVA_HOMEexport JAVA_HOME=/usr/java/default（java的 安装路径）（b）配置yarn-site.xml yarn.nodemanager.aux-services mapreduce_shuffleya...转载 2019-02-25 00:29:40 · 425 阅读 · 0 评论 -
hadoop搭建：历史服务配置启动
历史服务配置启动查看1）配置mapred-site.xmlmapreduce.jobhistory.addresshadoop101:10020 mapreduce.jobhistory.webapp.address hadoop101:19888### 2）查看启动历史服务器文件目录：[root@hadoop101 hadoop-2.7.2]# ls sbin/...转载 2019-02-25 00:19:26 · 2744 阅读 · 0 评论 -
centos升级glibc
CentOS6升级glibc库过程hadoop无法加载native库，可能原因是 glibc库版本过低，需要升级。第一：安装以下软件yum -y install zlib zlib-devel gcc gcc-c++ libtool openssl openssl-devel automake autoconf libtool pcre*第二、查看系统glibc版本库strings /l...转载 2019-02-25 00:09:33 · 1621 阅读 · 0 评论 -
配置hadoop（伪分布式模式）
配置hadoop（伪分布式模式）参考hadoop官网1. 配置免密钥登录2. 配置jdk配置jdk环境变量：使用 rpm -ivh安装jdk之后默认装在/usr/java/default3. 配置hadoop-env.sh文件4. 配置etc/hadoop/core-site.xml文件5. 配置etc/hadoop/hdfs-site.xml文件6. 配置etc/hado...原创 2019-02-24 14:58:27 · 371 阅读 · 0 评论 -
将VMware的linux虚拟机设置成静态ip
如何配置虚拟机下的Centos静态ip1、 配置虚拟机的虚拟路由器### 2、 配置物理主机的虚拟网卡（VMNET8）3、 配置虚拟主机Centos的网卡vi /etc/sysconfig/network-scripts/ifcfg-eth0，添加以下内容：ONBOOT=yesNM_CONTROLLED=yesBOOTPROTO=noneIPADDR=192.168.137.1...原创 2019-02-24 13:56:23 · 322 阅读 · 0 评论 -
使用VMware克隆虚拟机
使用 VMware实现克隆选中要克隆的虚拟机，虚拟机->管理->克隆解决克隆后eth0不见的问题第一步：直接修改 /etc/sysconfig/network-script/ifcfg-eth0删掉UUID HWADDR然后更改ip地址第二步：然后：rm -rf /etc/udev/rules.d/70-persistent-net.rules第三步：修...原创 2019-02-24 13:50:49 · 184 阅读 · 0 评论 -
在linux上搭建ftp服务器
搭建ftp服务器1）安装vsftpdyum install vsftpd2）配置vsftpd配置文件vi /etc/vsftpd/vsftpd.conf=》禁止匿名访问将配置文件中”anonymous_enable=YES “改为 “anonymous_enable=NO”=》所有的用户均不能通过cd切换到其他目录chroot_local_user=YESchroot_list_...原创 2019-02-24 12:44:03 · 134 阅读 · 0 评论 -
完全分布式部署Hadoop
完全分布式部署Hadoop分析：1） 准备3台客户机（关闭防火墙、静态ip、主机名称）a) 配置主机名及主机名与ip的映射vi /etc/sysconfig/network（修改主机名）vi /etc/hosts（配置主机名与ip的映射关系）2）安装jdk（rpm）3）配置环境变量 vi ~/.bash_profile 加入俩行： export JAVA_HOME=/u...原创 2019-03-19 00:53:47 · 282 阅读 · 0 评论