
Hadoop
卡列宁的微笑66
这个作者很懒,什么都没留下…
展开
-
HDFS的I/O流操作
采用IO流的方式实现数据的上传和下载。package com.fczheng.hdfs;import java.io.File;import java.io.FileInputStream;import java.io.FileOutputStream;import java.io.IOException;import java.net.URI;import java.net....原创 2019-07-23 21:16:43 · 200 阅读 · 0 评论 -
Hadoop集群安全模式
基本语法:集群处于安全模式,不能执行重要操作(写操作)。集群启动完成后,自动退出安全模式。功能描述:查看安全模式状态hdfs dfsadmin -safemode get功能描述:进入安全模式状态hdfs dfsadmin -safemode enter功能描述:离开安全模式状态hdfs dfsadmin -safemode leave功能描述:等...原创 2019-08-23 20:34:34 · 467 阅读 · 0 评论 -
Hadoop分布式集群搭建详细步骤
主机名和ip映射如下: 192.168.1.110 hadoop110 192.168.1.111 hadoop111 192.168.1.112 hadoop112一、Linux环境准备1、更改主机名(注:次操作分别在hadoop110,hadoop111,hadoop112上操作)[hadoop@hadoop110 ~]$ su root[root@hadoop...原创 2019-07-23 00:11:02 · 344 阅读 · 0 评论 -
Hadooop分布式集群搭建之--ntp同步集群时间
时间同步方式:hadoop112作为时间服务器,hadoop113、hadoop114定时同步hadoop112的时间,每10分钟同步一次。配置时间同步具体实操:1、时间服务器配置(必须root用户)1、检查ntp是否安装[root@hadoop112 hadoop]# rpm -qa|grep ntpfontpackages-filesystem-1.41-1.1.el6.noarch...原创 2019-07-20 19:11:15 · 440 阅读 · 0 评论 -
Hadoop分布式集群搭建之--SSH无密登录配置
1、配置ssh实现hadoop100免秘钥登录hdoop101和hadoop102。2、免秘钥登录原理如下图所示:3、生成公钥和私钥:注:本操作hadoop用户已经创建,执行路径为/home/hadoop/.ssh[hadoop@hadoop100 .ssh]$ ssh-keygen -t rsa注:然后敲(三个回车),就会生成两个文件id_rsa(私钥)、id_rsa...原创 2019-07-22 20:47:46 · 452 阅读 · 0 评论 -
HDFS客户端的API操作
下面的代码对HDFS的客户端操作,即HDFS文件的上传,HDFS文件的下载,HDFS文件夹的删除,HDFS文件名的更改,HDFS文件详情的查看。代码如下:package com.fczheng.hdfs;import java.io.File;import java.io.IOException;import java.net.URI;import java.net.UR...原创 2019-07-22 20:03:04 · 225 阅读 · 0 评论 -
Hadoop的HA集群搭建详细步骤
一、环境准备1. 修改IP2. 修改主机名及主机名和IP地址的映射3. 关闭防火墙4. ssh免密登录5. 安装JDK,配置环境变量等二、集群规划表2-1 hadoop集群规划 hadoop112 hadoop113 hadoop114 NameNode NameNode Journ...原创 2019-07-31 20:08:17 · 569 阅读 · 0 评论