
hadoop
hadoop的相关问题
秋雨ヾ
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Hadoop完全分布式模式
进入apache官网,查看hadoop的版本,下载tar包(这里使用的是2.7.2版本)也可以进入国内开源镜像网站下载tar包1.解压tar包tar -zxvf hadoop-2.7.2.tar.gz2.进入解压之后的hadoop文件cd hadoop-2.7.23.查看文件安装路径pwd#我的安装路径/opt/hadoop-2.7.24.配置环境变量打开 /etc/profile文件vim /etc/profile添加以下内容#HADOOP_HOMEexport H原创 2021-02-04 19:44:34 · 212 阅读 · 0 评论 -
安装java(jdk)
上传压缩包:jdk-8u221-linux-x64.rpm因为上传的jdk安装包是rpm,所以直接安装即可yum -y install jdk-8u221-linux-x64.rpm查看jdk安装在哪了代码--whereis javacll /usr/bin/javacll /etc/alternatives/javaccd /usr/java/jdk1.8.0_221-amd64/ll配置jdk的环境变量打开 /etc/profile文件vim /etc/profile原创 2020-08-10 09:23:52 · 184 阅读 · 0 评论 -
安装hadoop高可用
进入apache官网,查看hadoop的版本,下在tar包(这里使用的是3.2.1版本)解压tar包tar -zxvf hadoop-3.2.1.tar.gz修改配置文件1.配置:hadoop-env.sh修改JAVA_HOME=/usr/ java/ jdk1.8.0 221- amd642.配置core-site.xml<?xml version="1.0" encoding="UTF-8"?><?xml-stylesheet type="text/xsl" hre原创 2020-07-20 17:18:43 · 286 阅读 · 0 评论 -
hive,spark,kafka,hbas习题
单选题1.NodeManager下面不是它的功能的是()A.单个节点上的资源管理B.处理来自ResourceManager的命令C.处理来自ApplicationMaster的命令D.资源分配与调度(yarn)原创 2020-06-01 23:12:15 · 758 阅读 · 0 评论 -
什么是序列化?为什么要序列化?
序列化 :将对象的状态信息转化为可以存储或者传输的形式过程。在序列化期间,对象将其状态写入到临时或者持久性存储区。以后,可以通过从存储区读取或反序列化对象的状态,重新创建该对象。 当两个进程在进行远程通信时,彼此可以发送各种类型的数据。无论是何种类型的数据,都会以二进制序列的形式在网络上传送。发送方需要把这个对象转换为字节序列,才能在网络上传送;接收方则需要把字节序列再恢复为对象。把对象转化为字节序列的过程称为对象的序列化把字节序列恢复为对象过程称为对象的反序列化为什么要序列化?序列化的目的就原创 2020-06-01 20:53:04 · 2399 阅读 · 1 评论 -
Error: JAVA_HOME is incorrectly set. Please update F:\hadoop\conf\hadoop-env.cmd
Error: JAVA_HOME is incorrectly set. Please update F:\hadoop\conf\hadoop-env.cmd解决方法打开对应路径下的hadoop-env.cmd将set JAVA_HOME=%JAVA_HOME%更换为jdk的绝对路径set JAVA_HOME="E:\Development Software\Java\jdk1.8....原创 2019-11-12 17:16:14 · 215 阅读 · 0 评论 -
hadoop 解除 "Name node is in safe mode"
hadoop 解除 “Name node is in safe mode”解决的命令:hadoop dfsadmin -safemode leave #关闭safe mode可以通过dfsadmin -safemode value 来操作安全模式,参数value的说明如下:enter - 进入安全模式leave - 强制NameNode离开安全模式get - 返回安全模式是否开启的...原创 2019-11-12 14:13:50 · 437 阅读 · 0 评论 -
Hadoop完全分布式配置步骤
1.克隆三台虚拟机例:hadoop101 NN DN NMhadoop102 RM DN NMhadoop103 2NN DN NM分析:hadoop101里配置namenodehadoop102里配置resourcemanagerhadoop103里配置SecondaryNameNodeDN(datanode) NM(na...原创 2019-11-11 22:01:20 · 828 阅读 · 0 评论 -
大数据技术之Hadoop(入门)
大数据技术之Hadoop(入门)第1章 大数据概论1.1 大数据概念大数据概念如图下图所示。 图2-1 大数据概念1.2 大数据特点(4V)大数据特点如图2-2,2-3,2-4,2-5所示 图2-2 大数据特点之大量 图2-3 大数据特点之高速 图2-4 大数据特点之多样 图2-5 大数据特点之低价值密度1.3 大数...原创 2019-11-11 20:21:49 · 467 阅读 · 0 评论