ubuntu16 + jdk8 + hadoop2.7 安装

Apache Hadoop生态部署-安装Java8环境 阅读详情

1.安装JDK

2.解压hadoop 安装包至 /usr/local/hadoop 目录

3.启动ssh : ssh localhost

 关闭机器的防火墙 :
    ufw disable

4.配置hadoop:

进入/usr/local/hadoop/etc/hadoop/目录下,修改三个配置文件:

第一个文件core-site.xml

core-site.xml
 <!-- 指定HDFS老大(namenode)的通信地址 -->
    <property>
        <name>fs.default.name</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/tmp</value>
    </property>


第二个文件hdfs-site.xml

hdfs-site.xml
 <!-- 设置hdfs副本数量 -->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>

第三个文件hadoop-env.sh中找到如下行然后写入内容

# The java implementation to use.
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export HADOOP_HOME=/usr/local/hadoop/
export PATH=$PATH:/usr/local/hadoop/bin

接下来在系统环境变量中写入Hadoop的环境变量
vim /etc/environment

#在文件的结尾""之内加上
:/usr/local/hadoop/bin
:/usr/local/hadoop/sbin
4.

第一步格式化

hadoop namenode -format

启动hdfs

sbin/start-all.sh

显示进程

jps

5.出现namenode、datanode、jps、resourcemanager、nodemanager、secondarymanager 六个进程即成功

【大数据】Hadoop安装(VMware + 进入BIOS开启Intel VT-x + Ubuntu16.04 + Hadoop2.7.7 + jdk1.8.0) 环境:VMware+Ubuntu16.04+Hadoop2.7.7+jdk1.8.0 1、超稳进入BIOS,开启虚拟技术,Intel VT-x 左下角右键,设置,更新和安全,恢复,立即重新启动。疑难解答,高级选项,UEFI固件设置,重启。即可进入BIOS 选择configuration Intel virtual technology 选择Enable。 2、新建一个用户 sudo useradd –m hadoop –s /bin/bash sudo passwd hadoop su 阅读详情

相关推荐

Ubuntu16.04 Spark2.7.7伪分布式从零开始部署

因工作上的需要,尝试在一台Ubuntu16.04部署Spark,因为之前没有了解过Spark,故踩坑时部署了Local版和Standalone单机伪分布式版,现记录如下。 因为在部署Spark之前并未明确出Spark是什么,踩了相应的坑,故在此一并说明:Spark的目标是做一个分布式计算框架,因为是分布式所以它需要通讯(故需要安装SSH),有因为只是一个计算框架,所以其分布式数据来源需要由Hadoop的HDFS提供(故需要安装Hadoop),缺少SSH和HDFS,哪怕跑通,也是Local版。 1. Spar

BaideS的博客 575

(保姆级)Hadoop-3.3.6、jdk_8u381搭建(大数据入门)

保姆级带领新手小白,完成hadoop-3.3.6、jdk_8u381的搭建

hsh241817的博客 6320

Hadoop安装(ubuntu16.04+ hadoop-2.9.1.tar.gz+jdk-8u74-linux-x64.tar.gz)

hadoop详细安装,ubuntu16.04+ hadoop-2.9.1.tar.gz+jdk-8u74-linux-x64.tar.gz

hadoop 集群—安装篇(hadoop3.1.3,jdk8)

一、jdk安装。 首先准备好jdk安装包和hadoop亚压缩文件,并且上传到linux文件夹中。 1.先安装jdk,执行命令解压 tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/ 此处我解压到moudule文件夹中,这个文件夹就用来存放安装文件。执行安装成功后如图 2。配置jdk环境变量 cd vim /etc/profile/ 这个文件里面有一个显眼的for循环,就是让这个for循环中所有文件都生效。 本来我们可.

m0_47349178的博客 3465

Hadoop2.7.2LIUNX集群(2)所需JDK1.8.gz

Hadoop2.7.2LIUNX集群(2)所需JDK1.8.gzHadoop2.7.2LIUNX集群(2)所需JDK1.8.gzHadoop2.7.2LIUNX集群(2)所需JDK1.8.gzHadoop2.7.2LIUNX集群(2)所需JDK1.8.gz

hadoop3.2-jdk8u191

jdk-8u192-linux-x64.tar.gz,最后一个免费版, hadoop-3.2.0.tar 最新版hadoop xshell6免费版用于连接虚拟机

【大数据Hadoop】Hadoop 3.x 新特性总览

从功能上来说,Hadoop3比Hadoop2有些功能得到了增强,具体增加了哪些,后面再讲。JDK:在Hadoop2时,可以使用JDK7,但是在Hadoop3中,最低版本要求是JDK8,所以低于JDK8的版本需要对JDK进行升级,方可安装使用Hadoop3EC技术:Erasure Encoding 简称EC,是Hadoop3给HDFS拓展的一种新特性,用来解决存储空间文件。EC技术既可以防止数据丢失,又能解决HDFS存储空间翻倍的问题。

如切如磋,如琢如磨,臻于至善。 3110

QUIC 协议域名封堵:核心原理、关键技术与实现路径(C/C++代码实现)

随着 QUIC 协议在互联网领域的广泛应用,其基于 UDP 的传输特性与加密设计,打破了传统 TCP 协议下的域名封堵逻辑,给网络合规管理与安全防护带来新的技术难题。本文将脱离具体代码实现,聚焦 QUIC 协议域名封堵的核心原理、关键技术环节与实际落地路径,从协议特性本质出发,解析如何在遵循 RFC 9000、RFC 9001 等规范的前提下,实现对 QUIC 流量的精准域名封堵。

chen1415886044的博客 1465

Hadoop安装全教程 Ubuntu14.04+Java1.8.0+Hadoop2.7.6

最近听了一个关于大数据的大牛的经验分享,在分享的最后大牛给我们一个他之前写好的关于大数据和地理应用demo。这个demo需要在Linux环境上搭建Hadoop平台。这次就简单的分享一下我关于在Linux虚拟机上搭建Hadoop平台的一些经验和遇到的一些问题以及问题的解决办法。 首先我们这次搭建的环境是hadoop。hadoop实现了分布式文件系统,它可以部署在一些廉价的硬件环境上,...

weixin_30251829的博客 472

汽车以太网- IEEE 802.3标准

关于汽车以太网,大家看到最多的标准大概就是IEEE802.3bw,也就是我们车内使用的百兆以太网,专业称呼是100BASE-T1,该标准是车内百兆以太网的物理层协议,是我们学习汽车以太网必须要了解的协议。在正式了解协议之前,我们先介绍下什么是IEEE802.3标准。............

weixin_39974126的博客 7106

PIN限幅二极管在接收机中的应用

本文介绍了接收机保护限幅器的工作原理及应用,重点阐述了PIN二极管在雷达收发机中的关键作用。文章指出,限幅器能有效保护接收机灵敏元件免受大功率信号损害,主要通过反射而非耗散功率来实现保护功能。文章详细分析了PIN二极管的层结构特性及其阻抗变化机制,解释了多级限幅器的设计原理(包括清理级和粗限幅器的配合使用),并介绍了通过添加检波二极管降低阈值水平的方法。最后指出,实际应用中限幅器通常采用3级或更少的设计。

weixin_49761275的博客 2370

Ubuntu16.04 下安装单机版 hadoop

Ubuntu16.04 下安装单机版 hadoop

zbzzzz的博客 2271

地统计插值学习心得(一)

(创建地统计图层工具用于根据现有的地统计图层或者地统计模型来创建包含新要素数据集的地统计图层,也就是使用构建好的地统计模型用到新的数据集中)这表明,远离极值的区域预测不受极值的影响,并且还表明,包括极值会导致钼元素浓度高的区域周围的预测明显变高。通常,我们使用同一个数据集进行建模和预测,但是在实际插值过程中,这两步的数据可以是不同的,这就是处理极值的诀窍。如果你的数据集有无法忽略的极值时(比如这些钼元素浓度),一种常见的方法是首先显式移除极值进行建模,然后在预测中使用整个数据集(包括极值)。

JData_Engineer的博客 286

实验二 Hdoop2.7.6+JDK1.8+SSH的安装部署与基本操作

例如:随着人工智能的不断发展,机器学习这门技术也越来越重要,很多人都开启了学习机器学习,本文就介绍了机器学习的基础内容。提示:以下是本篇文章正文内容,下面案例可供参考例如:以上就是今天要讲的内容,本文仅仅简单介绍了pandas的使用,而pandas提供了大量能使我们快速便捷地处理数据的函数和方法。

CREATED BY RICK. 1022

基于Simulink的自适应反步法(Adaptive Backstepping)控制​

本文针对非线性系统控制中未知参数和强非线性耦合的挑战,提出基于Simulink的自适应反步法解决方案。通过融合参数在线估计与反步递归设计,该方法显著提升了永磁同步电机(PMSM)速度控制的鲁棒性,使跟踪误差从20%降至3%,参数估计收敛时间小于0.5秒。文章详细阐述了从算法推导到Simulink实现的完整流程,包括系统架构设计、核心算法推导(以PMSM为例)、模块化建模方法、参数优化策略以及工程部署建议。提供的自适应控制器MATLAB代码和关键参数表可直接应用于实际工程,为电机驱动、机械臂等非线性系统控制提

xiaoheshang_123的博客 101

TDS水质检测传感器原理图设计,已量产(液体传感器)

最近调试了一款针对生活用水、水培系统的 TDS 水质检测模块 —— 毕竟 TDS(总溶解固体)值直接关联水的洁净程度,是这类场景里既实用又易获取的水质指标。下面拆解下这个电路的设计逻辑,说说每个部分是怎么配合实现精准检测的。

不脱发的程序猿 1538

windows 下安装虚拟机VMware+ubuntu+winCP+jdk+hadoop(伪分布)+hbase

buntu16.04+jdk1.8+hadoop2.7.3+Hbase1.2.6 安装配置 步骤一、准备资源 1、虚拟机安装好(ubuntu16.04) 2、安装好 winscp(window 向 linux 文件传输用) 3、下载好 jdk(jdk1.8),根据你自己机器的位数和系统,下载相应的版本 https://www.oracle.com/technetwork/jav...

西瓜刀的博客 3958

apollo-减速带通行

主车在通过减速带时速度不超过3m/s

是菜鸟o的博客 389

Ubuntu+JDK1.8+Hadoop2.7平台搭建

VM+Ubuntu16下:网络配置+JDK1.8+Hadoop2.7.1 1. 安装Vmware WorkStation 2. 安装centos/Ubuntu 3. 设置固定IP 4. 使用xshell和fz连接Linux操作系统 5. 配置ssh免密登录,配置主机名 6. 上传jdk安装包,解压,配置运行环境(重要) 7. 上传Hadoop安装包,解压,配置运行环境。(重要) 8. 配置Hado...

qq_43114666的博客 332

卫星遥感影像处理:地物分类与变化检测

卫星遥感影像处理:地物分类与变化检测​ ,人工智能,计算机视觉,大模型,AI,卫星遥感技术通过搭载在卫星上的传感器获取地球表面的电磁波信息,为地物分类与变化检测提供了宏观、动态的观测数据。随着高分辨率遥感卫星(如高分系列、哨兵系列)的发展,遥感影像的空间分辨率、光谱分辨率和时间分辨率不断提升,为精准地物识别和动态变化监测奠定了基础。地物分类旨在将遥感影像中的像元按地表覆盖类型(如植被、水体、建筑、农田等)进行分类,而变化检测则通过对比不同时期的影像,识别地表覆盖的变化区域(如城市扩张、森林砍伐、土地退化等)

不踩坑,不知道坑有多深;不总结,踩过的坑白踩。 17万+

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

Ubuntu16.04下Hadoop环境搭建

本文参考自https://www.cnblogs.com/87hbteo/p/7606012.html 1.准备 1.1 创建Hadoop用户

weixin_44647073的博客 417

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

Ubuntu14.04或16.04下安装JDK1.8+Scala+Hadoop2.7.3+Spark2.0.2

为了将Hadoop和Spark的安装简单化,今日写下此帖。 首先,要看手头有多少机器,要安装伪分布式的Hadoop+Spark还是完全分布式的,这里分别记录。 1. 伪分布式安装 伪分布式的Hadoop是将NameNode,SecondaryNameNode,DataNode等都放在一台机器上执行,Spark同理,一般用于开发环境。 1.1 准备工作 系统准备:一台Ubunt...

weixin_30654583的博客 131

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

Ubuntu配置hadoop+eclipse+mapdreuce

运行环境 Ubuntu16.04 JDK1.8 hadoop2.7.1 eclispe2018 所需环境链接 链接:https://pan.baidu.com/s/1HqfrArKla_VIPe2qtbC_OQ 提取码:klbx JDK配置 下载JDK压缩包 jdk-8u151-linux-x64.tar.gz 创建目录存放所有运行所需环境,路径如下图(可按需修改) mkdir environment jdk压缩包放到environment目录下 解压 tar -zxvf jdk-8

liukaipoppies的博客 2510

HADOOP框架搭建记录

详细步骤如下安装VMware15pro安装Ubuntu16.04设置Ubuntu1.设置语言(如果你想用中文的话)2. 实现Linux与Windows的互相复制与粘贴3. 软件更新服务器选择问题安装JDK8SSH无密码登录安装Hadoop 安装VMware15pro 一定下载VMware15pro以上。因为版本稳定问题与搭配问题。 安装Ubuntu16.04 VMware 15pro安装成功后如下所示: 然后,点击新建虚拟机: 之后,选择你下载的ubuntu16.04的光驱,如下所示: 再之后,设置l

user_lib的博客 220

Spark 2.1.0 环境搭建

岂可修 spark1.6已经不够用了,为了教学需要安个spark2.1.0

aKLqian的博客 1342

Ubuntu安装Hive,并使用Mysql作为元数据库

版本信息:Ubuntu:16.04JDK:1.8.0_144Hadoop:2.7.4Hive:2.1.1MySQL:5.7.22今天捣鼓了一下午关于Hadoop集群安装Hive,遇到了一些问题,在此记录下来。在安装Hive之前,需要确保JDK,Hadoop安装完毕,在此不做赘述,网上教程一大堆。1.安装MySQL:这个安装很简单,因为我已经是登录root账户,所以直接shell依次键入:(1)su...

Hiwes的博客 1298
上一篇: linux
下一篇: Python for Mysql
Joker_Chou
博客等级 码龄11年 2粉丝 6原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值