hadoop 学习(一) 安装hadoop环境

 

hadoop 安装使用需要依赖jdk的环境  首先安装jdk1.8 并配置环境变量

解压jdk后修改   vim /etc/profile 内容如下  

## java_home
export JAVA_HOME=/opt/module/jdk1.8.0_161
export PATH=$PATH:$JAVA_HOME/bin

目前jdk下载需要登录oracle账号   在此提供百度云下载地址

链接:https://pan.baidu.com/s/1zDlchkN5hhONB84FslthXw  密码:eyyl

安装完毕后下载hadoop   我下载的是2.7.7版本

6b5887270dc7ee077d6e24c48bac8564f50.jpg

再官网下载完毕后解压      配置环境变量 

## hadoop_home 
export HADOOP_HOME=/opt/module/hadoop-2.7.7
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

到此 hadoop就初步安装完成了

 

 

 

 

 

 

 

转载于:https://my.oschina.net/u/3618851/blog/3075763

Hadoop学习(一)Hadoop的安装 环境是VirtualBox虚拟机和Ubuntu操作系统,虚拟机和操作系统的安装见https://blog.csdn.net/zhangcjsyl/article/details/88142588 本文的参考文章:https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html#St... 阅读详情

相关推荐

hadoop学习笔记(一)——hadoop安装及测试

这几天乘着工作之余,学习了一下hadoop技术,跌跌撞撞的几天,终于完成了一个初步的hadoop的安装及测试,具体如下: 动力:工作中遇到的数据量太大,服务器已经很吃力,sql语句运行老半天,故想用大数据技术来改善一下 环境:centos5.11+jdk1.7+hadoop2.5.2 1.  伪分布安装步骤 关闭防火墙 修改ip 修改hostname 设置ssh自动登录

亡羊补牢 1万+

<Hadoop>Hadoop2.7安装步骤

Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,而MapReduce则为海量的数据提供了计算

毛毛派我来巡山 557

Linux实战:rMATS可变剪切分析从零到一,避坑指南与结果深度解析

本文详细介绍了在Linux系统上从零开始部署rMATS进行可变剪切分析的完整流程,包括环境搭建、安装避坑指南、参数优化及结果解读。特别针对gfortran依赖、数学库配置等常见问题提供解决方案,并深入解析JC与JCEC结果的差异及可视化技巧,帮助生物信息学研究者高效完成可变剪切分析。

weixin_30394669的博客 409

一、Linux下jdk、hadoop、zookeeper、hbase、hive安装

一、jdk安装 1.准备工作 ①.下载Hadoop-2.7.4和其对应的jdk版本 jdk-8u161:链接:https://pan.baidu.com/s/1Z1kDg_tgakA-Hx5VsakPQg 提取码:rel3 hadoop-2.7.4:链接:https://pan.baidu.com/s/1r5OwXFbuaByk45zADxfDNQ 提取码:nyt1 ②.为系统设置静态IP 参考此文章:centos7如何设置静态IP_庸人自扰665的博客-优快云博客_centos7配置静态ip

zxl061的博客 3215

Multisim实战:5分钟搞定一阶RC电路仿真(附示波器波形分析技巧)

本文通过Multisim软件,详细演示了如何快速搭建一阶RC电路并进行仿真分析。文章提供了从元件选取、电路连接、虚拟示波器设置到波形观测的完整流程,并重点分享了测量时间常数、区分电路响应类型等核心分析技巧,帮助电子工程初学者和爱好者高效掌握电路仿真与分析方法。

weixin_29175469的博客 182

避坑指南:ANSYS流固耦合计算中System Coupling数据传递设置与常见报错解决

本文深入解析ANSYS Workbench中System Coupling模块在双向流固耦合(FSI)计算中的应用,详细讲解数据传递机制、典型报错解决方案及高阶调试技巧。通过实际案例展示如何优化耦合步长、处理大变形问题,并提升并行计算效率,帮助工程师有效规避常见技术陷阱。

weixin_29213525的博客 729

hadoop 适配方案

一.hadoop2.7.7版本适配方案(已验证) 软件 版本 hadoop 2.7.7 jdk 8u221 hive 2.3.8 HBase 2.1.0 Spark 3.1.2 zookeep 3.6.3 二.hadoop3.2.x版本适配方案 软件 版本 所使用 hadoop 3.2.x 3.0.1 jdk 8 8u271 hive 3.1.2 3.1.2 HBase 2.3.x 2.3.6 Spark 2.2.2+ 3.0.0

tyh751734196的博客 745

机器人在果园内行巡检仿真(2D雷达、realsense相机)

DiffBot是一种具有两个轮子的自主差动驱动机器人。它的主要处理单元是一个运行Ubuntu Mate 20.04和ROS 1 (ROS Noetic)中间件的Raspberry pi4b。该存储库包含ROS驱动包、真实机器人的ROS控制硬件接口和模拟DiffBot的配置。修改配置文件orchard_world.launch。

如果想成为中心,那么就到中心去吧。 1312

Hadoop安装和配置

一、安装环境 硬件:虚拟机 操作系统:Centos 6.4 64位 IP:192.168.241.128 主机名:admin 安装用户:root二、安装JDK 安装JDK1.7或者以上版本。这里安装jdk1.7.0_79。 下载地址:http://www.oracle.com/technetwork/java/javase/downloads/index.html 1,下

饭桶一生奋斗 625

uniapp [全端兼容] - 详细实现下拉筛选菜单功能组件,下拉式筛选菜单效果,类似电商美团点击筛选项底部弹出列表点击选择后自动收起(详细示例代码,全端兼容小程序、安卓苹果app、h5网页、nvue

uni-app,vue2,vue3,向下弹出菜单包含筛选功能,日期筛选,下拉框选择器,下拉多条件筛选,下拉式筛选菜单,uniApp如何实现条件下拉筛选,Uniapp官方条件筛选组件,下拉框式条件筛选插件组件,最好用的插件组件,多端兼容,下拉菜单筛选,过滤筛选列表,下拉筛选栏,多列联动的条件筛选,下拉菜单地区和筛选,微信小程序,支付宝小程序,h5网页,移动端网站,安卓app,苹果app,nvue,uniapp所有平台兼容,下拉菜单筛选,下拉式条件筛选,下拉列表,点击排序,级联筛选,uniapp实现下拉筛选

🏆 前端领域优质创作者 1万+

【电源专题】Type-C母座外壳直接接主板GND还是接RC呢?别再纠结了!

Type-C屏蔽壳接地这件事,没有唯一标准答案。符合规范、贴合产品、能过认证,就是最优解。希望这篇文章能帮你理清思路。

一点硬件 601

大数据学习——安装Hadoop所需环境搭建

安装Hadoop所需环境搭建,练习测试仅限部分高校的学习系统使用,按照黄色点亮来做可以过关,蓝色不一定要执行。 编程要求 在右侧命令行中进行如下操作: 根据上述步骤完成安装Hadoop所需环境的搭建。 创建名为Hadoop的普通用户。 更新APT软件。 完成SSH的安装。 完成Java环境的安装。

weixin_57127999的博客 2271

PCL Fast Global Registration 快速全局配准(源码版)

Fast Global Registration(FGR)是一种经典的点云粗配准算法,已集成到Open3D和CloudCompare等软件中。本文介绍了该算法的源码实现及优化方法,包括如何通过修改源码直接读取点云进行配准,而不依赖文件中读取特征描述子。文章还提供了关键参数设置(如最大迭代次数、匹配距离等)。算法实现简单高效,未来计划发布基于纯PCL的版本。源码和论文链接已附上,供开发者参考。

点云侠的博客 383

C# Hadoop学习笔记(一)—环境安装

1,前期准备:官网下载“NuGet Package Manager”,按自己已有的VS环境下载对应版本; 2,利用NuGet下载Hadoop For .NET SDK,地址“http://hadoopsdk.codeplex.com/” 3,安装。

IT天空-我是一滴雨水 1万+

使用 Simulink 实现基于相控阵雷达的波束形成技术

摘要:本文详细介绍了利用MATLAB Simulink和Phased Array System工具箱实现相控阵雷达波束形成的完整流程。主要内容包括:1)创建Simulink模型;2)设计天线阵列参数;3)信号生成模块配置;4)波束形成算法实现;5)结果可视化方法;6)仿真调试与优化;7)代码导出与部署。通过分步指导,读者可以掌握从理论到实践的完整开发流程,包括关键参数设置和算法实现示例。该方案适用于军事、气象等领域的雷达系统开发,并支持后续嵌入式和智能算法集成。

xiaoheshang_123的博客 181

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

hadoop学习笔记(一)hadoop框架安装与Idea项目环境搭建

开始在章鱼大数据网站上学习hadoop框架,新手菜鸟一个,学习过程中遇到了很多问题,决定开个博客记录一下。  首先是hadoop环境的安装,用的是windows环境下的hadoop2.6.0,找eclipse的jar包找了好久,结果最后也没用上eclipse,在Idea中用maven部署的。 废话不多说,下面开始步骤。 hadoop官网下载:https://archive.apache.or...

Lee的学习笔记 1168

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

Hadoop学习(一)环境安装和集群创建

vmware直接百度下载安装 秘钥也能百度到 CentOS 7下载: 进入官网 https://www.centos.org/download/ 这里有三种 第一个是标准版 第二个是全部版 第三个是最小版 每个版本的大小都不一样,这里选择标准版下载。点第一个标准版进入镜像http://isoredirect.centos.org/centos/7/isos/x86_64/...

mingyunxiaohai的专栏 499

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

hadoop3.x学习(一)--安装与环境配置

将任务分发给每一台服务器,然后结果汇总到一台服务器。1.4 配置hadoop的环境变量。

qq_46624276的博客 1154

快速学习hadoop只有这些基础可不行

“学习hadoop需要什么基础”这已经不是一个新鲜的话题了,随便上网搜索一下就能找出成百上千篇的文章在讲学习hadoop需要掌握的基础。再直接的一点的问题就是——学Hadoop难吗?用一句特别让人无语的话回答就是:难不会,会不难! 趁着学校放假的时间,写了一些hadoop学习分享的文章。刚开始写的几篇稍微有点乱,其中有一篇就是在说学习hadoop需要什么样基础的。所谓的难不会,会不难,必然也...

adnb34g的博客 1947

学习hadoop需要什么基础

学习hadoop需要什么基础“学习hadoop需要什么基础”这已经不是一个新鲜的话题了,随便上网搜索一下就能找出成百上千篇的文章在讲学习hadoop需要掌握的基础。再直接的一点的问题就是——学Hadoop难吗?用一句特别让人无语的话回答就是:难不会,会不难!趁着学校放假的时间,写了一些hadoop学习分享的文章。刚开始写的几篇稍微有点乱,其中有一篇就是在说学习hadoop需要什么样基础的。所谓的难...

weixin_33798152的博客 100

hadoop学习(一)------------搭建单机本地运行环境

软件准备: 1.操作系统为ubuntu kylin 14.04 LTS  http://www.ubuntu.com/download/desktop 2.java SDK为jdk1.7.0_15  http://www.oracle.com/technetwork/java/javase/downloads/java-archive-downloads-javase7-52126

dd809477679的专栏 305

【开发环境】安装 Hadoop 运行环境 ( 下载 Hadoop | 解压 Hadoop | 设置 Hadoop 环境变量 | 配置 Hadoop 环境脚本 | 安装 winutils )

一、下载 Hadoop 二、解压 Hadoop 三、设置 Hadoop 环境变量 四、配置 Hadoop 环境脚本 五、安装 winutils 六、重启电脑 七、验证 Hadoop 安装效果

让 学习 成为一种 习惯 ( 韩曙亮 の 技术博客 ) 2万+

一、 配置安装hadoop环境

~ 代表的是用户的主文件夹,即 “/home/用户名” 这个目录,如你的用户名为 hadoop,则 ~ 就代表 “/home/hadoop/”进入/opt/hadoop-3.2.2/share/hadoop/mapreduce文件夹运行词频统计命令。则修改/opt/hadoop-3.2.2/etc/hadoop/ hadoop-env.sh。进入/opt/hadoop-3.2.2/etc/hadoop目录,编辑yarn-env.sh。表示执行用户身份错误,修改/etc/profile文件,增加以下配置。

m0_66115674的博客 3691

在windows环境下安装hadoop

Hadoop是一个分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。但这个架构是基于java语言开发的,所以要先进行jdk的安装,如果电脑已经配置过jdk或者是曾经运行成功过java文件,那就可以跳过第一步。

m0_51547272的博客 2404

超详细Hadoop环境搭建(一)——Linux的安装

在安装之前,我们需要准备:Linux镜像文件、VMWARE虚拟机 下面以CentOS 6.5为例进行安装 一、 创建虚拟机 1. 以管理员身份打开VMWARE软件 2. 选择创建新的虚拟机

han的博客 4962
上一篇: hadoop resourceManager 启动问题
下一篇: hadoop 学习(二) 启动hadoop伪集群模式
cheqiang4607
博客等级 码龄10年 1粉丝 0原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值