hadoop 3.0.0 alpha3 安装、配置

Hadoop-3.0.0环境搭建 硬件:两台以上不同机器,可以用虚拟机服务器上在vmware文件夹中有vmware的安装程序,也有虚拟机的镜像文件。需要的包在ftp上也有:jdk-8u161-linux-x64.tar.gz                                   hadoop-3.0.0.tar.gz系统:Ubuntu-17.0.4搭建步骤1. 修改hostname: ubuntu@ubuntu:~$... 阅读详情
1. 官网下载

 

 wget  http://mirror.bit.edu.cn/apache/hadoop/common /hadoop-3.0.0-alpha3/hadoop-3.0.0-alpha3.tar.gz 

..注意下载二进制(省时间)

1解压

tar -zxvf hadoop-3.0.0-alpha3-src.tar.gz  -C  /opt/  

cd /opt/

mv hadoop-3.0.0-alpha3/ hadoop3

3. 环境变量

vi /etc/profile

#Hadoop 3.0
export HADOOP_HOME=/opt/hadoop3
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile

4. 配置文件 hadoop3/etc/hadoop

1) hadoop-env.sh

注意: /usr/java/jdk1.8为jdk安装路径

2)core-site.xml

注意:hdfs://ha01:9000 中ha01是主机名

 

3) hdfs-site.xml

 

4) yarn-site.xml

注意:ha01是主机名

 

5) mapred-site.xml

注意:如果不配置mapreduce.admin.user.env 和 yarn.app.mapreduce.am.env这两个参数mapreduce运行时有可能报错。

 

6)workers

这里跟以前的slaves配置文件类似,写上从节点的主机名

 

5. 复制到其他节点

scp -r hadoop-3.0.0-alpha1 root@ha02:/usr/local

scp -r hadoop-3.0.0-alpha1 root@ha03:/usr/local

 

6. 启动

start-dfs.sh

start-yarn.sh

 

hdfs dfs -ls /

 

 

7. 运行wordcount

 hdfs dfs -cat /logs/wordcount.log

hadoop jar /usr/local/hadoop3/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.0.0-alpha1.jar wordcount /logs/wordcount.log /output/wordcount

注意: /usr/local/hadoop3是解压路径,/logs/wordcount.log是输入文件路径,/output/wordcount运行结果路径

查看运行结果: hdfs dfs -text /output/wordcount/part-r-00000

 

8. Web界面

http://ha01:9870/

http://ha01:8088/

hadoop-3.0.0.tar.gz Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求,可以以流的形式访问(streaming access)文件系统中的数据。 Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,则MapReduce为海量的数据提供了计算。[2] 立即下载

相关推荐

hadoop-3.0.0-winUtils.zip

hadoop3.0.0版本 winUtils 。如果本机操作系统是 Windows,在程序中使用了 Hadoop 相关的东西,比如写入文件到HDFS,则会遇到如下异常:could not locate executable null\bin\winutils.exe ,使用这个包,设置一个 HADOOP_HOME 环境变量,即可解决了。

win安装部署hadoop3.0.0并启动上传文件到HDFS

1.下载工具包(下载不方便的留邮箱) hadoop-3.0.0.tar.gz winutils-master.zip 2.正式上手 1.解压文件 hadoop-3.0.0.tar.gz winutils-master.zip 2.配置环境变量 Path最前面添加:;%HADOOP_HOME%\bin; 配置完cmd-> hadoop version 测试一下 下来就修改配置文件进入解压后的hadoop3.0.0->etc->hadoop目录 修改cor..

csanningdn的专栏 2423

hadoop-3.3.0.tar.gz

hadoop-3.3.0.tar.gz

Hadoop 3.0.0 (单机版)安装与配置与基础使用

大数据技术概述什么是大数据大数据的五V特性大数据的应用分布式文件系统---GFSHadooop概述什么是分布式文件系统什么是GFS(Google File System) 第一点:用户是怎样访问到需求数据的?第二点:为什么要把一个文件分成若干个chunk,一个chunk的大小为何设定为64M,一个文件的chunk要被分布在多个chunkserver中第三点:GFS的副本机制 HDFS安装部署以及文件配置

罗不丢的博客 1501

hadoop-3.0.0.zip

hadoop3.0的zip包,可以直接在windows下解压。

hadoop资源 hadoop-3.0.0.tar tar文件

hadoop资源 hadoop-3.0.0.tar tar文件

hadoop3.0 alpha1 安装配置

1. 官网下载 wget http://apache.fayea.com/hadoop/common/hadoop-3.0.0-alpha1/hadoop-3.0.0-alpha1.tar.gz 2. 解压 tar -zxvfhadoop-3.0.0-alpha1.tar.gz ln -shadoop-3.0.0-alpha1hadoop3 3. 环境变量...

weixin_30760895的博客 118

智能车实战——从ADC采集到PWM控制,让电磁车精准循迹

本文详细介绍了电磁循迹智能车的实现原理与实战技巧,涵盖从ADC信号采集、PWM控制到PID算法整定的全流程。通过STM32代码示例解析电感信号处理、差比和偏差计算及电机驱动等关键技术,帮助开发者快速掌握智能车精准循迹的核心方法,提升电磁车竞赛项目的开发效率。

weixin_29192211的博客 304

小白学习大数据之路——Hadoop3.0.0-alpha2 安装以及测试程序wordcount实践

2019独角兽企业重金招聘Python工程师标准>>> ...

weixin_34383618的博客 189

汽车级智能栅极驱动器深度解析 | 连载01:DRV871x-Q1系列产品架构与核心特性

集成度:单芯片集成多通道驱动器、电源管理、电流检测智能化:自适应控制算法,减少外部元件可靠性:多重保护机制,满足汽车级要求灵活性:SPI和硬件两种接口,适应不同应用需求。

VehSwHwDeveloper的博客 1159

使用Python下载ECMWF的ERA-5数据

一、注册账号 [官网]https://www.ecmwf.int/ 二、登录后获取下载key https://cds.climate.copernicus.eu/api-how-to 如图右侧红色框中的内容复制保存为TXT文件,并重命名为“.cdsapirc”,注意前面有点,保存在 C:\Users\username\.cdsapirc,(WINDOWS系统),username指当前电脑登录账户。 三、安装cdsapi库 以pycharm为例: 在pycharm中依次打开:File>setting

wise_sun的博客 7710

win7-eclipse-hadoop-plugins连接Linux hadoop3.0单机伪集群

hadoop3.0安装配置 linux下jdk的安装 说明一: 远程连接对本地hadoop版本、远程hadoop版本、eclipse版本都有严格的兼容性要求。建议本地和远程的hadoop使用相同且最新的版本,eclipse则从官网下载最新版本。我采用的版本如下: (1)本地和远程相同,hadoop版本:hadoop-3.0.0-alpha1 (2)eclipse版本:Vers

sum__mer的专栏 2426

机器学习-深嵌交叉验证(Nested Cross-Validation)

Section I: Code and Analyses 第一部分:代码 from sklearn import datasets from sklearn.model_selection import train_test_split from sklearn.preprocessing import StandardScaler from sklearn.svm import SVC from...

Santorinisu Blogs 2718

Hadoop 集群

创建Hadoop用户首先按 ctrl+alt+t 打开终端窗口,输入如下命令创建新用户 :sudo useradd -m hadoop -s /bin/bash这条命令创建了可以登陆的 hadoop 用户,并使用 /bin/bash 作为 shell。 接着使用如下命令设置密码,可简单设置为 hadoop,按提示输入两次密码:sudo passwd hadoop可为 hadoop 用户增加管理员权

暴走的二萌 1118

合宙ESP32C3实战:MPU6500六轴传感器数据读取与校准全解析

本文详细解析了如何使用合宙ESP32C3开发板读取和校准MPU6500六轴姿态传感器数据。从硬件接线、开发环境搭建到核心代码解析,提供了全面的实战指南,帮助开发者快速掌握传感器配置与数据处理技巧,适用于姿态控制、运动检测等应用场景。

weixin_27066963的博客 407

NVIDIA DGX Spark实战:如何在桌面上轻松运行200B参数大模型?

本文详细介绍了如何利用NVIDIA DGX Spark在桌面端轻松运行200B参数大模型。通过实战演示,从系统初始化、模型获取部署到内存管理与性能调优,重点解析了其统一内存架构如何解决本地推理的显存瓶颈,并探讨了进行轻量化微调(如LoRA)的可能性,为AI开发者和研究团队提供了高效的本地化大模型操作方案。

weixin_29054195的博客 886

hadoop3.0.0-alpha1+jdk1.8.0_121+ubuntu16.04LTS分布式搭建

Hadoop:Hadoop-3.0.0-alpha1     http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.0.0-alpha1/hadoop-3.0.0-alpha1.tar.gz jdk:jdk_1.8.0_121     http://www.oracle.com/technetwork/java/javase/downloa

qq_14884821的博客 1255

RICHARDSON-LUCY 去卷积简介

Lucy去卷积1.泊松过程及联合概率分布2.极大似然估计参考文献 1.泊松过程及联合概率分布 首先假设相机接收光子生成图像的过程符合泊松分布。 因此,一次曝光过程中,某像素位置接收到iii个光子的概率p(i)p(i)p(i)为: p(i)=exp⁡(−λ)⋅λii!\qquad\qquad p(i)=\exp(-\lambda)\cdot\cfrac{\lambda^{i}}{i!}p(i)=exp(−λ)⋅i!λi​ 那么针对一张M∗NM*NM∗N的图像,所有像素的联合概率分布可以描述为: P(I)=∏e

驽马十驾,功在不舍;锲而不舍,金石可镂。 8696

build hadoop2.0.3 alpha from source

Original source:   http://blog.csdn.net/hgd250/article/details/8697547 需要注意的是 hadoop2.0.3 alpha的编译,必须使用protobuf2.4.1. 使用 2.4.0,2.5.0均会失败。 1.安装JDK、Maven并设置环境变量 a) JDK安装配置过程省略 b) M

zhannk的专栏 2004

Spark Sql 连接mysql

转载请务必注明原创地址为:http://dongkelun.com/2018/03/21/sparkMysql/ 1、基本概念和用法(摘自spark官方文档中文版) Spark SQL 还有一个能够使用 JDBC 从其他数据库读取数据的数据源。当使用 JDBC 访问其它数据库时,应该首选 JdbcRDD。这是因为结果是以数据框(DataFrame)返回的,且这样 Spark SQL操作轻松或便......

主要分享大数据相关的知识,如Spark、Hudi 1万+

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

上一篇: 集群使用初步
下一篇: vim常用快捷键
github_39294367
博客等级 码龄9年 33粉丝 156原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值