Hadoop本地模式安装

最新推荐文章于 2024-06-18 21:45:12 发布
最新推荐文章于 2024-06-18 21:45:12 发布
阅读量1.3k 收藏 1
点赞数 1
CC 4.0 BY-SA版权
分类专栏： hadoop 文章标签： hadoop 本地部署
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Henry_Lin_Wind/article/details/88802339

上官网下载合适的安装包 http://hadoop.apache.org/

 

1 把安装包放到合适的目录下，安装到 /usr/local

1、在安装包所在的文件夹，右击打开控制台 

2、解压安装包到指定的位置

tar -zxvf hadoop-2.9.2.tar.gz -C /usr/local

 

2 运行MapReduce程序来验证安装是否成功

1、用hadoop自带的wordcount例子来在本地模式下测试跑mapreduce 

在安装目录下新建一个input文件夹，从本地系统传送个txt文件到该文件夹。

 

 文件内容：to be or not to be ,that is a question!

2、在控制台中输入如下命令，input为输入路径，output为输出路径（统计input目录下所有文件的单词出现的次数）

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.2.jar wordcount input output

运行成功的话，会自动生成一个output的文件夹，里面包含如下文件(出现SUCCESS文件说明安装成功)

Hadoop完整搭建过程（一）：本地模式
氷泠
08-22 1587
1 本地模式 本地模式是最简单的模式，所有模块都运行在一个JVM进程中，使用的本地文件系统而不是HDFS，本地模式主要是用于本地开发过程中的运行调试用，下载后的Hadoop不需要设置默认就是本地模式。 2 环境变量 运行前请确保设置了JAVA_HOME环境变量，在~/.bashrc中设置即可，如果终端使用了zsh可以在~/.zshrc中设置： echo JAVA_HOME=/xxx/xxxx/xxx 3 测试 首先解压： tar -zxvf hadoop-3.3.0.tar.gz cd hadoop-3.
Hadoop windows本地环境安装
lockie的博客
10-25 8357
hadoop使用java编写，所以windows安装和java一样也需要配置环境变量。 一、下载所需文件 JDK下载地址，jdk1.8下载 Hadoop下载，hadoop下载，进去后找到一个版本然后点击 Binary download 下载到本地。 Hadoop windows环境编译工具，winutils下载 ，下载后解压出来  二、安装文件  jdk安装，jdk安装并不复杂，这里就不...
Hadoop本地安装
weixin_30802171的博客
04-29 105
安装JDK卸载已经安装的JDK安装sun公司的JDK安装Hadoop（本地方式）解压并安装启动测试程序 安装JDK 卸载已经安装的JDK rpm -qa|grep jdkrpm -qa|grep gcjyum -y remove java java-1.4.2.......115 安装sun公司的JDK 解压jdk-6u24-linux-i586.bin文件到/o...
Windows下的Hadoop安装（本地模式）
weixin_30823683的博客
05-19 394
时隔许久的博客。。 系统为Windows 10，Hadoop版本2.8.3。 虽然之前已经在Linux虚拟机上成功运行了Hadoop，但我还是在Windows上编码更加习惯，所以尝试了在Window上安装。 这里主要是归纳出安装过程的简要步骤和可能碰到的问题。 有两点要先注意的： Java和Hadoop的路径最好不要带空格，如果安装在如Program Files这样带空格的文件夹下，使用路径时可...
Hadoop本地安装教程
09-28
Hadoop本地安装教程，非常详细，实际操作证明可用，欢迎下载
【大数据技术】Hadoop单机环境搭建及配置：CentOS7下Hadoop本地模式安装与测试
04-17
最后，通过两个实例（grep和wordcount）测试了Hadoop在本地模式下的运行情况，确保所有配置正确无误。 适合人群：具有一定Linux基础和Hadoop入门知识的数据工程师或开发者，尤其是希望在本地环境中搭建和测试Hadoop...
搭建Hadoop本地模式、伪分布模式和全分布模式集群
三头六臂的博客
05-15 2790
1、环境准备 1.1、服务器和软件准备 服务器 内存 容量 系统 软件 版本 数量 linux 4g 100G centos8.0 jdk 1.8 5 hadoop 2.7.3 这里我用的云服务器（大家可以在自己的电脑安装虚拟机，配置内存可以调整为2g，容量的话60G就行），不方便透露服务器的IP，所以3台服务器的IP分别是A、B、C 、E和F hadoop软件下载可以到对应的官网下载hadoop-....
【Hadoop集群搭建】JDK安装及配置、Hadoop本地模式部署及测试
布丁椰奶冻的博客
06-18 2270
1. 熟悉 SSH 工具的使用方法 2. 掌握 JDK 安装及配置 3. 掌握 Hadoop 本地模式部署及测试
[Hadoop系列]Hadoop的安装-1.本地模式
重新开放
01-07 6239
　　inkfish原创，请勿商业性质转载，转载请注明来源（http://blog.youkuaiyun.com/inkfish）。　　Hadoop是Apache基金会下的一个开源云计算平台项目。当前最新版本是hadoop 0.20.1。下面就hadoop 0.20.1为蓝本，介绍在Ubuntu Linux 9.10下安装hadoop的方法。（来源：http://blog.youkuaiyun.com/inkfis
安装Hadoop本地模式
dizaoshen1316的博客
06-26 135
安装环境先从简单的来在学复杂的，先学单台Hadoop的安装在进行集群的搭建！ 安装准备工作： 1、熟悉Linux常用命令 ，能够使用rz进行上传安装包 2、Linux中安装软件编译软件另说，非编译软件的安装思路：上传-->解压-->软连接-->环境变量-->source 即可 3.Hadoop的底层代码是java写的，要想安装Hadoop必须先安装j...
Hadoop 3.1.0 本地安装和伪分布式安装步骤和踩坑详解
哇彩的博客
07-19 5190
一、Hadoop 安装 1.apache 官网下载hadoop tar.gz 上传到linux 服务器； 2.验证Linux 服务器是否有java环境，java -version；是否有JAVA_HOME,echo $JAVA_HOME; 3.配置Hadoop 环境变量，需要配置 hadoop目录下的 bin 和 sbin 目录 注：环境变量可在 ~/.bash_profile（只对当前用...
Hadoop本地模式
sulliy的专栏
01-08 8761
如何安装和配置Hadoop已经有很多资料可以查了，官方文档http://hadoop.apache.org/common/docs/r0.19.2/cn/quickstart.html。 但是还是经常会出一些问题。本地模式是推荐的开发模式，在Windows上配合Cygwin容易出错。 Hadoop的三种模式： 单机模式伪分布式模式完全分布式模式 分布式模式增加了Na
Windows本地安装Hadoop
邵奈一的博客
12-15 3627
文章目录0x00 文章内容0x01 下载并解压1. 下载Hadoop安装包2. 解压Hadoop安装包0x02 配置执行环境1. 配置环境变量2. 拷贝相关文件到相应目录0xFF 总结 0x00 文章内容 下载并解压 配置执行环境 0x01 下载并解压 1. 下载Hadoop安装包 a. 此步骤略过 2. 解压Hadoop安装包 a. 如果你的Win系统当前用户不是管理员用户，为了保险起见，需............
单点本地模式安装 Hadoop
qq_21597445的博客
09-20 530
单点本地模式安装 Hadoop添加管理用户单点本地安装hadoop安装java7创建用户hadoopUser安装Hadoop下载Hadoop使hadoopUser成为hadoop文件的拥有者创建环境变量测试下载案例运行案例查看结果 系统要求： OS: Linux (Ubuntu preferable) Admin accounter: hadoopAdmin Hostname: hadoop...
Windows下安装hadoop本地模式
qq_36851515的博客
04-19 790
准备 1、下载hadoop（自行到官网下载对应版本） 2、安装了JDK（网上也有很多教程，自行查阅，也可以查看我另一篇文章：在Ubuntu14.04下配置Hadoop的两种模式：本地模式、伪分布模式） 3、hadoop安装在Windows的工具，网上有很多，可自行查阅下载。 配置流程 一、配置环境变量 解压好Hadoop，添加环境变量 添加HADOOP_HOME系统变量 变...
hadoop的Windows本地安装
qq_49824182的博客
10-12 609
hadoop的Windows本地安装
Hadoop本地模式的安装与配置及官方测试WordCount程序
大数据学习
01-09 562
错误描述： ERROR 1045 (28000): Access denied for user ‘root’@‘localhost’ (using password:yes) 解决方法： 1、停止mysql服务：systemctl stop mysqld.service 2、修改配置文件无密码登录 vi /etc/my.cnf 在最尾部加上skip-grant-tables 这是表示没有密码可...
本地安装HDFS(Hadoop)
程序员
08-27 1764
开发阶段本地远程请求服务器有点慢，于是自己本地安装一个HDFS 下载地址https://hadoop.apache.org/releases.html 本人安装的3.1.3 下载解压放到自己指定位置，Hadoop安装必须要安装JDK1.8以上，配置系统环境变量path中添加%HADOOP_HOME%\bin，和JAVA_HOME方式一致，自行安装 JAVA_HOME安装目录不能有空格,不然启动hadoop会报错:Error: JAVA_HOME is incorrectly set.Please ..
Hadoop在本地模式中安装MYSQL
最新发布
05-18
### Hadoop本地模式安装配置MySQL教程 #### 1. 安装Hadoop 在本地模式下运行Hadoop，首先需要下载适合操作系统的Hadoop二进制包。解压后设置环境变量`HADOOP_HOME`指向解压目录，并将其加入到`PATH`中以便全局调用。 以下是基本的环境变量配置方法： ```bash export HADOOP_HOME=/path/to/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin ``` 验证Hadoop是否成功安装可以通过执行以下命令来测试： ```bash hadoop version ``` 如果显示Hadoop版本号，则说明安装成功[^3]。 --- #### 2. 配置Hadoop核心参数 编辑Hadoop的核心配置文件`core-site.xml`，指定临时数据存储路径： ```xml <configuration> <property> <name>fs.defaultFS</name> <value>file:///</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/app/hadoop/tmp</value> </property> </configuration> ``` 此配置表示Hadoop将以本地文件系统作为默认文件系统，并将临时数据存放在指定路径下[^4]。 --- #### 3. 安装MySQL 下载并安装适用于当前操作系统版本的MySQL软件包。完成后启动MySQL服务并通过以下命令创建用于测试的数据表结构： ```sql CREATE DATABASE testdb; USE testdb; CREATE TABLE employees ( id INT PRIMARY KEY, name VARCHAR(50), salary FLOAT ); INSERT INTO employees VALUES (1, 'Alice', 5000), (2, 'Bob', 6000); ``` 确保MySQL已正常工作，并记录好访问所需的用户名和密码（例如root用户及其对应密码）[^2]。 --- #### 4. 下载MySQL JDBC驱动程序 为了使Hadoop能够通过Java代码连接至MySQL数据库，需获取官方发布的最新版MySQL Connector/J库文件。将其放置于Hadoop类加载器可触及的位置，比如`${HADOOP_HOME}/share/hadoop/common/lib/`或者`${SQOOP_HOME}/lib/`目录内[^1]。 --- #### 5. 使用Sqoop导入导出数据 假设已经完成上述准备工作之后，可以利用Apache Sqoop工具实现批量传输功能。下面展示如何列举远程主机上的可用数据库列表实例： ```bash sqoop list-databases \ --connect jdbc:mysql://localhost:3306/ \ --username root \ --password your_password ``` 其中替换实际使用的登录凭证部分字段值为真实情况下的字符串表达形式。 对于更复杂的场景还可以考虑编写自定义脚本进一步扩展自动化程度。 --- #### 6. Hive与MySQL元数据集成（可选） 当希望借助Hive查询分析存储于关系型DBMS里的资料集时，除了常规步骤之外还需要额外关注几个方面事项：确认两者兼容性的前提条件下调整hive-site.xml文档属性设定如下所示例子那样做相应修改；另外记得把先前提到过的mysql-connector-java.jar拷贝过去对应的$HIVE_HOME/lib子目录底下才行哦！ ```xml <configuration> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://localhost/metastore?createDatabaseIfNotExist=true</value> </property> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.cj.jdbc.Driver</value> </property> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>root</value> </property> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>your_password</value> </property> </configuration> ``` 这样就可以让Hive顺利读取来自外部RDBMS源端的信息资源啦！[^2] ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值