hadoop2.7.5安装使用（二）

最新推荐文章于 2023-05-16 20:05:09 发布
最新推荐文章于 2023-05-16 20:05:09 发布
阅读量261 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_42296389/article/details/80607659
本文介绍如何使用Hadoop在HDFS上进行WordCount测试，包括创建目录、上传测试文件及运行WordCount程序等步骤，并展示了如何查看最终的处理结果。

对hdfs进行测试wordcount

/opt/modules/hadoop-2.7.5/bin

./hadoop查看帮助

./hadoop fs 查看帮助

创建目录

hadoop fs -mkdir /wc/

hadoop fs -mkdir /wc/input

hadoop fs -ls -R /查看目录

 

放入测试文件

hadoop fs -put /opt/modules/hadoop-2.7.5/etc/hadoop/*.xml /wc/input/

查看

hadoop fs -ls -R /wc/input/

 

hadoop jar /opt/modules/hadoop-2.7.5/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.5

.jar wordcount /wc/input /wc/output

 

查看结果

hadoop fs -ls /wc/output

hadoop fs -cat /wc/output1/part-r-00000

http://192.168.0.31:8088/

http://192.168.0.31:8042

http://192.168.0.31:50070

Hadoop2.7.5安装及环境部署
weixin_47749831的博客
11-10 652
Hadoop2.7.5安装及环境部署 将压缩包（可私聊我拿）解压到目录，放在 D:\bigdata\hadoop-2.7.5 目录下。配置 Hadoop 环境变量。 1、 新建HADOOP_HOME ;变量值设为D:\bigdata\hadoop-2.7.5（视自己解压路径而定） 2、在"path"后添加%HADOOP_HOME%\bin 修改 hadoop 配置文件 1、修改“D:\bigdata\hadoop-2.7.5\etc\hadoop”下的 core-site.xml 文件（添加到末尾）
hadoop 2.7.5 安装CentOS 7.5 linux
知识笔记
10-16 471
环境：CentOS 7.5 ,JDK 1.8.0_231, python 2.7 ,python 3.7.5 1.下载：https://archive.apache.org/dist/hadoop/common/hadoop-2.7.5/hadoop-2.7.5.tar.gz 2.上传目录：sftp方式： 3.解压：tar -zxvf hadoop-2.7.5.tar.gz 4.定义系统全局变量： 文件：/etc/profile 添加如下命令： export HADOOP_PATH=/us
Hadoop 2.7.5 Windows 64位 安装依赖文件（winutils支持和hadoop.dll等）
03-08
hadoop在windows上运行需要winutils支持和hadoop.dll等文件。直接解压后把文件丢到D:\hadoop-2.7.5\bin目录中去，将其中的hadoop.dll在c:/windows/System32下也丢一份
hadoop2.7.5 在windows下需要的hadoop.dll winutils.exe等文件(bin目录)
01-22
在eclipse开发hadoop程序时报相关winutils.exe的错误 下载好把相关文件覆盖到hadoop目录下的bin中
Hadoop 2.7.5 Windows 7 64位 编译bin（包含winutils.exe, hadoop.dll等）
12-22
亲自在Windows 7 64位环境下编译Hadoop 2.7.5！！！！！
【2.7.5】hadoop.dll和winutils.exe
01-25
亲测在windows 10 64位系统下，2.7.5的hadoop可用！！！
hadoop-2.7.5
04-11
包含了winutils 解压配置即可使用 包含了winutils 解压配置即可使用 包含了winutils 解压配置即可使用
hadoop2.7.5 安装配置
juggte的博客
11-09 2054
登录mysql 执行 GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION; flush privileges; 安装hadoop tar -zxvf hadoop-2.7.5.tar.gz -C /export/servers 配置环境变量，使hadoop命令全局可执行 vim /etc/profile //在最后添加 #hadoop_home export HADOOP_HOME
Hadoop 2.7.5集群安装
GaoChenXi
06-26 676
目录 Hadoop介绍 Hadoop安装 Hadoop介绍 Hadoop最早起源于Nutch。Nutch的设计目标是构建一个大型的全网搜索引擎，包括网页抓取、索引、查询等功能，但随着抓取网页数量的增加，遇到了严重的可扩展性问题——如何解决数十亿网页的存储和索引问题。 2003年、2004年谷歌发表的两篇论文为该问题提供了可行的解决方案。 ——分布式文件系统（GFS），可用于处理海量网页的存储 ——分布式计算框架MAPREDUCE，可用于处理海量网页的索引计算问题。 Nutch的开发人员完成了相应的
Hadoop2.7.5安装
play~man的编程历程
05-13 736
下载安装 官网 下载 解压 win补丁包 环境变量配置 HADOOP_HOME F:\worksoft\hadoop-2.7.5 PATH %HADOOP_HOME%\bin HADOOP_CONF_DIR %HADOOP_HOME%\etc\hadoop 文件配置 core-site.xml <configuration> &l...
hadoop2.7.5下载 centeros6.7环境jdk1.7编译
01-25
hadoop2.7.5下载 linux-centeros6.7-64位环境jdk1.7编译
hadoop2.7.5下载 centeros6.7环境jdk1.8编译
01-25
hadoop2.7.5下载 linux-centeros6.7-64位环境jdk1.8编译
hadoop-2.7.5-bin压缩包，适合在window平台运行hadoop和spark程序，其中的文件已做替换
01-30
hadoop-2.7.5-bin压缩包，适合在window平台运行hadoop和spark程序，其中的文件已做替换
hadoop2.7.5源代码
04-15
用src导成eclipse工程，修改了一些问题，还有一点小错误，但不影响源代码阅读。
在windows系统中配置Hadoop2.7.5运行环境
04-04
windows系统需要配置hadoop运行环境，否则直接运行代码会出现 Could not locate executable null \bin\winutils.exe in the hadoop binaries Unable to load native-hadoop library for your platform… using ...
hadoop-2.7.5.tar.gz原始安装包
11-07
6. **文档和示例**：Hadoop 2.7.5还包含了详细的API文档和示例代码，帮助开发者理解和使用Hadoop的各项功能。 7. **脚本和工具**：Hadoop提供了一系列的脚本和工具，如`bin/hadoop`命令行工具，`sbin`目录下的守护...
hadoop2.7.5安装使用（一）
weixin_42296389的博客
06-07 3273
使用centos6.5虚拟机安装ip：192.168.0.31创建目录/opt --父目录/opt/modules  --存放软件的安装目录/opt/softwares   --存放软件包（tar,zip,bin）/opt/tools --存储工具目录（eclipse等）/opt/data  --存储测试数据/home/hadoop --存储工具盒测数据目录Apache Hadoop 单机模式安装...
hadoop2.7.5分布式集群安装
小宇的博客
05-16 838
三台虚拟机 192.168.79.132 master 192.168.79.133 slave1 192.168.79.134 slave2 1.修改主机名 hostnamectl set-hostname (name) 2.配置主机的映射(每台都要设...
Windows平台Hadoop 2.7.5安装教程
描述部分提到了“解压压缩包，将压缩包下bin目录整个原来的hadoop2.7.5的bin替换即可”，这告诉我们在安装过程中，需要解压缩预先准备好的Windows版本Hadoop压缩包，并将解压出的bin目录下的文件替换掉已经存在的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值