(大数据方向)分布式实验四:配置eclipse编程环境

本文详细介绍了如何配置Eclipse进行Hadoop分布式实验,包括所需工具如CentOS、Eclipse、Hadoop等,以及环境配置步骤,如解压文件、配置环境变量、安装可视化插件等,最后通过XFTP导入配置文件完成设置。

目录

一.hdfs常用操作指令

二.配置eclipse编程环境

1.所需工具:

①centos

②伪分布式搭建

③eclipse

④hadoop

⑤hadoop-lib包

⑥bin文件

⑦可视化插件

⑧xftp传输工具

2.Eclipse环境配置 

(1)解压文件

(2)环境变量

(3)复制bin目录

 (4)解压mars

 (5)启动hadoop

 (6)启动 eclipse

 (7) 配置 eclipse

 (8)新建java项目

 (9)使用xftp导入配置文件


一.hdfs常用操作指令

hadoop fs -mkdir /hadoop
#在hdfs上创建一个hadoop文件夹

hadoop fs -ls /
#查看hdfs中根目录的文件夹

hadoop fs -put /root/hjq/hjq.txt /hadoop
#将/root/hjq目录下的hjq.txt文件上传到hdfs的hadoop文件夹中

$(hadoop fs -copyToLocal /hadoop/hjq.txt /root/hjq/hjq2.txt)
#将hdfs上hadoop文件夹中的hjq.txt文件下载到虚拟机中的/root/hjq目录
#并重命名为hjq2.txt

hadoop fs -cat /hadoop/hjq.txt
# 将hdfs上hadoop文件夹中的hjq.txt中的内容输出到终端

hadoop fs -ls -h /hadoop/hjq.txt
#显示hdfs上hadoop文件夹中的hjq.txt文件的详细信息

——————————————————————————————————————————————————————————————————
hadoop fs -mkdir -p /hadoop/hjq
hadoop fs -rm -r /hadoop/hjq
#对hjq文件夹的创建以及删除

——————————————————————————————————————————————————————————————————
hadoop fs -mv /hadoop/hjq.txt /hadoop/hjq
#将 HDFS 文件从源路径移动到目的路径



二.配置eclipse编程环境

1.所需工具:

①centos

②伪分布式搭建

伪分布式搭建教程https://blog.youkuaiyun.com/weixin_52008431/article/details/123600927?spm=1001.2014.3001.5501

③eclipse

eclipse-mars 提取码:SY99https://pan.baidu.com/s/1IXrIYB0xQFd2_fn8UhtXyQ

④hadoop

hadoop.tar 和hadoop.src 文件 提取码SY99https://pan.baidu.com/s/1xJbIQQZoQfZSZ0bgXLxA3w#list/path=%2F

⑤hadoop-lib包

hadoop-lib依赖jar包 提取码:SY99https://pan.baidu.com/s/11BNnGgtG1C8rANbSvmhFVw#list/path=%2F

⑥bin文件

bin文件 提取码:SY99https://pan.baidu.com/s/1dk9R_Uod_gdJCxstfd-cbg

⑦可视化插件

可视化插件 提取码:SY99https://pan.baidu.com/s/1rpJn0_wqIRRabvyyZQBqOQ

⑧xftp传输工具

评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Java从跨平台到跨行业

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值