HDFS中的shell

最新推荐文章于 2023-12-11 10:53:30 发布

原创最新推荐文章于 2023-12-11 10:53:30 发布 · 242 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #java

【大数据】专栏收录该内容

13 篇文章

订阅专栏

配置环境变量：shell脚本中设置java环境变量和hadoop环境变量
(这样做的目的是提高系统的可靠性，保障运行程序的机器在没有配置环境变量的情况下依然能够运行脚本)
准备日志存放目录和待上传文件：shell脚本中设置一个日志存放目录和待上传文件目录
设置日志文件长传的路径
实现文件上传：将文件首先移动到待上传目录，再从待上传目录上传到HDFS（使用Linux Crontab表达式执行定时任务 * * * * * 分时日月周）
执行程序展示运行结果

一、搭建项目环境（新建Maven项目）

在这里插入图片描述

出现下面报错，是因为没有安装Maven（也可以先点ok，不用在意）

安装Maven

点击下载Maven
在这里插入图片描述
下载后解压到文件夹中，配置环境变量

添加到Path

配置完成后，打开cmd，查看版本信息

在maven安装目录下，新建一个目录

setting文件中修改仓库路径

打开eclipse

配置后重启eclipse，就好啦

连接hadoop集群的节点

在这里插入图片描述

新建完maven项目，可能会报错，不用紧张。
配置pom.xml文件

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
  <modelVersion>4.0.0</modelVersion>
  <groupId>com.itcast</groupId>
  <artifactId>HadoopDemo</artifactId>
  <version>0.0.1-SNAPSHOT</version>
  
  <dependencies>
  	<dependency>
  		<groupId>org.apache.hadoop</groupId>
  		<artifactId>hadoop-common</artifactId>
  		<version>2.7.4</version>
  	</dependency>
  	<dependency>
  		<groupId>org.apache.hadoop</groupId>
  		<artifactId>hadoop-hdfs</artifactId>
  		<version>2.7.4</version>
  	</dependency>
  	<dependency>
  		<groupId>org.apache.hadoop</groupId>
  		<artifactId>hadoop-client</artifactId>
  		<version>2.7.4</version>
  	</dependency>
  	<dependency>
  		<groupId>junit</groupId>
  		<artifactId>junit</artifactId>
  		<version>RELEASE</version>
  	</dependency>
  	        <dependency>
            <groupId>jdk.tools</groupId>
            <artifactId>jdk.tools</artifactId>
            <version>1.8</version>
            <scope>system</scope>
            <systemPath>${JAVA_HOME}/lib/tools.jar</systemPath>
        </dependency>
  </dependencies>
  
</project>