eclipse创建maven工程读取hdfs文件发送邮件

最新推荐文章于 2024-10-13 16:27:12 发布
原创 最新推荐文章于 2024-10-13 16:27:12 发布 · 1.5k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#mvn #hdfs #jar

本文介绍了如何在Eclipse中创建一个Maven工程，该工程能够读取HDFS上的文件并发送邮件。通过配置pom.xml，打包过程中包含了所有依赖的jar包，以及hdfs-site.xml和core-site.xml配置文件，确保了在YARN上运行时能正常执行。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1、在maven下新建maven工程

2、编写代码

package WorkFlow.Mail;

import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class MailSend {

	public static void main(String[] args) throws IOException{
		MailSend mail = new MailSend();
		mail.readFile();
		mail.sendmail();
	}
	private void readFile(){
		try {
			Configuration conf = new Configuration();
			FileSystem file = FileSystem.get(conf);
			String path ="/tmp/daily_mail/CN/sql/";
			String Outputpath ="/tmp/daily_mail/CN/hql/";
			FileStatus[] lstStatus = file.listStatus(new Path(path));
			for (FileStatus status : lstStatus) {
				FSDataInputStream inputStream = file.open(status.getPath());
				BufferedReader br = new BufferedReader(new InputStreamReader(inputStream));
				String sql = "";
				String line = null;
				while (null != (line = br.readLine())) {
					sql += line;
					sql += " ";
				}
				System.out.println(sql);
				String name = Outputpath + status.getPath().getName();
				FileSystem OutPutfile = FileSystem.get(conf);
				OutPutfile.deleteOnExit(new Path(name));
				OutPutfile.createNewFile(new Path(name));
				FSDataOutputStream Outputfs = OutPutfile.append(new Path(name));
				Outputfs.write(sql.getBytes());
				Outputfs.flush();
				Outputfs.close();
			}
		} catch (Exception ex) {
			ex.printStackTrace();
		}
	}
	private void sendmail() throws IOException{
		Configuration conf = new Configuration();
		FileSystem file = FileSystem.get(conf);
		String path ="/tmp/daily_mail/CN/sql/";
		String Outputpath ="/tmp/daily_mail/CN/hql/";
		String sql = "";
		FileStatus[] lstStatus = file.listStatus(new Path(path));
		for (FileStatus status : lstStatus) {
			FSDataInputStream inputStream = file.open(status.getPath());
			BufferedReader br = new BufferedReader(new InputStreamReader(inputStream));			
			String line = null;
			while (null != (line = br.readLine())) {
				sql += line;
				sql += " ";
			}
		}
		Mail.send("Work Flow send mail Test", sql);
	}
}

Mail.class 

package WorkFlow.Mail;

import java.io.File;
import java.text.SimpleDateFormat;
import java.util.Date;
import java.util.Properties;
import javax.mail.BodyPart;
import javax.mail.Message;
import javax.mail.Multipart;
import javax.mail.Session;
import javax.mail.Transport;
import javax.mail.internet.InternetAddress;
import javax.mail.internet.MimeBodyPart;
import javax.mail.internet.MimeMessage;
import javax.mail.internet.MimeMultipart;

public class Mail {
	private MimeMessage mimeMsg;
	private Session session;
	private Properties props;
	private String username;
	private String password;
	private Multipart mp;
	public Mail(String smtp) {
		setSmtpHost(smtp);
		createMimeMessage();
	}
	public void setSmtpHost(String hostName) {
		System.out.println("设置系统属性：mail.smtp.host=" + hostName);
		if (props == null) {
			props = System.getProperties();
		}
		props.put("mail.smtp.host", hostName);
	}
	public boolean createMimeMessage() {
		try {
			System.out.println("准备获取邮件会话对象！");
			session = Session.getDefaultInstance(props, null);
		} catch (Exception e) {
			System.out.println("获取邮件会话错误！" + e);
			return false;
		}
		System.out.println("准备创建MIME邮件对象！");
		try {
			mimeMsg = new MimeMessage(session);
			mp = new MimeMultipart();

			return true;
		} catch (Exception e) {
			System.out.println("创建MIME邮件对象失败！" + e);
			return false;
		}
	}

	/*定义SMTP是否需要验证*/
	public void setNeedAuth(boolean need) {
		System.out.println("设置smtp身份认证：mail.smtp.auth = " + need);
		if (props == null)
			props = System.getProperties();
		if (need) {
			props.put("mail.smtp.auth", "true");
		} else {
			props.put("mail.smtp.auth", "false");
		}
	}
	public void setNamePass(String name, String pass) {
		username = name;
		password = pass;
	}

	/*定义邮件主题*/
	public boolean setSubject(String mailSubject) {
		System.out.println("定义邮件主题！");
		try {
			mimeMsg.setSubject(mailSubject);
			return true;
		} catch (Exception e) {
			System.err.println("定义邮件主题发生错误！");
			return false;
		}
	}

	/*定义邮件正文*/
	public boolean setBody(String mailBody) {
		try {
			BodyPart bp = new MimeBodyPart();
			bp.setContent("" + mailBody, "text/html;charset=GBK");
			mp.addBodyPart(bp);
			return true;
		} catch (Exception e) {
			System.err.println("定义邮件正文时发生错误！" + e);
			return false;
		}
	}

	/*设置发信人*/
	public boolean setFrom(String from) {
		System.out.println("设置发信人！");
		try {
			mimeMsg.setFrom(new InternetAddress(from)); //发信人
			return true;
		} catch (Exception e) {
			return false;
		}
	}

	/*定义收信人*/
	public boolean setTo(String to) {
		if (to == null)
			return false;
		System.out.println("定义收信人！");
		try {
			mimeMsg.setRecipients(Message.RecipientType.TO, InternetAddress.parse(to));
			return true;
		} catch (Exception e) {
			return false;
		}
	}

	/*定义抄送人*/
	public boolean setCopyTo(String copyto) {
		if (copyto == null)
			return false;
		try {
			InternetAddress[] iaToList = new InternetAddress().parse(copyto); 
			mimeMsg.setRecipients(Message.RecipientType.CC, iaToList);
			return true;
		} catch (Exception e) {
			return false;
		}
	}

	/*发送邮件模块*/
	public boolean sendOut() {
		try {
			mimeMsg.setContent(mp);
			mimeMsg.saveChanges();
			Session mailSession = Session.getInstance(props, null);
			Transport transport = mailSession.getTransport("smtp");
			transport.connect((String) props.get("mail.smtp.host"), username, password);
			transport.sendMessage(mimeMsg, mimeMsg.getAllRecipients());
			System.out.println("发送成功！");
			transport.close();
			return true;
		} catch (Exception e) {
			System.err.println("邮件失败！" + e);
			return false;
		}
	}

	/*调用sendOut方法完成发送*/
	private static boolean sendAndCc(String smtp, String from, String to, String copyto,
		String subject, String content, String username, String password) {
		Mail theMail = new Mail(smtp);
		theMail.setNeedAuth(true); // 验证
		if (!theMail.setSubject(subject))
			return false;
		if (!theMail.setBody(content))
			return false;
		if (!theMail.setTo(to))
			return false;
		if (!theMail.setCopyTo(copyto))
			return false;
		if (!theMail.setFrom(from))
			return false;
		theMail.setNamePass(username, password);
		if (!theMail.sendOut())
			return false;
		return true;
	}
	
	public static void send(String title, String content) {		
		String smtp = "smtp.mxhichina.com";
		String from = "lin@dewmobile.com";
		String to = "lin@dewmobile.com";
		String copyto = "lin@dewmobile.com";
		String subject = title;
		String username = "lin@dewmobile.com";
		String password = "Lin198717";
		sendAndCc(smtp, from, to, copyto, subject, content, username, password);
		// the time of mail
		Date d = new Date();
		SimpleDateFormat df = new SimpleDateFormat("yyyyMMddhhmmsss");
		System.out.println(df.format(d));
	}
}

3、引用的第三方jar包


4、pom.xml文件

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
	xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
	<modelVersion>4.0.0</modelVersion>

	<groupId>WorkFlow</groupId>
	<artifactId>Mail</artifactId>
	<version>0.0.1-SNAPSHOT</version>
	<packaging>jar</packaging>

	<name>Mail</name>
	<url>http://maven.apache.org</url>

	<properties>
		<project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
	</properties>

	<dependencies>
		<dependency>
			<groupId>junit</groupId>
			<artifactId>junit</artifactId>
			<version>3.8.1</version>
			<scope>test</scope>
		</dependency>
		<dependency>
			<groupId>org.apache.hadoop</groupId>
			<artifactId>hadoop-mapreduce-client-core</artifactId>
			<version>2.3.0</version>
		</dependency>
		<dependency>
			<groupId>org.apache.hadoop</groupId>
			<artifactId>hadoop-hdfs</artifactId>
			<version>2.3.0</version>
		</dependency>
		<dependency>
			<groupId>org.apache.hadoop</groupId>
			<artifactId>hadoop-common</artifactId>
			<version>2.3.0</version>
		</dependency>
		<dependency>
			<groupId>org.apache.hive</groupId>
			<artifactId>hive-jdbc</artifactId>
			<version>1.1.1</version>
		</dependency>
		<dependency>
			<groupId>jdk.tools</groupId>
			<artifactId>jdk.tools</artifactId>
			<version>1.6</version>
			<scope>system</scope>
			<systemPath>C:/Program Files/Java/jdk1.8.0_73/lib/tools.jar</systemPath>
		</dependency>
	</dependencies>	
</project>
5、maven clean，maven package

打包大小为8k，在hdfs中运行 

yarn jar WorkFlow.Mail.MailSend

能够正常运行，并且发送邮件

6、打包所有的dependency jar包，在pom.xml文件中添加将jar包打入到jar包中

	<build>
		<plugins>
			<plugin>
				<artifactId>maven-assembly-plugin</artifactId>
				<configuration>
					<appendAssemblyId>false</appendAssemblyId>
					<descriptorRefs>
						<descriptorRef>jar-with-dependencies</descriptorRef>
					</descriptorRefs>
					<archive>
						<manifest>
							<mainClass>WorkFlow.Mail.MailSend</mainClass>
						</manifest>
					</archive>
				</configuration>
				<executions>
					<execution>
						<id>make-assembly</id>
						<phase>package</phase>
						<goals>
							<goal>single</goal>
						</goals>
					</execution>
				</executions>
			</plugin>
		</plugins>
	</build>
上传到hdfs服务器，运行java -jar Mail.jar，出现如下错误


使用yarn jar Mail-0.0.1.jar能够正常运行。

7、将hdfs-site.xml和core-site.xml文件打包到jar包中，修改pom.xml文件

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
	xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
	<modelVersion>4.0.0</modelVersion>

	<groupId>WorkFlow</groupId>
	<artifactId>Mail</artifactId>
	<version>0.0.1-SNAPSHOT</version>
	<packaging>jar</packaging>

	<name>Mail</name>
	<url>http://maven.apache.org</url>

	<properties>
		<project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
	</properties>

	<dependencies>
		<dependency>
			<groupId>junit</groupId>
			<artifactId>junit</artifactId>
			<version>3.8.1</version>
			<scope>test</scope>
		</dependency>
		<dependency>
			<groupId>org.apache.hadoop</groupId>
			<artifactId>hadoop-mapreduce-client-core</artifactId>
			<version>2.3.0</version>
		</dependency>
		<dependency>
			<groupId>org.apache.hadoop</groupId>
			<artifactId>hadoop-hdfs</artifactId>
			<version>2.3.0</version>
		</dependency>
		<dependency>
			<groupId>org.apache.hadoop</groupId>
			<artifactId>hadoop-common</artifactId>
			<version>2.3.0</version>
		</dependency>
		<dependency>
			<groupId>org.apache.hive</groupId>
			<artifactId>hive-jdbc</artifactId>
			<version>1.1.1</version>
		</dependency>
		<dependency>
			<groupId>jdk.tools</groupId>
			<artifactId>jdk.tools</artifactId>
			<version>1.6</version>
			<scope>system</scope>
			<systemPath>C:/Program Files/Java/jdk1.8.0_73/lib/tools.jar</systemPath>
		</dependency>
	</dependencies>
	<build>
		<resources>
			<resource>
				<directory>conf/</directory>
				<includes>
					<include>**/*.properties</include>
					<include>**/*.xml</include>
				</includes>
				<filtering>false</filtering>
			</resource>
		</resources>
		<plugins>
			<plugin>
				<artifactId>maven-assembly-plugin</artifactId>
				<configuration>
					<appendAssemblyId>false</appendAssemblyId>
					<descriptorRefs>
						<descriptorRef>jar-with-dependencies</descriptorRef>
					</descriptorRefs>
					<archive>
						<manifest>
							<mainClass>WorkFlow.Mail.MailSend</mainClass>
						</manifest>
					</archive>
				</configuration>
				<executions>
					<execution>
						<id>make-assembly</id>
						<phase>package</phase>
						<goals>
							<goal>single</goal>
						</goals>
					</execution>
				</executions>
			</plugin>
		</plugins>
	</build>
</project>

java -jar Mail-001.jar能够正常运行，yarn jar Mail-001.jar 也能够正常运行

并且在jar包中包含xml文件


8、将依赖jar包拷贝到工程的lib文件夹中

<plugin>
				<groupId>org.apache.maven.plugins</groupId>
				<artifactId>maven-dependency-plugin</artifactId>
				<executions>
					<execution>
						<id>copy-dependencies</id>
						<phase>prepare-package</phase>
						<goals>
							<goal>copy-dependencies</goal>
						</goals>
						<configuration>
							<outputDirectory>${project.build.directory}/lib</outputDirectory>
							<overWriteReleases>false</overWriteReleases>
							<overWriteSnapshots>false</overWriteSnapshots>
							<overWriteIfNewer>true</overWriteIfNewer>
						</configuration>
					</execution>
				</executions>
			</plugin>


Hadoop环境配置eclipse配置Maven HDFS利用JAVA接口实现文件读写
hannah_7的博客
05-10 656
一 、下载解压Maven 官网：http://maven.apache.org/download.cgi 下载最新版本： 如下截图：1 下载以前版本： 如下截图：2 二、配置Maven环境变量 2.1 下载完解压到自己的文件夹 2.2 配置环境变量： 在环境变量中添加MAVEN_HOME，路径为你的Maven解压路径 在Path中添加 %MAVEN_HOME%/bin 三、配置Maven仓库 3.1配置阿里云库 1 找到你自己的Maven解压的路径 2 打开%MAVEN_HOME%/conf 下的se
安装配置JDK+Eclipse+Maven+Hdfs命令
weixin_43289669的博客
05-22 223
一、步骤： 1.安装配置JDK ①官网下载Java开发工具安装包jdk-8u201-windows-x64.exe： ②运行安装包，第一次选择JDK安装路径，第二次选择JRE安装路径，开始安装。 ③配置JDK的环境变量，Path添加JDK的\bin的安装路径，cmd命令行运行javac，查看是否成功安装配置。 2.安装Eclipse ①官网下载Eclipse安装包eclipse-ins...
Maven下从HDFS文件系统读取文件内容
weixin_30745553的博客
06-29 139
需要注意以下几点 1.所以的包都是org.apache.hadoop.XXX 2.三个配置文件要放到指定文件夹中等待文件系统读取（src/main/resources）:core-site.xml hdfs-site.xml log4j.properties 3.文件路径指向要正确 package com.cenzhongman.hadoop.hdfs; import java.io.File;...
maven项目测试HDFS读取文件
Joy
12-29 594
1、读取文件 /** * 测试读取文件 * @throws IOException */ @Test public void testSave() throws IOException { Configuration conf = new Configuration(); FileSystem fs = File
Hadoop 通过 Maven 用 Java API 对HDFS的读取/写入示例
Nothing is impossible
09-17 9212
1. 读写源码注意加注释的地方！！！ /** * App.java */ package com.jiecxy;import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FSDataInputStream; import org.apache.hadoop.fs.FSDataOutputStream; imp
Eclipse新建Maven项目并运行（打包）java程序实现hdfs与本地之间的上传或下载文件
Wxp_csdn的博客
05-22 1349
Eclipse新建Maven项目并运行（打包）java程序实现hdfs与本地之间的上传或下载文件一、在Eclipse里新建Maven Project二、输入com.bla，项目名称HDFSTest，如果项目要运行到web的话在package处选择war，我们这里选择jar的形式。3、自动生成Maven项目，新建包hdfs.files，包里新建class：4个java文件。四、可直接运行四个java...
eclipse+maven+hadoop+文件增删改查
07-09
本教程将通过Eclipse集成开发环境，结合Maven构建工具，详细介绍如何进行Hadoop文件系统的文件增删改查操作。以下是对这些知识点的详细阐述： 1. **Eclipse**: Eclipse是一款流行的Java开发IDE，它提供了丰富的代码...
大数据笔记（三）：IDEA下使用Maven工程与HDFS进行简单交互
Kevin的博客
04-13 1077
最近在看浙大林子雨老师的mooc，3.6讲使用Eclipse开发环境与HDFS进行交互，我比较喜欢IDEA的风格，这篇blog记录了在使用IDEA时踩过的坑。 配置Maven环境 Maven是什么？ Maven是基于项目对象模型(POM project object model)，可以通过一小段描述信息（配置）来管理项目的构建，报告和文档的软件项目管理工具。（我的理解：通过pom.xml自动...
Eclipse集成Maven和Hadoop进行文件管理操作示例
标题中提到的“eclipse+maven+hadoop+文件增删改查”构成了本篇知识点的核心内容。我们将分别围绕这些关键词展开详细介绍，深入探讨它们在实际开发中的应用和相关技术细节。 首先，Eclipse是一个著名的集成开发环境...
Java--文件上传和下载、JavaMail邮件发送
qq_17503037的博客
06-02 753
文件上传 前台： 1. 提交方式：post 2. 表单中有文件上传的表单项： &lt;input type=”file” /&gt; 3. 指定表单类型: 默认类型：enctype="application/x-www-form-urlencoded" 文件上传类型：multipart/form-data 手动实现文件上传 &lt;body&gt; &l...
java对大数据HDFS文件操作
04-04
java对大数据HDFS文件操作jar包和maven2个项目,有jar包,有依赖,2个项目呦
javaMail发送邮件读取流中的数据并作为作为附件发送邮件
qq_24903931的博客
05-14 3290
一、pom.xml中添加依赖 <dependency> <groupId>com.sun.mail</groupId> <artifactId>javax.mail</artifactId> <version>1.5.5</versi...
Maven构建HDFS API及相关操作
~~~的博客
05-19 1679
一、安装Maven 1、 配置系统环境变量 2、 验证-在cmd输入mvn –v 3、设置localRepository 例如我的repo位置为:D:\software\Maven\repo，在config文件夹中找到settings.xml 4、 测试-输入mvn help:system 执行完该命令后，在D:\software\Maven\repo下面会出现很多文件，这些文件就maven...
Hadoop基础教程-第4章 HDFS的Java API（4.1 Maven入门）
程裕强的专栏
05-14 5787
第4章 HDFS的Java API 4.1 Maven入门 参考文章：https://my.oschina.net/huangyong/blog/194583 4.1.1 Maven简介 Apache Maven是一个软件项目管理和综合工具，通过它便捷的管理项目的生命周期。即项目的jar包依赖，开发，测试，发布打包。 4.1.2 Maven下载 http://maven...
Maven的安装与配置
haijiege的专栏
06-25 315
1 Maven简介Apache Maven是一个软件项目管理和综合工具，通过它便捷的管理项目的生命周期。即项目的jar包依赖，开发，测试，发布打包。2 Maven下载http://maven.apache.org http://maven.apache.org/download.cgi 下载zip格式的软件包apache-maven-3.5.0-bin.zip3 Maven环境变量设置（1）解压缩...
Maven部署、安装笔记及使用Java API操作HDFS
最新发布
entaoSir的博客
10-13 1014
Maven 是 Apache 软件基金会组织维护的一款，专注服务于 Java 平台的项目构建和 依赖管理。 本文主要来讲解如何安装部署Maven，以及如何在IDEA里部署使用Maven
HDFS工作原理 /// 改maven工程 /// JAVA连接HDFS＜重点＞ /// 打jar包 /// idea中设值参数
qq_42005540的博客
03-24 279
HDFS工作原理 /// JAVA连接HDFS<重点> /// 打jar包 /// idea中设值参数
Hadoop——HDFS文件系统的Java API操作（上传、下载、查看、删除、创建文件）详细教学
2401_84788504的博客
05-10 2860
自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。深知大多数Java工程师，想要提升技能，往往是自己摸索成长，自己不成体系的自学效果低效漫长且无助。因此收集整理了一份《2024年Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。
Hadoop开发之JavaAPI操作HDFS
Allwordhuier的博客
05-16 1153
在D:\hadoop\maven\apache-maven-3.6.1\conf下用记事本打开settings.xml文件。在pom文件中点击鼠标右键，选择Maven选项----》重新加载项目，点开maven菜单，会看到所需依赖已成功导入。解压到没有中文的路径下，例如我的路径是：D:\hadoop\maven中。在maven文件夹下创建一个名为repo的文件夹，作为本地仓库文件夹。对应的version标签的内容要根据实际的hadoop版本进行调整。点击此电脑—属性—高级系统设置—环境变量。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值