邮件通知，引发的线上的S级故障-优快云博客

本文链接：https://blog.youkuaiyun.com/static_coder/article/details/147275470

平台奖励创作，可能会升级VIP文章，可以移步我的公众号：【编程朝花夕拾】，且可获取首发内容。

01 引言

好的架构设计，报警通知必不可少。但是报警用不好，也会造成线上的S级故障。故障的等级各公司的定义标准不一样，总之S级故障在我们公司就是最高级别的故障，需要放下手头所有的事情，全力解决问题。这类故障类似的阿里的P0级故障。

本文将以邮件报警通知为例，因为邮件通知不花钱，哈哈哈…

02 SpringBoot集成邮件

之前领导特别注重报警机制，领导的意思就是，我们一定要早于业务或者用户收到异常的报警，然后紧急处理，让业务或用户无感使用。于是我在业务项目中，引入了短信报警，但由于短信花钱，后来又改成了邮件报警了。

2.1 邮件的Maven依赖

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-mail</artifactId>
</dependency>

2.2 邮件的配置

这里的配置以网易邮箱为例。官网的端口如图：

spring.mail.host=smtp.163.com
spring.mail.username=your-email@163.com
# 这里不是密码，配置的授权码
spring.mail.password=your-password
# ssl配置
spring.mail.port=465
spring.mail.properties.mail.smtp.socketFactory.class = javax.net.ssl.SSLSocketFactory
spring.mail.properties.mail.smtp.auth = true
spring.mail.properties.mail.smtp.starttls.enable = true
spring.mail.properties.mail.smtp.starttls.required = true

以网易邮箱为例，授权码获取方式：

2.3 项目实战

@Autowired
private JavaMailSender javaMailSender;

@Test
void mailTest() {
    SimpleMailMessage msg = new SimpleMailMessage();
    // 发送人
    msg.setFrom("send@163.com");
    // 接收人
    msg.setTo("target@qq.com");
    // 邮件主题
    msg.setSubject("【异常报警】");
    // 邮件内容
    msg.setText("测试：系统异常了，赶快去处理吧");
    javaMailSender.send(msg);
}

测试结果：

03 故障发生

3.1 起因

故障的发生往往是不经意间，因为要监控系统是否正常，所以特意引入了健康检查。它会自动检查是部分服务是否异常，如果有异常就会报警。依赖如下：

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-actuator</artifactId>
</dependency>

健康检查内置了自动检查的服务。其中一项有包括了我们今天讲的邮件服务，然后故障发生前，我们对健康检查的对象并没有清楚的了解，只知道要监控异常。自然监控的越多越好。

这也为后续故障埋下了定时炸弹。

3.2 故障产生

因为线上真正使用的是CoreMail服务商的邮箱，一直都没有问题。突然有一天CoreMail服务商的服务器宕机了，他们也没有通知我们。

首先我们运维团队收到CPU飙升的报警，经过日志查询发现，系统在不停地连接邮箱服务器。联系了CoreMail服务商之后，确认是他们服务宕机了。在等待CoreMail恢复的过程中，我们的服务器因为不停地重试，导致我们自己的服务也宕机了。这个生产事故妥妥的S级故障。

在复盘的时候发现，就是因为健康检查发现邮箱服务异常，触发重试机制导致的。

3.3 问题解决

问题解决也很简单，关闭邮件的健康检查即可。官网文档也给出了说明。

# 关闭邮箱的健康检查
management.health.mail.enabled=false

当然也可以通过更换集成Mail的方式来解决。上面的方式是Springboot配置的方式，我们可以采用工具类的方式，框架也就检查不到了。

@Test
void testMail() {
    JavaMailSenderImpl javaMailSender = new JavaMailSenderImpl();
    javaMailSender.setProtocol("smtp");  // 协议
    javaMailSender.setHost("smtp.163.com"); // SMTP服务器地址
    javaMailSender.setPort(465); // SMTP服务器端口
    javaMailSender.setUsername("**@163.com"); // 发件人邮箱地址
    javaMailSender.setPassword("*****"); // 发件人邮箱密码
    javaMailSender.setDefaultEncoding("UTF-8"); // 设置默认字符编码

    Properties props = new Properties();
    // 开启SSL加密配置
    props.put("mail.smtp.auth", "true");
    props.put("mail.smtp.socketFactory.class", "javax.net.ssl.SSLSocketFactory");
    props.put("mail.smtp.starttls.enable", "true");
    props.put("mail.smtp.starttls.required", "true");


    javaMailSender.setJavaMailProperties(props);

    SimpleMailMessage msg = new SimpleMailMessage();
    msg.setFrom("**@163.com");
    msg.setTo("**@autostreets.com");
    msg.setSubject("【异常报警】");
    msg.setText("测试：系统异常了，赶快去处理吧");
    javaMailSender.send(msg);
}