前言
随着互联网的发展,网站应用的规模也在不断的扩大,进而导致系统架构也在不断的进行变化。从互联网早起到现在,系统架构大体经历了下面几个过程: 单体应用架构 —> 垂直应用架构 —> 分布式架构 —> SOA架构 —> 微服务架构,当然还有悄然兴起的Service Mesh(服务网格化)。
1、微服务环境搭建
示例:pandas 是基于NumPy 的一种工具,该工具是为了解决数据分析任务而创建的。
1.1系统架构演变
随着互联网的发展,网站应用的规模也在不断的扩大,进而导致系统架构也在不断的进行变化。从互联网早起到现在,系统架构大体经历了下面几个过程: 单体应用架构 —> 垂直应用架构 —> 分布式架构 —> SOA架构 —> 微服务架构,当然还有悄然兴起的Service Mesh(服务网格化)。
1.1.1单体应用架构
互联网早期,一般的网站应用流量较小,只需一个应用,将所有功能代码都部署在一起就可以,这样可以减少开发、部署和维护的成本。比如说一个电商系统,里面会包含很多用户管理,商品管理,订单管理,物流管理等等很多模块,我们会把它们做成一个web项目,然后部署到一台tomcat服务器上。
优点:
● 项目架构简单,小型项目的话, 开发成本低
● 项目部署在一个节点上, 维护方便
缺点:
● 全部功能集成在一个工程中,对于大型项目来讲不易开发和维护
● 项目模块之间紧密耦合,单点容错率低
● 无法针对不同模块进行针对性能优化和水平扩展
1.1.2.垂直应用架构
随着访问量的逐渐增大,单一应用只能依靠增加节点来应对,但是这时候会发现并不是所有的模块都会有比较大的访问量。还是以上面的电商为例子, 用户访问量的增加可能影响的只是用户和订单模块, 但是对消息模块的影响就比较小. 那么此时我们希望只多增加几个订单模块, 而不增加消息模块. 此时单体应用就做不到了, 垂直应用就应运而生了。
所谓的垂直应用架构,就是将原来的一个应用拆成互不相干的几个应用,以提升效率。比如我们可以将上面电商的单体应用拆分成:
● 电商系统(用户管理 商品管理 订单管理)
● 后台系统(用户管理 订单管理 客户管理)
● CMS系统(广告管理 营销管理)
这样拆分完毕之后,一旦用户访问量变大,只需要增加电商系统的节点就可以了,而无需增加后台和CMS的节点。
优点:
● 系统拆分实现了流量分担,解决了并发问题,而且可以针对不同模块进行优化和水平扩展
● 一个系统的问题不会影响到其他系统,提高容错率
缺点:
● 系统之间相互独立, 无法进行相互调用
● 系统之间相互独立, 会有重复的开发任务
1.1.3.分布式架构
当垂直应用越来越多,重复的业务代码就会越来越多。这时候,我们就思考可不可以将重复的代码抽取出来,做成统一的业务层作为独立的服务,然后由前端控制层调用不同的业务层服务呢?
这就产生了新的分布式系统架构。它将把工程拆分成表现层和服务层两个部分,服务层中包含业务逻辑。表现层只需要处理和页面的交互,业务逻辑都是调用服务层的服务来实现。
优点:
● 抽取公共的功能为服务层,提高代码复用性
缺点:
● 系统间耦合度变高,调用关系错综复杂,难以维护
1.1.4.SOA架构
在分布式架构下,当服务越来越多,容量的评估,小服务资源的浪费等问题逐渐显现,此时需增加一个调度中心对集群进行实时管理。此时,用于资源调度和治理中心(SOA Service Oriented Architecture,面向服务的架构)是关键。
优点:
● 使用注册中心解决了服务间调用关系的自动调节
缺点:
● 服务间会有依赖关系,一旦某个环节出错会影响较大( 服务雪崩 )
● 服务关系复杂,运维、测试部署困难
1.1.5.微服务架构
微服务架构在某种程度上是面向服务的架构SOA继续发展的下一步,它更加强调服务的"彻底拆分"。
优点:
● 服务原子化拆分,独立打包、部署和升级,保证每个微服务清晰的任务划分,利于扩展
● 微服务之间采用Restful等轻量级http协议相互调用
缺点:
● 分布式系统开发的技术成本高(容错、分布式事务等)
1.2微服务架构介绍
微服务架构简单的说就是将单体应用进一步拆分,拆分成更小的服务,每个服务都是一个可以独立运行的项目。
一旦采用微服务系统架构,就势必会遇到这样几个问题 :
● 这么多小服务,如何管理他们?(服务治理 注册中心[服务注册 发现 剔除])
● 这么多小服务,他们之间如何通讯?(restful rpc)
● 这么多小服务,客户端怎么访问他们?(网关)
● 这么多小服务,一旦出现问题了,应该如何自处理?(容错)
● 这么多小服务,一旦出现问题了,应该如何排错? (链路追踪)
对于上面的问题,是任何一个微服务设计者都不能绕过去的,因此大部分的微服务产品都针对每一个问题提供了相应的组件来解决它们。
1.2.1.微服务架构的常见概念
服务治理:服务治理就是进行服务的自动化管理,其核心是服务的自动注册与发现。
服务注册:服务实例将自身服务信息注册到注册中心。
服务发现:服务实例通过注册中心,获取到注册到其中的服务实例的信息,通过这些信息去请求它们提供的服务。
服务剔除:服务注册中心将出问题的服务自动剔除到可用列表之外,使其不会被调用到。
- 服务调用:
在微服务架构中,通常存在多个服务之间的远程调用的需求。目前主流的远程调用技术有基于HTTP的RESTful接口以及基于TCP的RPC协议。
REST(Representational State Transfer):这是一种HTTP调用的格式,更标准,更通用,无论哪种语言都支持http协议
RPC(Remote Promote Call):一种进程间通信方式。允许像调用本地服务一样调用远程服务。RPC框架的主要目标就是让远程服务调用更简单、透明。RPC框架负责屏蔽底层的传输方式、序列化方式和通信细节。开发人员在使用的时候只需要了解谁在什么位置提供了什么样的远程服务接口即可,并不需要关心底层通信细节和调用过程。
区别与联系
比较项 | RESTful | RPC |
---|---|---|
通讯协议 | HTTP | 一般使用TCP |
性能 | 略低 | 较高 |
灵活度 | 高 | 抵 |
应用 | 微服务架构 | SOA架构 |
- 服务网关:
随着微服务的不断增多,不同的微服务一般会有不同的网络地址,而外部客户端可能需要调用多个服务的接口才能完成一个业务需求,如果让客户端直接与各个微服务通信可能出现:
- 客户端需要调用不同的url地址,增加难度。
- 在一定的场景下,存在跨域请求的问题。
- 每个微服务都需要进行单独的身份认证。
- 针对这些问题,API网关顺势而生。
API网关直面意思是将所有API调用统一接入到API网关层,由网关层统一接入和输出。一个网关的基本功能有:统一接入、安全防护、协议适配、流量管控、长短链接支持、容错能力。有了网关之后,各个API服务提供团队可以专注于自己的的业务逻辑处理,而API网关更专注于安全、流量、路由等问题。
- 服务容错:
在微服务当中,一个请求经常会涉及到调用几个服务,如果其中某个服务不可用,没有做服务容错的话,极有可能会造成一连串的服务不可用,这就是雪崩效应。我们没法预防雪崩效应的发生,只能尽可能去做好容错。服务容错的三个核心思想是:
● 不被外界环境影响
● 不被上游请求压垮
● 不被下游响应拖垮
- 链路追踪:
随着微服务架构的流行,服务按照不同的维度进行拆分,一次请求往往需要涉及到多个服务。互联网应用构建在不同的软件模块集上,这些软件模块,有可能是由不同的团队开发、可能使用不同的编程语言来实现、有可能布在了几千台服务器,横跨多个不同的数据中心。因此,就需要对一次请求涉及的多个服务链路进行日志记录,性能监控即链路追踪。
1.2.2.微服务架构的常见解决方案
-
SserviceComb
Apache ServiceComb,前身是华为云的微服务引擎 CSE (Cloud Service Engine) 云服务,是全球首个Apache微服务顶级项目。它提供了一站式的微服务开源解决方案,致力于帮助企业、用户和开发者将企业应用轻松微服务化上云,并实现对微服务应用的高效运维管理。
-
SpringCloud
Spring Cloud是一系列框架的集合。它利用Spring Boot的开发便利性巧妙地简化了分布式系统基础设施的开发,如服务发现注册、配置中心、消息总线、负载均衡、断路器、数据监控等,都可以用Spring Boot的开发风格做到一键启动和部署。
Spring Cloud并没有重复制造轮子,它只是将目前各家公司开发的比较成熟、经得起实际考验的服务框架组合起来,通过Spring Boot风格进行再封装屏蔽掉了复杂的配置和实现原理,最终给开发者留出了一套简单易懂、易部署和易维护的分布式系统开发工具包。
-
SpringCloud Alibaba
Spring Cloud Alibaba 致力于提供微服务开发的一站式解决方案。此项目包含开发分布式应用微服务的必需组件,方便开发者通过 Spring Cloud 编程模型轻松使用这些组件来开发分布式应用服务。
1.3SpringCloud Alibaba介绍
Spring Cloud Alibaba 致力于提供微服务开发的一站式解决方案。此项目包含开发分布式应用微服务的必需组件,方便开发者通过 Spring Cloud 编程模型轻松使用这些组件来开发分布式应用服务。依托 Spring Cloud Alibaba,您只需要添加一些注解和少量配置,就可以将 Spring Cloud 应用接入阿里微服务解决方案,通过阿里中间件来迅速搭建分布式应用系统。
参考地址:
https://spring.io/projects/spring-cloud-alibaba
https://github.com/alibaba/spring-cloud-alibaba/blob/master/README-zh.md
【主要功能】
服务限流降级:默认支持 WebServlet、WebFlux, OpenFeign、RestTemplate、Spring Cloud Gateway, Zuul, Dubbo 和 RocketMQ 限流降级功能的接入,可以在运行时通过控制台实时修 改限流降级规则,还支持查看限流降级 Metrics 监控。
服务注册与发现:适配 Spring Cloud 服务注册与发现标准,默认集成了 Ribbon 的支持。
分布式配置管理:支持分布式系统中的外部化配置,配置更改时自动刷新。
消息驱动能力:基于 Spring Cloud Stream 为微服务应用构建消息驱动能力。
分布式事务:使用 @GlobalTransactional 注解, 高效并且对业务零侵入地解决分布式事务问题。
阿里云对象存储:阿里云提供的海量、安全、低成本、高可靠的云存储服务。支持在任何应用、任何时间、任何地点存储和访问任意类型的数据。
分布式任务调度:提供秒级、精准、高可靠、高可用的定时(基于 Cron 表达式)任务调度服务。同时提供分布式的任务执行模型,如网格任务。网格任务支持海量子任务均匀分配到所有Worker(schedulerx-client)上执行。
阿里云短信服务:覆盖全球的短信服务,友好、高效、智能的互联化通讯能力,帮助企业迅速搭建客户触达通道。
【核心组件】
Sentinel:把流量作为切入点,从流量控制、熔断降级、系统负载保护等多个维度保护服务的稳
定性。
Nacos:一个更易于构建云原生应用的动态服务发现、配置管理和服务管理平台。
RocketMQ:一款开源的分布式消息系统,基于高可用分布式集群技术,提供低延时的、高可靠的消息发布与订阅服务。
Dubbo:Apache Dubbo™ 是一款高性能 Java RPC 框架。
Seata:阿里巴巴开源产品,一个易于使用的高性能微服务分布式事务解决方案。
Alibaba Cloud ACM:一款在分布式架构环境中对应用配置进行集中管理和推送的应用配置中心产品。
Alibaba Cloud OSS: 阿里云对象存储服务(Object Storage Service,简称 OSS),是阿里云提供的海量、安全、低成本、高可靠的云存储服务。您可以在任何应用、任何时间、任何地点存储和访问任意类型的数据。
Alibaba Cloud SchedulerX: 阿里中间件团队开发的一款分布式任务调度产品,提供秒级、精准、高可靠、高可用的定时(基于 Cron 表达式)任务调度服务。
Alibaba Cloud SMS: 覆盖全球的短信服务,友好、高效、智能的互联化通讯能力,帮助企业迅速搭建客户触达通道。
1.4 SpringCloud与SpringBoot的版本兼容:
https://github.com/alibaba/spring-cloud-alibaba/wiki/%E7%89%88%E6%9C%AC%E8%AF%B4%E6%98%8E
1.5 Spring Cloud 各套实现对比
Spring Cloud 作为一套标准,它的实现肯定不止一套,那么各套实现都有什么区别呢?我们来一起看一下下面这张图:
可以发现 Spring Cloud Alibaba 是所有的实现方案中功能最齐全的。尤其是在 Netflix 停止更新了以后,Spring Cloud Alibaba 依然在持续更新和迭代。
首先,我们来看看这两个技术栈在国内的流行程度,据自己了解到:
对于国外,Spring Cloud 基本已经统一国外的微服务体系。对于国内,老的系统使用 Dubbo 较多,新的系统使用 Spring Cloud 较多。
这样说起来,仿佛 Spring Cloud 和 Dubbo 是冲突的关系?!
实际上,并不然。我们现在所使用的 Spring Cloud 技术体系,实际上是 Spring Cloud Netflix 为主,例如说:
● Netflix Eureka 注册中心-
● Netflix Hystrix 熔断组件
● Netflix Ribbon 负载均衡
● Netflix Zuul 网关服务
但是,开源的世界,总是这么有趣。随着Spring Cloud Netflix 将不再开发新的组件,项目进入维护模. 目前 Alibaba 基于开源组件和多个阿里云产品组成以及Spring Cloud 对的接口,实现了一套 Spring Cloud Alibaba 技术体系,并且已经获得 Spring Cloud 的认可,目前在国内使用人数很多了。组件如下:
● Nacos 注册中心 + 配置中心,对标 Eureka 。并且,还对标了 Spring Cloud Config 。
● Sentinel 服务保障,对标 Hystrix 。
● Dubbo 服务调用( 包括负载均衡 ),对标 Ribbon + Feign 。
● Gateway 网关服务。
个人态度上,还是非常看好 Spring Cloud Alibaba 技术体系的
2,快速入门
2.1 前期准备
【技术选型】
java:jdk17+
maven:3.6.3+
boot: 3.2.3
cloud: 2023.0.0
cloud alibaba: 2023.0.0.0-RC1
mysql: 8.0+
【模块设计】
# maven项目主模块:
syh-mall 父工程
# springcloud项目子模块
syh-commons - 公共模块 【实体类】
common-web - Web模块
common-mybatis - 数据模块
common-core - 核心模块
mall-pms - 商品微服务 【端口: 808x】
mall-oms - 订单微服务 【端口: 809x】
【微服务调用】
在微服务架构中,最常见的场景就是微服务之间的相互调用。我们以电商系统中常见的用户下单为例来演示微服务的调用:客户向订单微服务发起一个下单的请求,在进行保存订单之前需要调用商品微服务查询商品的信息。
我们一般把服务的主动调用方称为服务消费者,把服务的被调用方称为服务提供者。在这种场景下,订单微服务就是一个服务消费者, 商品微服务就是一个服务提供者。
2.2 项目搭建
创建一个maven工程,然后在pom.xml文件中添加下面内容
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<groupId>com.ww</groupId>
<artifactId>springcloud-shop</artifactId>
<version>1.0-SNAPSHOT</version>
<!--打包方式,父工程必须为pom-->
<packaging>pom</packaging>
<!--SpringBoot父工程-->
<parent>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-parent</artifactId>
<version>3.2.3</version>
<relativePath/> <!-- lookup parent from repository -->
</parent>
<properties>
<maven.compiler.source>17</maven.compiler.source>
<maven.compiler.target>17</maven.compiler.target>
<project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
<!--版本控制-->
<!-- spring cloud & alibaba -->
<spring-cloud.version>2023.0.0</spring-cloud.version>
<spring-cloud-alibaba.version>2023.0.0.0-RC1</spring-cloud-alibaba.version>
</properties>
<dependencyManagement>
<dependencies>
<!--Spring Cloud & Alibaba -->
<dependency>
<groupId>org.springframework.cloud</groupId>
<artifactId>spring-cloud-dependencies</artifactId>
<version>${spring-cloud.version}</version>
<type>pom</type>
<scope>import</scope>
</dependency>
<dependency>
<groupId>com.alibaba.cloud</groupId>
<artifactId>spring-cloud-alibaba-dependencies</artifactId>
<version>${spring-cloud-alibaba.version}</version>
<type>pom</type>
<scope>import</scope>
</dependency>
</dependencies>
</dependencyManagement>
</project>
将父工程的src删除
创建公共模块
由于公共模块包括很多其他模块,所以将公共模块变为父工程
将src删除,pom.xml 打包方式变成 pom
创建订单模块
为了后期考虑服务之间远程调用的问题,我们也把订单服务写成父工程里面包括两个模块
oms-api 远程接口
oms-boot 微服务
- 创建oms-boot微服务
2.3 分布式远程调用
注入RestTemplate
@Bean
public RestTemplate restTemplate(){
return new RestTemplate();
}
在服务消费者调用
@RequestMapping("/get/{id}")
public String test(@PathVariable("id") int id){
System.out.println("OrderController.test");
return restTemplate.getForObject("http://localhost:8080/product/get/{id}", String.class, id);
}
问题
将来服务越来越多,订单服务一台机子也撑不下来,同时我们总是依靠ip加端口去寻找服务也不太合适,如果每一个服务都有一个名字就好了。
还记得dns吗?
我们上网并不需要记住ip地址,访问的时候根据域名找一下ip不就行了,只要域名不变,ip随便变都没有影响
所以在微服务里出现的一个名词,叫注册中心
2.4 Nacos注册中心
在服务提供者和消费者中添加依赖
<!-- nacos客户端依赖包 -->
<dependency>
<groupId>com.alibaba.cloud</groupId>
<artifactId>spring-cloud-starter-alibaba-nacos-discovery</artifactId>
</dependency>
在yml配置文件中配置
spring:
cloud:
nacos:
discovery:
server-addr: 127.0.0.1:8848 # nacos地址
即可将服务注册到nacos中
2.5 通过远程服务名调用
添加负载均衡器依赖
<!--nacos 负载均衡器-->
<dependency>
<groupId>org.springframework.cloud</groupId>
<artifactId>spring-cloud-loadbalancer</artifactId>
</dependency>
在RestTemplate对象中添加 注解
@LoadBalanced
@Bean
public RestTemplate restTemplate(){
return new RestTemplate();
}
会对调用的服务做轮询的负载均衡
@RequestMapping("/get/{id}")
public String test(@PathVariable("id") int id){
System.out.println("OrderController.test");
// return restTemplate.getForObject("http://localhost:8080/product/get/{id}", String.class, id);
return restTemplate.getForObject("http://pms-service/product/get/"+id, String.class);
}
3.服务调用组件
RestTemplate已经很好,但是不够优雅
3.1 OpenFeign是什么?
Feign是一个声明式的Web服务客户端(Web服务客户端就是Http客户端),让编写Web服务客户端变得非常容易,只需创建一个接口并在接口上添加注解即可。
cloud官网介绍Feign:https://docs.spring.io/spring-cloud-openfeign/docs/current/reference/html/
OpenFeign源码:https://github.com/OpenFeign/feign
3.2 OpenFeign能干什么?
Java当中常见的Http客户端有很多,除了Feign,类似的还有Apache 的 HttpClient 以及OKHttp3,还有SpringBoot自带的RestTemplate这些都是Java当中常用的HTTP 请求工具。
3.3 OpenFeign和Feign的区别
1、底层都是内置了Ribbon,去调用注册中心的服务。
2、Feign是Netflix公司写的,是SpringCloud组件中的一个轻量级RESTful的HTTP服务客户端,是SpringCloud中的第一代负载均衡客户端。
3、OpenFeign是SpringCloud自己研发的,在Feign的基础上支持了Spring MVC的注解,如@RequesMapping等等。是SpringCloud中的第二代负载均衡客户端。
4、Feign本身不支持Spring MVC的注解,使用Feign的注解定义接口,调用这个接口,就可以调用服务注册中心的服务
5、OpenFeign的@FeignClient可以解析SpringMVC的@RequestMapping注解下的接口,并通过动态代理的方式产生实现类,实现类中做负载均衡并调用其他服务。
Feign是在2019就已经不再更新了,通过maven网站就可以看出来,随之取代的是OpenFeign,从名字上就可以知道,他是Feign的升级版
3.4 @FeignClient
使用OpenFeign就一定会用到这个注解,@FeignClient属性如下:
name:指定该类的容器名称,类似于@Service(容器名称)
url: url一般用于调试,可以手动指定@FeignClient调用的地址
decode404:当发生http 404错误时,如果该字段位true,会调用decoder进行解码,否则抛出FeignException
configuration: Feign配置类,可以自定义Feign的Encoder、Decoder、LogLevel、Contract
fallback: 定义容错的处理类,当调用远程接口失败或超时时,会调用对应接口的容错逻辑,fallback指定的类必须实现@FeignClient标记的接口
fallbackFactory: 工厂类,用于生成fallback类示例,通过这个属性我们可以实现每个接口通用的容错逻辑,减少重复的代码
path: 定义当前FeignClient的统一前缀,当我们项目中配置了server.context-path,server.servlet-path时使用
下面这两种本质上没有什么区别:
他们都是一个作用就是将FeignClient注入到spring容器当中
@FeignClient(name = "feignTestService", url = "http://localhost/8001")
public interface FeignTestService {
}
@Component
@FeignClient(url = "http://localhost/8001")
public interface PaymentFeignService{
}
4.OpenFeign的使用
4.1 Feign简介
我们以前利用RestTemplate发起远程调用的代码:
@GetMapping("/get/{id}")
public Order getOrderById(@PathVariable int id){
Order order = orderService.getById(id);
String url = "http://userService/user/get/"+order.getUserId();
User user = restTemplate.getForObject(url, User.class);
order.setUser(user);
return order;
}
存在下面的问题:
● 代码可读性差,编程体验不统一
● 参数复杂URL难以维护
Feign是一个声明式的http客户端,官方地址:https://github.com/OpenFeign/feign
其作用就是帮助我们优雅的实现 http 请求的发送,解决上面提到的问题。
4.2 Feign使用
创建一个pms-api 模块专门用于提供feign接口
该接口是对pms-boot服务中接口的对外提供
在该模块的pom.xml中导入依赖
<dependency>
<groupId>org.springframework.cloud</groupId>
<artifactId>spring-cloud-starter-openfeign</artifactId>
</dependency>
编写接口:
@FeignClient(value = "pms-service")
public interface PmsFeignClient {
@GetMapping("pms/get/{id}")
public String getPms(@PathVariable("id") Long id);
}
其中 value 的值是服务的名称
在服务消费者中导入该依赖
<dependency>
<groupId>com.syh</groupId>
<artifactId>pms-api</artifactId>
<version>1.0-SNAPSHOT</version>
</dependency>
并在启动类上添加注解:@EnableFeignClients
@SpringBootApplication
@EnableFeignClients(basePackageClasses = {PmsFeignClient.class})
public class OmsApplication {
@Bean
@LoadBalanced
public RestTemplate restTemplate() {
return new RestTemplate();
}
public static void main(String[] args) {
SpringApplication.run(OmsApplication.class, args);
}
}
注意:
当定义的 FeignClient 不在 SpringBootApplication 的扫描包范围下时,这些 FeignClient 就不能使用。修改 order-service 启动类上的 @EnableFeignClients 注解
方式一:指定Feign应该扫描的包
@EnableFeignClients(basePackages = "com.xydream.feign.clients")
方式二:指定需要加载的Client接口:
@EnableFeignClients(clients = {UserClient.class})