微服务的时间和成本去哪儿了

本文深入探讨了微服务在.NETCore环境下的实践与挑战,包括微服务的选择理由、难点及解决方案,如K8S的引入、服务划分、调用优化及数据库运维策略。

2019 中国.NET 开发者峰会目前在国内的.NET社区还是很有影响力的,宣传的内容也都是比较新潮和前言的技术栈。

有一个不争的现实是基本上主题都是关于.NET Core的,以及基于该主题之上的延展。比如ML.NET相关的机器学习;基于.NET Core的微服务实战;传统转型.NET Core的实战;.NET Core在物联网的应用;.NET Core结合K8S的应用;.NET Core架构历史;.NET Core相关的云原生技术等等。可谓欣欣向荣,百花齐放,仿佛让人看到了.NET生态的重新崛起。

峰会的内容给开发者开启了一个明亮的窗口,但毕竟只是抛砖迎玉,真正落地开花还有很长的距离。

本人在.NET Core上面落地过,对微服务也兴味黯然,所以我重点倾听了刘腾飞老师的演讲,并做部分解读,从共鸣中写下个人感想,希望对您有所启发。

为什么选择微服务?

  虽然刘老师的说辞有点举重若轻,说的是因为执着和技术人的专研精神选择了微服务,甚至也对比和调研过,但是在只有四个人的团队里,连一张披萨都没有凑齐的前提下就“冒然”选型,显然不能让我信服。可能是刘大佬有比较充分的调研和把握,或者说有一定的技术自信。否则换成我,我是无论如何不敢带着四个缺少微服务实战经验的小伙伴贸然前进,除非我想把这个项目当成试验品。

  因为如果分层架构足够规范简单,团队规范足够精细,设计面向微服务的架构就足够解决问题,等团队和业务发展壮大后,再切换到微服务不迟。

  刘佬团队中间加过多少班,踩过多少坑,也许只有刘老师知道。

  演讲中插曲说:有一次加班到凌晨3点多,然后一起出来吃火锅。我听完除了敬佩还是敬佩。有句话叫哪里有岁月静好,因为有人替你负载前行。

微服务难在哪里?

  因为微服务确实需要比较高的门槛,具体可以参考我的另外一篇文章《漫谈何时从单体架构迁移到微服务?

  微服务的基础设施包括:

  • CI、CD,限流,熔断,管理协作,分布式技术,
  • 网关,服务监控,日志收集,重复代码
  • 配置中心,负载均衡,发布成本
  • 领域划分和明确
  • 容器相关技术栈等等

  也就是说对于服务来说,单个服务变得简单,整体服务变得复杂。

  这些菜都端上来,如果没有很好的技术储备和高效管理和协作,估计是要不消化的。重点是刘大佬在演讲最后,仍然没有给提问者一个很好的关于分布式事务的解决方案。

如何降低微服务的成本?

  这里的目的是探讨如何降低成本,所以我们必须要面对这些困难,一个一个的去解决。当这些困难的成本和单体一致或持续的接近单体的时候,我觉得上微服务就胸有成竹了。

  为此我们必须要梳理并识别以上的技术难点,这里挑选最核心的或者说最影响时间成本的点来展开。

引入K8S

  面对JAVA的SPRING全家桶,刘佬采用K8S来解决,也就是说K8S自带微服务等大部分基础设施,比如配置中心不一定要用Appolo,使用K8S的ConfigMap就可以了;服务发现和注册也是K8S自带的。K8S解决了基础设施一半以上的问题,这个成本是非常低的。

  也就是说对微服务的学习成本,变成了对K8S的学习成本。这对开发人员来说是个福音,因为可以有现成的轮子,但是也不能高兴太早,因为K8S并不是一个容易掌握的技术。可以说K8S内容庞杂,官方文档也是大而全,想要一下子掌握它非一日之寒。

  剩下的另外一半成本在哪儿?我觉得服务划分,服务调用,相关提效工具的使用等等。

服务划分

  前期服务的划分,包括基础服务,核心服务,网关选型,全链路监控等技术栈。包括但不限于如下表所示:

服务调用:

  • 服务在相互调用的时候,难免会产生重复模型,比如DTO。
  • 使用HTTP请求的性能不足问题
  • 采用gRPC
    • 采用gRPC后服务开发解决单体开发,减少冗余的代码,做到分布式部署和本地部署。
    • 分布式跨服务访问,读写操作做分离,尽量只做查询,POST操作走异步消息事件。

  刘佬提到的服务调用连续迭代了三个版本,这个坑给我很大启发,虽然我目前的服务没有采用gRPC,但是模型的代码重复已经开始冗余了。代码冗余不可避免,有没有更好的解决方案呢?有些人会觉得引入Abp框架来解决,最新的Abp Next。这是很好的轮子,但是问题又来了,Abp Next和K8S一样,如果团队没有好的研发型人员或者对Abp的使用有过几个项目垫底的人,那么Abp的引入可能会增加技术的复杂度,因为Abp在性能方面也是有坑的,何况Abp Next目前也在跟着迭代,文档都不是很健全。

工具使用

  工具是微服务基础设施的一部分,比如基于gitLab的CI,CD或者jenkins。都是服务自动化发布的利器。另外API接口膨胀后的管理,联调,测试,规范等等,如果没有管好API,前后端分离往往会降低我们的开发效率,因为互相等待是常有的事情,就算模拟好数据后,也不能保证不去做联调。

终极价值

  刘佬说:“微服务的终极价值在于服务的任意拼装组合。“

  好比乐高积木,比起单体粗苯的代码调整,显然是高效率解放生产力的。这种价值其实并不新鲜,从历史的维度看,从最小的函数封装,抽象,设计模式,类库,到进程交互,到最后亚马逊的微服务发明,无不在学习乐高思想。只是随着业务复杂度的增加,团队规模的膨胀,这个乐高的粒度不断的变大,变远,最后跨进程,跨域,分布式。

提问和启发:

  在演讲结束的提问环节,问了三个问题我觉得很有质量,也是难点。

如何保持数据一致性?

  刘佬的项目在数据一致性这块没有落地,具体原因没说明,但是我预估当初是业务优先所做的妥协。

  分布式事务具备一定的复杂性,是个很大的话题。分布式事务一般采用的是最终一致性,也就是CAP里面的三选二,通过牺牲实时来保证业务的高可用性。电商中如果不涉及到资金安全,比如虚拟钱包和货币等核心业务功能,一般不影响使用。

  而这里的最终一致性要落地好,技术上虽然不难,但是要落地完整,需要不少时间。

如何解决K8S服务干扰?

  某个服务因为各种原因,比如代码不够健壮导致,或者因为ES的大内存需求,导致集群其他服务异常,甚至整个集群垮掉该如何解决?

  • 容器资源限制
  • 核心服务抽离

  主要采用资源限制,但是资源限制会导致某个容器挂掉。可以通过资源告警和日志分析的方式快速定位容器并进行资源重新伸缩分配,特别是在生产环境。

如何解决数据库运维?

  随着数据库和服务一起拆分,数据库也变多了,给数据库运维带来了极大挑战。

  拆分的痛点是表关联查询,因为所有的聚合都是服务的聚合,也就是数据库的Join没有了,替换成的是服务间的关联了,所以刘佬干脆弃用MySQL,全部采用MongoDB,充分发挥MongoDB优势。

  但是接下来的代价就是统计和报表的生成,这个难题也不复杂,可以通过数据同步,把MongoDB的数据同步到关系型数据库当中。

  对于业务统计或用户行为事件,会产生很大的数据量,可以在服务入口处做探针,比如在用户访问,下订单服务处埋点,把访问和统计数据同步到ES,发挥ES的威力,最后通过Dashboard来进行显示。

评估微服务架构所需资源成本可从以下几个方面入手: ### 硬件资源成本 - **服务器**:根据微服务的数量、每个服务的负载以及预期的并发访问量来确定所需服务器的数量、CPU、内存存储容量。例如,对于高并发的服务,可能需要配置更高性能的服务器。同时,要考虑服务器的购买成本、托管费用(如果使用云服务器)或机房建设与维护成本(如果使用自建服务器)。 - **网络设备**:包括路由器、交换机等,以确保微服务之间以及与外部客户端的网络通信顺畅。网络设备的性能带宽需求取决于服务间的数据传输量通信频率。 ### 软件资源成本 - **操作系统中间件**:每个微服务可能需要运行在特定的操作系统上,如 Linux 发行版。同时,还需要考虑使用的中间件,如消息队列(RabbitMQ、Kafka)、数据库(MySQL、MongoDB)、缓存(Redis)等的许可费用(如果有)维护成本。 - **开发工具框架**:开发微服务需要使用各种开发工具框架,如集成开发环境(IDE)、版本控制系统(Git)等。部分工具可能需要购买商业许可证,这也是成本的一部分。 ### 人力成本 - **开发团队**:微服务架构支持不同服务由不同团队使用可能不同的编程语言技术栈进行开发,因此需要招聘培养具备多种技术能力的开发人员。开发团队的规模取决于微服务的数量复杂度,人力成本包括工资、福利、培训费用等。 - **运维团队**:随着微服务数量的增加,运维工作的复杂度也会提高。需要有专业的运维人员负责服务的部署、监控、故障排查性能优化等工作。运维团队的规模技能要求也会影响人力成本。 ### 云服务成本 如果使用云服务提供商(如 AWS、阿里云、腾讯云)来部署运行微服务,需要考虑以下成本: - **计算资源**:根据使用的云服务器实例类型使用时长计费。 - **存储资源**:包括对象存储、块存储等,费用取决于存储容量数据传输量。 - **网络带宽**:根据进出云服务的数据流量收费。 - **云服务提供商还可能提供一些增值服务,如负载均衡、服务发现、日志管理等,这些服务也会产生相应的费用。 ### 测试部署成本 - **测试环境**:需要搭建与生产环境相似的测试环境,以确保微服务在上线前的质量。测试环境的硬件软件资源成本也需要纳入考虑。 - **自动化部署工具**:为了实现微服务的快速、可靠部署,通常会使用自动化部署工具(如 Jenkins、GitLab CI/CD)。这些工具的配置维护也需要一定的成本。 ### 安全成本 - **安全防护**:为了保护微服务免受网络攻击数据泄露,需要投入资金用于安全防护措施,如防火墙、入侵检测系统(IDS)、加密技术等。 - **合规性**:某些行业可能有特定的合规要求,如 GDPR(通用数据保护条例),满足这些合规要求可能需要额外的成本。 以下是一个简单的 Python 代码示例,用于模拟计算不同微服务数量下的服务器成本: ```python # 假设每台服务器的成本为 5000 元 server_cost = 5000 # 不同微服务数量对应的服务器需求 microservice_servers = { 1: 1, 2: 2, 3: 3, 4: 4, 5: 5 } # 计算不同微服务数量下的服务器成本 for microservices, servers in microservice_servers.items(): total_cost = servers * server_cost print(f"当有 {microservices} 个微服务时,服务器成本为 {total_cost} 元") ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值