Java程序员须知:分布式微服务为什么很难?

kettle写doris操作 文件在目录:doris-master\extension\kettle\assemblies\plugin\target\doris-stream-loader-plugins-9.4.0.0-343.zip。官方提供了doris stream load插件,下载源码编译后放到kettle的插件目录即可使用。地址:https://github.com/apache/doris.git。注意:需要doris插件或者kettle转换生成模板的私聊博主。使用PDmaner同步业务库生成建表语句。 阅读详情

现在,我们不断地赞美云原生cloud native架构(容器化和微服务),然而现实是大多数公司仍然运行单体系统。为什么?这不是因为我们非常不时尚,而是因为分布式是非常困难的。尽管如此,它仍然是创建超大规模的、真正弹性的和快速响应的系统的唯一途径,因此我们必须围绕它进行整合。

Java程序员须知:分布式微服务为什么很难?
在这篇文章中,我们将介绍分布式系统中一些障碍以及人们应对方法。

忘记康威定律(Conway’s Law),分布式系统遵循的是墨菲定律:“任何可能出错的地方都会出错。

在分布式系统的大规模上看,统计不是你的朋友(事后诸葛亮)。你所拥有的任何服务器实例越多,其中一个或多个当机的可能性就越高。而且极可能在同一时间。

在你收到警报邮件之前,服务器已经当机,网络将会丢失数据包,磁盘将失败,虚拟机将意外终止。

有一些在单体架构中的保证在分布式系统中就不再会得到保障。组件(现在的服务)不再以可预测的顺序启动和停止。服务可能意外重新启动,更改其数据库状态或版本。结果是,没有服务可以对另一个服务进行假设 - 系统不依赖于1对1的通信。

许多从故障中恢复的传统机制可能会使分布式环境恶化。强力重试可能会使您的网络被洪水般数据包淹没,备份恢复也并不简单。过去解决所有这些问题的设计模式,都需要重新思考和测试。

如果没有错误,分布式系统会很容易。乐观主义会造成对安全的错觉。分布式系统的设计必须具有弹性,能够容纳接受所有可能的发生错误,而不影响日常业务。

这里通讯会失败

在不可靠(即分布式)系统中,传统应用程序消息传递有两种高级方法:

  1. 可靠但缓慢:保存每条消息复制副本,直到您确认职责链中的下一个进程已经为此承担全部责任。
  2. 不可靠但快速:将多个复制副本发送给潜在的多个接受人,并允许消息丢失和重复。

我们在这里讨论的可靠和不可靠的应用级通信与网络可靠性(例如TCP与UDP)是不同。想象一下,两个通过TCP直接发送消息(比如RPC通讯)的无状态服务。即使TCP是可靠的网络协议,这也不是可靠的应用级通信。任何服务都可能会丢失并丢失正在处理的消息,因为无状态服务不能安全地保存正在处理的数据。(banq注:这是针对同步的RPC框架,比如国内的Dubbo或谷歌的gRPC)

我们可以通过在每个服务之间放置有状态的队列来使此设置应用程序级别可靠,以保存每个消息,直至其完全处理(banq注:引入消息队列)。这样做的不足之处在于它会慢一点,但是我们可能很乐意与之相处,因为如果它使生活更简单,特别是如果我们使用可管理的有状态的队列服务时,那么我们就不必担心规模和弹性问题。

可靠的方法是可预测的,但会涉及到延迟(延迟)和复杂性:大量确认消息和弹性保存数据(状态),直到您已经从职责链中的下一个服务确认完成了他们已经承担责任。

一个可靠的方法却不能保证快速的传递,但它确保所有的消息将最终至少一次传递。在每个消息至关重要且不能容忍丢失(例如信用卡交易)的环境中,这是一个很好的方法。AWS简单队列服务(Amazon的托管队列服务)是以可靠方式使用状态服务的一个例子。(banq注: Apache kafka提供类似正好一次的有效一次传递也是适用类似信用卡之类的交易)

第二种情况是,使用不可靠的方法可以实现端对端通讯得更快(比如RPC同步方式),但这意味着服务通常不得不期待重复和无序消息,并且一些消息将丢失。当消息是时间敏感的(即,如果他们不迅速采取行动,就不值得采取行动)或稍后的数据只是覆盖早期的数据,这种情况下可能会使用不可靠的通信。对于非常大规模的分布式系统,可以使用不可靠的消息传递,因为它的开销小且要快得多。然而,微服务设计却需要处理应对消息的丢失和重复。

在上述每种情况方法中,存在许多变量(例如,有保证和不保证的顺序性),所有这些变量需要在速度、复杂性和故障率方面进行不同的权衡。

一些系统可以同时使用上述多种方法,这取决于正在发送的消息的类型甚至系统上的当前负载。如果您有很多行为不同的服务,就很难正确恰当使用这些方法。需要在其API中明确定义服务的行为。为您的系统中的服务进行约束或推荐的通信行为的定义通常是有意义的,以获得一定程度的一致性。

现在时间是几点?

在分布式系统中没有这样的常见的所谓全球时钟。例如,在团体聊天中,我的评论和我的朋友在澳大利亚、哥伦比亚和日本发表的评论的出现将不会遵循严格顺序先后出现。没有任何保证机制保证我们看到的都是相同的时间表 - 虽然总有一个顺序,但是前提是我们有段时间先不说话。

基本上,在分布式系统中,每台机器都有自己的时钟,整个系统没有一个正确的时间。机器时钟可能会进行同步,但是即使在同步时传输时间也会不同,物理时钟也会以不同的速率运行,所以一切都会立即失去同步。

在单个机器上,一个时钟可以为所有线程和进程提供通用的时间。在分布式系统中,这在物理上都不可行。

在我们的新世界中,时钟时代不再提供无可置疑的顺序定义。在微服务世界中并不存在“什么时候”的单一概念,所以,我们的设计不应该依赖于服务间消息。

真相就在那里?

在分布式系统中,没有全局共享内存,因此没有单一版本的真相。数据将分散在不同物理机器上。此外,任何指定的数据在机器之间更可能处于相对较慢和无法访问的传输中,而不像在单体架构下的情况。因此,真正运行情况需要基于当前的当地的信息。

这意味着系统的不同部分的运行情况并不总是一致的。在理论上,它们最终应该在整个系统中传播消息时变得一致,但是如果数据不断变化,我们可能永远不会达到完全一致的状态,除非关闭所有新的输入和等待。因此,服务必须处理这样一个事实,即他们相互调用时可能会因为自己的问题而获得“旧”的或者不一致的信息。

说话快点!

在一个单体的应用程序中,大多数重要的通信发生在一个组件和另一个组件之间的单个进程中。流程内部的通信非常快,所以很多内部消息的传递不是问题。但是,一旦将单体组件拆分成单独的服务,通常会在不同的机器上运行,那么事情变得越来越复杂。

假设你知道如下背景知识:

  1. 在最好的情况下,将消息从一台机器发送到另一台机器比将内部从一个组件传递到另一个组件时要花费大约100倍的时间。
  2. 许多服务使用基于文本的RESTful消息进行通信。RESTful消息是跨平台的,易于使用,读取和调试,但传输速度慢。相比之下,与二进制消息协议配对的远程过程调用(RPC)消息不是人类可读的,因此更难调试和使用,但传输和接收速度要快得多。通过RPC方式发送消息的速度快20倍,比如gRPC相对RESTful而言。

在分布式环境中的结果却是:

  1. 你应该发送更少的消息。您可以选择在分布式微服务器之间发送的消息数量少于在单件中的组件之间发送的消息量,因为每个消息都会引入延迟(即延迟)。
  2. 考虑更有效地发送消息。对于您发送的内容,您可以通过使用RPC而不是REST来传输消息来帮助您的系统运行得更快。或者甚至就使用UDP并手工自己处理不可靠性。(banq注:RPCC通讯属于通讯快但不可靠类型)

状况报告?

如果您的系统可以次秒级(时间上短于1秒)速度更改,这是动态管理的分布式架构的目标,那么您需要以这种速度了解问题。许多传统的日志工具并不是为了跟踪这种情况而设计的。你需要确保能使用它们。

测试破坏

了解您的分布式系统是否正常工作并从不可预测的错误中恢复的唯一方法是:持续攻克这些错误并持续修复系统。Netflix使用Chaos Monkey(混沌猴)随机造成故意的崩溃测试。您的系统的弹性和完整性是需要测试的,同样重要的是,测试您的日志记录,以确保如果发生错误,您可以追溯地诊断和修复它 - 即使您的系统已经恢复在线运行。

这听起来很困难 我一定需要吗?

创建分布式、可扩展的、有弹性的系统是非常困难的,特别是对于有状态的服务(服务需要写数据库保存变动的数据)。现在是决定是否需要它的时候了。你的客户需求是否可以容忍慢一点响应还是小型规模系统?这样,您可以先设计一个更小、更慢、更简单的系统,并在构建专业知识同时逐步增加更多的复杂性。

像AWS,Google和Azure这样的云计算提供商也正在开发和推出这些大部分功能,特别是弹性状态(托管的消息队列和数据库)。这些服务似乎是昂贵的,但构建和维护复杂自己的分布式服务也是昂贵的。

任何虽然可能限制您但是会处理这些复杂性的框架(如Linkerd或Istio或Azure的服务架构)是非常值得考虑的。

关键的挑战是不要低估建立正确的弹性和高度可扩展的服务的难度。如果决定你真的需要它,那么全面教育大家,引入有用的约束,逐渐做好一切,并期待挫折和成功。

win10 跳过U8环境检测的IE WebControls.rar win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。 立即下载

相关推荐

IEEE论文接收后,收到Proof邮件别慌!手把手教你48小时内搞定校样(附详细截图)

本文详细解析了IEEE论文接收后Proof校样的全流程,从邮件关键信息解码到精准修改标注,提供48小时内高效完成校样的实战指南。涵盖登录技巧、文件验证、修改标注黄金法则及九宫格检查清单,帮助作者避免常见错误,确保论文顺利发表。

weixin_30652491的博客 564

分布式场景实战第五节 微服务痛点避坑指南

13 微服务的痛:用实际经历告诉你它有多坑(一) 在第三模块中,我们主要讲解了基于常见组件的微服务场景的相关内容,因为市面上已经存在比较流行的开源组件,因此你只需要搞清楚组件的原理即可。从这一讲开始,我们将正式进入第四模块——微服务场景进阶内容的讲解。 在介绍业务场景之前,我们先来谈谈对微服务的一些理解。 单体式架构 VS 微服务架构 为了让你快速理解单体式架构与微服务架构之间的区别,我们先来看一个新零售系统的例子。 比如门店(门店分为自营店和加盟店)想研发一款新零售系统进行商品售卖,它需要包含订单、营销

fegus的博客 737

MSDN Win10镜像缺少驱动?这里有全面解决方案

针对MSDN Win10镜像缺少驱动的问题,本文提供了四种解决方案:厂商官网下载驱动程序、利用Windows更新获取驱动、使用第三方驱动更新工具以及使用集成驱动的Win10系统镜像。每种方案都有其优缺点,用户可以根据自己的需求和实际情况选择合适的方案。建议优先考虑官方渠道:官方渠道下载的驱动程序稳定可靠,是解决问题的首选方案。谨慎选择第三方工具:使用第三方工具时,务必选择信誉好、无广告捆绑的工具,并注意保护个人隐私和计算机安全。备份重要数据:在进行系统安装或更新前,务必备份重要数据以防丢失。

nntxthml的博客 1543

跨语言微服务集成难题破解:Java对接Go服务的4大坑及避坑指南

解决Java与Go语言微服务的跨语言通信难题,本文详解4大常见陷阱及避坑方案,涵盖gRPC协议兼容、数据序列化差异、服务发现集成与错误处理机制,助力系统稳定高效互联,值得收藏。

FuncWander的博客 632

手把手带你死磕ORBSLAM3源代码(一)目录详解

ORB-SLAM3是一种基于特征点的稀疏实时单目SLAM(Simultaneous Localization and Mapping)系统。它是ORB-SLAM系列模型的第三代版本,用于在无人机、机器人和增强现实等领域中进行实时定位和建图。ORB-SLAM3使用了一种特征点提取和描述算法,称为ORB(Oriented FAST and Rotated BRIEF)。该算法能够提取图像中的稳定特征,并将其用于地图建立和相机定位。

anananajiushiwo的博客 2306

ESP32-CAM 赋能 AI 视觉巡检小车:自主避障与目标追踪实现全解析

本文基于 ESP32-CAM 实现了低成本 AI 视觉巡检小车的核心功能,硬件成本<100 元,兼顾自主避障与目标追踪。算法升级:移植 YOLOv5nano 量化模型(INT8),提升目标检测精度(如识别巡检场景中的 “异常物体”“人员”);无线拓展:通过 MQTT 协议将巡检图像、距离数据上传到阿里云 / 腾讯云,实现远程监控;多传感器融合:增加温湿度(DHT11)、红外测温(MLX90614)模块,扩展巡检维度;路径规划:结合 SLAM 算法,实现自主建图与路径巡检。

weixin_42300449的博客 368

【微服务从入门到精通:小白也能懂的全指南】

摘要:本文全面解析微服务架构,从基础概念到实战应用。首先对比单体架构与微服务的优缺点,指出微服务具有故障隔离、按需扩容等优势,但也带来分布式系统复杂性。重点介绍微服务核心组件:服务注册发现(Nacos)、网关(Gateway)、通信(Feign/REST)、容错(Sentinel)等。通过电商系统案例演示SpringCloudAlibaba技术栈的实战搭建过程,包括服务拆分、配置管理和分布式事务处理。最后总结面试高频考点和学习路径,强调微服务应"业务驱动",避免盲目拆分。

qq_36021478的博客 1329

采样率转化代码C++(有理倍数,升采样、降采样均可)

【代码】采样率转化(有理倍数,升采样、降采样均可)

goudahai的专栏 547

分布式系统踩坑实录:十大生产环境故障与解决方案

分布式系统通过服务拆分与集群部署提升可用性与扩展性,但其核心挑战在于网络分区、节点故障与数据一致性。CAP理论指出分区容忍下需在一致性与可用性间权衡,由此衍生出脑裂、分布式事务、锁失效、消息重复等典型问题。工程实践中,通过租约机制、TCC补偿、幂等设计与熔断降级等手段保障系统韧性。这些技术广泛应用于电商订单、支付、推荐等场景。本文基于近十年后端经验,系统梳理了生产环境中踩过的十大坑,涵盖从网络分区到灰度发布的完整避坑指南。

weixin_32767591的博客 276

通俗易懂的Harris 角点检测

点击上方“3D视觉工坊”,选择“星标”干货第一时间送达Harris 角点检测 认为特征点具有局部差异性。如何描述“特征点具有局部差异性”:以每一个点为中心,取一个窗口,窗口大小为5*5...

3D视觉工坊 1474

流体仿真软件:COMSOL Multiphysics二次开发_(11).COMSOL与外部软件的数据交换

通过上述方法,您可以实现 COMSOL Multiphysics 与外部软件的数据交换,从而更好地集成和分析仿真结果。无论是从文本文件导入数据,导出数据到 MATLAB,还是通过 API 和 COMSOL Server 实现实时通信,都能满足不同场景下的需求。希望这些内容对您在流体仿真领域的开发工作有所帮助。

kkchenjj的博客 1553

微服务/分布式初始

初始分布式

Javaxinshoulllll的博客 522

【数据集】中国陆地生态系统通量观测网 ChinaFLUX

【数据集】中国陆地生态系统通量观测网 ChinaFLUX

WW、forever的博客 195

讲透微服务架构,微服务真的不难

前言 最近几年,微服务可谓是大行其道。在业务模型不完善,超大规模流量的冲击的情况下,许多企业纷纷抛弃了传统的单体架构,拥抱微服务。这种模式具备独立开发、独立部署、可扩展性、可重用性的优点的同时,也带来这样一个问题:开发、运维的复杂性提高。有人感觉微服务越做越不方便管理。 然而,随着 Docker 容器技术和自动化运维等相关技术发展,微服务变得更容易维护。因此,未来微服务的发展只会越来越完善,成为将来大中型企业业务架构的发展方向。 但微服务架构包含了 N 多优化、N 多细节,对于一些 coding 的朋

m0_67645544的博客 794

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

觉得微服务难?那是你没有看到这篇文章!看完你就知道有多简单!

如今微服务倍受关注:文章、博客、社交媒体和会议演讲都在讨论微服务。微服务正在迅速朝着加德纳技术成熟度曲线(Gartner Hype cycle)的高峰前进。与此同时,也有持怀疑态度的软件社区人员认为微服务没什么新鲜可言。反对者声称它的思想只是面向服务架构(SOA)的重塑。然而,无论是炒作还是怀疑,不可否认,微服务架构模式有非常明显的优势 —— 特别是在实施敏捷开发和复杂的企业应用交付方面。 而Martin Fowler大师《重构》一书中有说过一句话,大概意思就是,“每次对原有系统进行修改调整的时候是一个.

Fightevery的博客 448

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

分布式中常见的问题及其解决办法

分布式中常见的问题及其解决办法

weixin_61769871的博客 2716

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

我终于搞懂了微服务,真的太不容易了~

一、业务背景 1.1 产品现状 1、各产品系统独立开发,代码复用率低,系统之间互相调用,耦合严重,系统解耦独立部署困难。 2、传统的单体架构,规模越来越大也越来越笨重;当新功能的开发、功能的重构变得不再敏捷可控;测试者的回归测试边界难以琢磨;系统的上线部署也变的艰难 3、高并发访问下无法提供可靠性服务 4、持续集成、持续部署、持续交付等工程效率化工具严重缺失 5、监控系统、日志分析等系统稳定性工具严重缺失 以上种种情况,都让我们应对需求的变化而变得迟钝。 1.2 业务需求 架构肯定是为业务需求而

如果频繁就私信一下呢 1188

3 年Java经验,面试官说我源码/调优/分布式/微服务都不会,来面试?

3 年开发经验的程序员,项目经验丰富,功底扎实,理应在招聘市场上备受追捧,然而,就在上个月,有一位履历相当不错的朋友,并不是。这位朋友言辞中有些惭愧:面试官已经给了一些提示,但无奈自己准备得不充分,回答很不理想。他没想到,,面试官会问的这么深入。“如果平时多注意积累总结就好了!的确,刚参加工作时,大家都会投入极大的精力。前段时间在网上和一位资深架构师聊到,像考核工作 2 年以上经验的技术人时,他希望候选人不要只停留在“会干活” 的层面,还要更注重考查其“解决问题”的能力。

the shy 490

分布式系统中的Java应用:挑战与解决方案

在分布式系统中使用Java面临诸多挑战,包括网络延迟和不可靠性、数据一致性、分布式事务管理、服务发现和负载均衡、故障检测和恢复等。通过合理的架构设计和技术选型,可以有效应对这些挑战,提高系统的可用性和性能。采用微服务架构,将订单服务、库存服务、支付服务等拆分为独立的微服务,使用Spring Cloud进行服务治理和负载均衡。在分布式系统中,服务实例可能动态增加或减少,需要可靠的服务发现和负载均衡机制来管理请求分配。分布式系统中的节点故障是常见现象,需要有效的故障检测和自动恢复机制,确保系统的高可用性。

微赚淘客系统开发者博客 682

【Java+Go微服务协同开发实战】:揭秘跨语言服务通信的5大核心难题与解决方案

解决跨语言服务通信难题,深入探讨微服务架构下的多语言协同开发(Java+Go),涵盖gRPC通信、数据序列化、服务发现等核心场景。揭示5大技术挑战与落地解决方案,提升系统灵活性与性能,值得收藏。

InitFlow的博客 750

就这?腾讯云高工熬夜手写‘Java微服务学习笔记‘也就让我月薪涨3k

本人18年毕业于长沙某大专,实习期间进入一家和学校合作的互联网公司,一直在公司干着千篇一律的CRUD,生活看不到希望,感觉一直在这里CRUD没有希望,所以在春节回来后就离职了,一直在家中学习。和一些大佬在VX群里交流学习的过程中,无意中从一位腾讯云大佬手中拿到了这份由腾讯云大佬亲码的“Java微服务”学习笔记! 作为这个时代码代码的秃头人员,对微服务肯定是不陌生的,如果连微服务都没用过,还真不好意思出去面试,指不定被面试官吊打多少次。 毕竟现在互联网公司和一些创业公司都要用到微服务,像亚马逊、谷歌、阿里

javassb的博客 258

微服务难搞?带你快速入门Spring Cloud

Spring Cloud对于中小型互联网企业是一个福音,使用Spring Cloud一站式解决方案可以大大减少开发成本,Spring Cloud它只是将各家公司开发的比较成熟、经得起实际考验的服务框架组合起来,通过Spring Boot风格进行再封装屏蔽掉了复杂的配置和实现原理,最终给开发者留出了一套简单易懂、易部署和易维护的分布式系统开发工具包。 什么是Spring Cloud? 构建分布式系统不需要复杂和容易出错。Spring Cloud为最常见的分布式系统模式提供了一种简单且易于接受的编程模型,帮

Java___interview的博客 672

c# 微服务学习_在微服务架构中做机器学习,真的太难了

我曾经参与过很多由深度学习技术驱动的项目,最糟糕的情况就是被迫处理面向微服务的架构,我不是呼吁大家停止使用微服务,但想在面向微服务的架构中推动机器学习项目,很大程度会失败。本文最初发布于 StreamSQL 博客,经原作者授权由 InfoQ 中文站翻译并分享。我曾在很多团队中参与构建过由深度学习驱动的项目,从个性化定制到推荐付费,可以说无所不包。在这个过程中,我需要花费大量时间开会,然后寻找数据,...

weixin_42468580的博客 850
上一篇: Java程序员为什么会有职业瓶颈?
下一篇: 阿里P8级架构师浅析秒杀架构设计实践思路
大G哥
博客等级 码龄9年 5303粉丝 1408原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值