华为大规模微服务实战经验

谈谈华为微服务解决方案与实践(上) 华为云微服务引擎的前世今生 华为从12年开始在很多创新项目里应用微服务技术,在14年随着微服务框架技术越来越成熟,工具越来越完善,公司各个产品线开始基于微服务框架做云化产品,16年的时候公司为了更好的进行能力共享,决策把散落在公司各个产品线的一些与微服务相关的工具、平台、框架和团队统一整合成华为公司级paas平台重要组成的一部分,专门负责微服务平台的交付和技术演进,统一支撑整个华为公司产品微服务... 阅读详情

作者 | 李林锋

《Netty 进阶之路》、《分布式服务框架原理与实践》作者李林锋分享大规模业务团队实施微服务的经验和教训。

引言

背景

对于一些复杂的业务系统(例如CRM)进行服务化改造,涉及到多个业务团队的配合和协调,加上业务本身的复杂度,对已有的系统进行微服务化重构是个极具挑战的任务...

实施前的准备工作

目标要清晰,处理好“舍与得”

教训

1、微服务化目标不清晰:

各业务模块处在不同技术阶段,有单体应用、RPC架构、SOA服务等,业务痛点不同。没有明确各业务的微服务化目标:是提升开发效率、缩短新业务上线周期,还是单纯的追求技术先进性。

2、没有处理好“舍与得”:

微服务不是银弹,看着美好,但是要在大规模团队和电信复杂业务系统中实施,一定要处理好舍与得。例如分布式带来的时延增加、可靠性降低。

经验总结

明确目标,敢于舍弃

舍

_

得

性能下降,时延增加

业务更灵活的拆分

环境搭建复杂

2 Pizza Team

本地调试不方便

持续构建和交付周期短

问题定位难度增大

升级和部署更快,影响范围更小

 不能随心所欲修改接口

技术架构更开放

实施前的准备工作

微服务不仅仅是架构师的愿景

教训

1、愿景美好,但落地变形:

顶层架构设计仅仅存在于架构师的脑海和架构设计文档中,设计理念和关键架构属性,底层的开发人员并不完全理解,架构落地时存在较大偏差。

2、大兵团作战,各自为战:

大规模业务团队拆分成很多小的微服务团队之后,需要互相协作和配合,在架构设计原则的理解和遵循上存在较大偏差,各自为战。

经验总结

统一认识,组织赋能

 

实施前的准备工作

技术选型要全面

教训

1、过于关注运行态服务框架,而忽略其它质量属性:

在选型时,过于关注微服务框架的性能指标、功能丰富性,以及对业务的侵入程度,而忽略了服务运维和治理。

2、忽略微服务语言中立原则:

业务模块多,场景复杂。大部分业务采用Java开发,但是对于计费、批价等性能要求苛刻的业务仍然需要继续使用C(C++)、GO等语言,服务框架不支持异构语言,跨语言调用存在问题。

经验总结

分析全面,语言中立

 

跨团队协作

接口依赖和进度协同问题多

教训

1、无法及时提供接口API,影响其它团队开发进度::

a) 初期经验不足:服务提供者过分专注于微服务的内部实现,而不是优先设计微服务的API提供契约化的接口给消费者。

b) 后期项目规则制约:限制迭代微服务接口变更次数。 提供者担心接口会经常性的变更和重构,迟迟不提供接口契约。

2、无有效的变更通知机制:

微服务接口契约文档离线管理,变更之后无有效通知机制。

经验总结

推行API First设计理念

01

消费者参与:

推行API First的设计理念,让微服务提供者从消费者的角度,与消费者一起设计API,同时把API通过在线的方式发布和管控起来。

02

全在线:

基于swagger,可以通过YAML或者JSON的方式设计API、在线发布API。

跨团队协作

接口兼容性问题

教训

1、微服务版本管控意识不强,随意变更:

随意删除、修改接口字段,导致其它团队CI构建失败,测试用例通过率低。

2、完全基于管理手段:

通过管理条例等约束接口变更,但是缺乏统一的技术保障手段。例如新增字段、删除字段,不同语言、不同团队怎么保证实施的一致性。

经验总结

技术保障、管理协同

01

制定并严格执行《微服务接口兼容性规范》,避免发生不兼容修改或者私自修改不通知周边的情况。

02

接口兼容性技术保障:例如Thrift的IDL,支持新增、修改和删除字段,字段定义位置无关性,码流支持乱序等。通过URL中携带V1/V2等主版本号,实现灰度路由。

03

持续交付流水线的每日构建和契约化驱动测试,能够快速识别和发现不兼容。

微服务实施

不是所有业务都一刀切

教训

1、研发阶段:

为了技术架构的统一,不考虑业务之间的差异性,不同业务的痛点差异,全部一刀切的进行微服务化改造。

2、上线阶段:

一次性全量上线,所有微服务化改造的业务同时进行升级,没有观察期和缓冲期。

经验总结

循序渐进、稳扎稳打

01

先外围,后中心:

先找一些相对成熟,非核心模块的业务做微服务改造,在这个过程中不断积累经验,为后续核心模块的微服务化做准备。

02

麻雀虽小五脏俱全:

在微服务化早期实践中,除了开发工具和运行框架,需要把微服务持续交付流水线、微服务治理框架、调用链分析等配套设施全部构建起来。

03

逐步上线和上量:

上线时,可以采用灰度路由等方式,逐步把流量切换到新的微服务系统中来。

不可忽视的技术细节

微服务编排

教训

1、编排框架混乱:

硬编码/BPMN流程引擎、脚本(Groovy、JS)编排引擎等,缺乏统一的轻量级微服务编排引擎(PVM)。

2、微服务编排层:

顶层缺乏统一的设计和策略,导致各业务模块实现五花八门。有的在后台能力中心层、有的在中台、有的在API Gateway、有的在客户端。

经验总结

轻量级微服务编排层

01

按需选择轻量级的微服务编排引擎(PVM), 传统的BPMN在微服务时代模型较重、依赖较多。

02

微服务的编排适合单独独立出来(中台),保障后台微服务的原子性、稳定性,同时又能够满足前台、移动端各种个性化需求。

 

不可忽视的技术细节

分布式事务

教训

1、分布式事务选型:

业务补偿、事务强一致性(TCC框架)或者基于消息的最终一致性方案,平台和业务之间、不同业务团队之间没有达成一致性方案,影响事务一致性。

2、习惯思维,强一致性事务占比过高:

单体应用都是本地事务,强一致性容易保障。服务化之后,没有基于业务场景深入分析,习惯性的采用强一致性方案,业务成本很高。

经验总结

以用户体验为本,兼顾时效性与成本

01

最终一致性,采用基于消息中间件的事务方案。

02

强一致性,TCC方案。

不可忽视的技术细节

API开放和集成

教训

1、内部的实现细节开放给前端/第三方:

包括但不限于特定语言的实现细节,例如异常类、继承和重载、抽象接口等。

2、为了后端数据结构重用,开放冗余的字段:

有时候为了重用内部的数据结构,把整个对象都开放出去,事实上消费者只需要使用其中的几个字段,导致接口易用性变差。

3、缺乏统一的 API Gateway:

没有统一的API入口和精准的流量管控手段。

经验总结

基于API Gateway,提升开放API的易用性

 

不可忽视的技术细节

熔断和降级

教训

1、闭门造车,技术五花八门:

没有构建统一的微服务可靠性框架、故障注入框架等,不同的业务团队各自为战。经验丰富的团队,可靠性做的较好,技能较差的团队,缺乏有效的可靠性保障。

2、重复研发,资源浪费:

业务场景不同,可靠性诉求大同小异。异步数据库访问、异步I/O操作、微服务故障隔离等能力,被不同团队重复构建。

经验总结

集成业界成熟技术,统一构建可靠性和故障注入框架

对第三方依赖进行分类、分组管理,根据依赖的特点设置熔断策略、优雅降级策略、超时策略等,以实现差异化的处理。

 

体系化的故障场景梳理

微服务故障隔离全景图

教训

1、没有体系化的梳理微服务故障场景。

2、没有自动化的微服务故障注入和模拟工具,微服务可靠性测试场景覆盖不足,问题遗留到线上。

经验总结

体系化的故障场景分析、自动化故障注入和故障隔离措施,提升微服务的可靠性

 

不可忽视的技术细节

微服务是否必须独立部署

教训

1、机械照搬微服务原则,所有微服务都独立部署:

上千个微服务,上百个节点集群组网,微服务进程数膨胀到数十万,周边配套设施无法承受(例如网管OSS)。

2、为了简化部署和管理,微服务全部合设在同一个进程:

丧失升级灵活性、无法按需伸缩、故障隔离差、异构语言无法合设在一起等缺点。

经验总结

按照微服务的拆分粒度、微服务规模、以及运维团队能够接受的维护成本来决定微服务的部署策略

01

可以进程内合设的微服务

a) 性能、时延要求苛刻,需要本地短路的微服务可以合设。

b) 业务强相关的一组微服务,为了便于统一管理。

c) 暂时不支持分布式事务,需要本地事务保障强一致性的相关微服务(非长久之计)。

02

拆分粒度较粗的微服务、功能独立和内聚,建议独立部署。

不可忽视的技术细节

告警泛滥,坐卧不安

教训

1、告警漫天飞,心惊肉跳:

微服务化之后,本地的方法调用变成了远程的微服务调用,一个业务流程的多个微服务会有多个开发者负责。告警也由本地集中式演变成了分散的分布式告警,如果仍然沿用之前的告警方式,就会发现告警满天飞,而且大部分告警都是重复无效的告警。

经验总结

动态构造告警树,自动抑制重复告警

01

原理

结合分布式调用链跟踪功能,在运行态将微服务调用关系动态刻画出来,然后构造告警树,每次叶子节点发生异常需要告警时,需要沿着树干层层下钻,对告警进行关联,寻找告警的Root节点,如果能够匹配上,则说明已经由根节点做了告警,叶子节点放弃告警,防止重复告警。

平台和业务关系

并非甲方和乙方

教训

1、以甲乙方来处理微服务平台和业务的关系:

大规模业务团队,服务化需求五花八门,平台方需要识别高优先级、通用的需求,大部分个性化的需求需要开放给业务团队实现,或者规划到后续版本。如果业务方只从本团队利益出发,不顾全大局,很容易压垮平台,最终交付质量无法保障。

经验总结

敢于和善于拒绝不合理需求

01

平台方:

a) 合理沟通,据理力争。

b) 深刻理解业务场景,抓主要矛盾和矛盾的主要方面。

c) 敢于承担责任,敢于对不合理需求说“不”。

02

业务方:

a) 不断提升微服务实践经验,能够分辨哪些是平台需求,哪些是业务需求。

b) 与平台建立互信、合作共赢的新型关系。

李林锋

10 年 Java NIO、平台中间件设计和开发经验,精通 Netty、Mina、分布式服务框架、API Gateway、PaaS 等,《Netty 进阶之路》、《分布式服务框架原理与实践》作者。目前在华为终端应用市场负责业务微服务化、云化、全球化等相关设计和开发工作。

联系方式:

新浪微博:Nettying

微信:Nettying

Email:neu_lilinfeng@sina.com

基于多源数据的微服务系统失败测试用例诊断 本文介绍由南开大学、华为云及清华大学共同合作的论文:基于多源数据的微服务系统失败测试用例诊断。该论文已被FSE 2024(The ACM International Conference on the Foundations of Software Engineering) 会议录用,论文标题为: Fault Diagnosis for Test Alarms in Microservices Through Multi-source Data。 阅读详情

相关推荐

6种微服务RPC框架,你知道几个?

跟语言平台绑定的开源RPC框架主要有下面几种。Dubbo:国内最早开源的RPC框架,由阿里巴巴公司开发并于2011年末对外开源,仅支持 Java语言。 Motan:微博内部使用的RPC框架,于2016年对外开源,仅支持Java语言。 Tars:腾讯内部使用的RPC框架,于2017年对外开源,仅支持C++语言。 SpringC

C++微服务架构及安全云盘项目实训

     课程从0开始搭建一个开源微服务架构,并以此架构实现高并发的安全云盘项目。项目涉及到微服务架构的所有细节,包括注册中心,网关,配置中心,微服务管理,鉴权,加密传输,灰度发布,熔断机制。      从实践中讲解软件工程,演示需求分析、架构设计、详细设计文档的编写,分析编程规范,了解多人协作开发策略,理解并应用软件的版本管理,熟悉git工具和软件发布流程,bug管理提交问题。代码提供和同学的作业都使用git.      课程有专门的交流答疑群,老师和助教在群中,并且有10次直播答疑课程,解答学员疑问,对学员的代码进行评审,课程学完后,指导学员对xmservice开源微服务架构做贡献。并写入开源库介绍中,简历中可写参与开源。       本课程会使用libevent, qt, openssI,zlib, protobuf等-线开源库联合进行编程。课程中所有代码都是跨平台,课程会演示在windows和linux (ubuntu) 环境中开发。   

手把手教你用scRNA-seq和scTCR-seq分析CD8⁺ T细胞在免疫治疗中的动态变化

本文详细介绍了如何整合单细胞RNA测序(scRNA-seq)与单细胞TCR测序(scTCR-seq)技术,深入解析CD8⁺ T细胞在癌症免疫治疗中的动态变化。通过从数据预处理、细胞亚群鉴定到TCR克隆追踪的完整分析流程,揭示了T细胞的功能状态转变与克隆演化规律,为理解免疫应答机制和开发精准治疗策略提供了关键方法学指导。

p8q9r0的博客 571

微服务治理框架(C++版)详细设计

@TOC 微服务治理框架(C++版)详细设计 概述 gRPC 是一款高性能、开源的 RPC 框架,产自 Google,基于 ProtoBuf 序列化协议进行开发,支持多种语言(C++、Golang、Python、Java等) gRPC 对 HTTP/2 协议的支持使其在 Android、IOS 等客户端后端服务的开发领域具有良好的前景。 gRPC 提供了一种简单的方法来定义服务,同时客户端可以充分利用 HTTP2 stream 的特性,从而有助于节省带宽、降低 TCP 的连接次数、节省CPU的使用等。 (

ccf19881030的专栏 3469

第零章 序 Chisel教程汇总

笔者目前西安交通大学微电子硕士在读,研究方向为数字集成电路设计与体系结构。鉴于目前RISC-V的火热程度,笔者参与了课题组的RISC-V项目,并了解、学习了颇受关注的新型硬件构建语言——Chisel,当前参与的神经网络加速器设计便是使用Chisel开发的。这是一门敏捷开发语言,据称要比传统的Verilog语言快很多。在亲身使用过后,笔者发现确实快了不少。这主要得益于Scala作为高级语言的简洁风格...

qq_34291505的博客 7万+

VNC Viewer建立多个图形界面,来远程访问同一个服务器(Ubuntu)

如题。目前已经有了一个VNC viewer连接,那么如果再开一个图形界面呢? 思路主要是:新建一个用户,从这个用户新建一个vnc连接,然后访问图形界面。

the Blog of 等不到天亮丶等时光 5904

微服务和 C++ 如何有效结合?

传统上,企业应用程序由三个主要部分组成,其中包括数据库、用户界面和服务器端程序。服务器端包含整个程序的业务逻辑,一般用于提供大范围的功能。这种体系结构比微服务更固定。尽管传统的体系结构有其优点,但对这两种体系结构的比较,超出了本文的内容范围。因此,我们将聚焦 C++ 的微服务开发,以及它在这一领域与一体化程序的区别。这篇文章中介绍了一些微服务的实际用例。

讨论软件开发加速、持续集成/持续交付(CI/CD)、C++、开发者生产力以及所有相关话题。 2241

双层优化入门(2)—基于yalmip的双层优化求解(附matlab代码)

​上一篇博客介绍了双层优化的基本原理和使用KKT条件求解双层优化的方法,这篇博客将介绍使用yalmip的双层优化问题的求解方法。 1.KKT函数 通过调用yalmip工具箱中的KKT函数,可以直接求出优化问题的KKT条件,省去自己手动写的步骤。 2.solvebilevel函数 solvebilevel是yalmip工具箱内置的求解双层优化问题的函数。也就是通过这个函数,不需要咱手动写KKT条件,也不需要使用KKT函数,直接把上、下层优化的目标函数、约束条件往里面一放,就能求出结果。 ​

配电网和matlab的博客 1万+

C++ 中的微服务架构 Microservices Architecture

C++ 中的微服务架构 Microservices Architecture

探索C++编程的奥秘,分享深入的技术见解和实践,旨在激发读者创造力与解决问题的思维。 3755

03 Aras Innovator二次开发-服务端方法(二)

Aras Innovator二次开发-服务端方法书写

企业信息化(PLM,ERP.MES) 2017

2025小红书跳转卡片实战指南:从零搭建独立后台与自动化发卡系统

本文提供了一份2025年小红书跳转卡片的实战搭建指南,详细解析了独立后台系统的核心架构与自动化发卡流程。文章从零开始,手把手教你使用Node.js、Vue.js等技术栈构建包含后台管理、用户制卡中心与前端交互的完整系统,旨在帮助运营者实现合规引流,并掌握数据自主权与自动化运营能力。

weixin_29234423的博客 521

探索华为开源项目:hh010/huawei

探索华为开源项目:hh010/huawei 在这个链接中,我们发现了一个有趣的开源项目——。该项目是华为公司推出的一个组件,旨在提供高效、灵活和可扩展的技术解决方案。本文将对其进行技术分析,探讨其用途,并揭示其独特之处,以鼓励更多的开发者参与和利用这个资源。 项目简介 hh010/huawei 是一个基于微服务架构的开发框架,它集成了华为云的各种服务和最佳实践,为开发者提供了构建云原生应用的强大工...

gitblog_00096的博客 508

手把手教你使用ConvNeXt训练自己数据集和推理,ConvNeXt模型训练(CVPR 2022),一个能挑战 Vision Transformer 的卷积神经网络,含完整代码和数据集

手把手教你使用ConvNeXt训练自己数据集和推理,ConvNeXt模型训练(CVPR 2022),一个能挑战 Vision Transformer 的卷积神经网络,含完整代码和数据集

在职AI算法工程师,擅长计算机视觉,YOLO目标检测、分割等,擅长web、pyqt界面可视化,好内容持续更新中,来这里跟大家一起学习,共同进步 1463

谈谈华为微服务解决方案与实践(中)

华为微服务解决方案是什么 华为微服务产品包含一套微服务开发框架、一站式微服务监控与治理平台以及一系列配套的微服务开发工具,主要功能如下: 基于契约(Open API)的开发模式:让微服务的开发、测试、文档、协作和管控活动标准化、自动化 高性能REST/RPC微服务开发框架:打包了微服务注册、发现、通信和治理等基础能力,开箱即用 一站式微服务治理控制台:提供微服务负载均衡...

微服务技术与实践专栏 8963

不提交也不释放的事务,数据库连接还有可能被复用

摘要 实验发现Spring事务管理下,未提交事务的数据库连接池连接仍可被复用,这与传统认知相悖。通过配置HikariCP连接池(最大2连接)并设计测试接口,观察到未提交事务的连接会被后续请求复用。这可能导致GTID错误(当MySQL开启GTID且混用事务/非事务表时)以及数据修改丢失问题。研究揭示了Spring事务管理机制与连接池交互的特殊行为,对高并发系统设计具有重要启示。

蔡定努 180

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

华为消费者云背后的微服务实践经验

2018年6月27日,Apache ServiceComb在北京举办主题Workshop,当中,来自华为消费者云的架构师李林锋分享了《ServiceComb在华为消费者云的亿级用户微服务实践》,以下为演讲实录。   讲师介绍: 李林锋,华为消费者云应用市场微服务架构师,多年平台中间件、云平台、微服务框架设计和开发经验。工作之余爱好技术写作,《Netty权威指南》和《分布式服务框架原理与实践》...

TemperCome的博客 3874

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

华为云容器和微服务是什么?

近期华为云围绕容器和微服务,号召行业分析师,应用上云实践者围绕容器和微服务进行深入讨论。 华为云全栈容器与微服务,业务创新快人一步 敏捷、高效、智能是Cloud 2.0时代企业数字化转型核心诉求,...

cs123458031的博客 387

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

828华为云征文 | 在华为云X实例上部署微服务架构的文物大数据管理平台的实践

文物大数据管理平台的需求日益增长,要求系统具备强大的数据存储、智能查询和数据分析功能。通过微服务架构,平台可以灵活地管理用户、文件存储、文物知识、资源管理以及报表统计等模块。本文将以实际案例为基础,详细介绍如何在华为云Flexus X实例上部署文物大数据管理平台,涉及的应用包括MySQL、Nginx、Tomcat、Java、FastDFS文件存储和Elasticsearch。

cooldream2009的博客 1791

从阿里云EDM到美团云:典型微服务治理平台的实战经验分享

随着微服务架构的广泛应用,微服务治理成为企业高效运维、扩展性和可维护性的核心技术需求之一。国内企业和技术提供商提供了多种微服务治理解决方案,结合不同场景需求,帮助企业解决了系统分布式架构中的一系列技术挑战。以下是8个典型的国内微服务治理方案,包括其主要功能、应用场景、成果案例及解决的技术难点。(1)服务发现与注册(2)自动化部署与管理(3)流量管理与负载均衡(4)服务监控与告警(5)动态路由与灰度发布。

u012372850的专栏 2289

灵魂拷问:华为亲身经历,分享微服务架构实战经验,事半功倍的效果,刷新了我的世界观!

前言 随着互联网对各个行业的深度渗透,它对行业的改变除了使行业有了新的业务形式,还有对业务更新节奏的提速。近两年在与处于各种不同行业的朋友的交流中,感受最深的一点就是“这世界变化太快了”。如果前两年这种“快”的影响还只在互联网领域,那么现在几乎所有的行业都已经被裹挟到这个浪潮中来了。而“微服务”便是在这样的大势之下应运而生,由前两年互联网公司的“玩具”转变为被更多企业级IT系统所接受和尝试东西。 从计算机的发展历史来看,微服务是一一个新生产物,但它不是从石头缝里突然蹦出来的,它的设计思想其实是分布式系统

如果频繁就私信一下呢 962

华为技术专家3个月肝出微服务治理实践笔记,不想竟被GitHub开源

小编又又又又又来给大家分享好书了:李鑫老师的 《微服务治理:体系、架构及实践》,网上没找见开源版本!

m0_73311735的博客 398

华为最热门的开源项目推荐!

开源最前线(ID:OpenSourceTop) 猿妹 整编 链接:https://www.itcodemonkey.com/article/828.html 世界 500 强的华为,旗下设有华为开源软件能力中心。是基于华为开源战略新成立的部门。承担开源新技术扫描与规划、开源技术研究、开源开发方法探索、开源社区运营和开源能力构建及管理等相关工作。本期,就为大家整理了华为的

程序猿 1万+

云原生时代的微服务

零 序言 4月24日,中国信息通信研究院主办的首届云原生产业大会在北京举行,在《云原生数字引领未来》的主题演讲中,阿里云容器服务总监易立表示:“云原生不但可以很好的支持互联网应用,也在深刻影响着新的计算架构、新的智能数据应用。以容器、服务网格、微服务、Serverless为代表的云原生技术,带来一种全新的方式来构建应用。”本段内容根据易立演讲内容整理而成。 一 云原生技术的优势 CNCF给出了云原生应用的三大特征: 容器化封装:以容器为基础,提高整体开发水平,形成代码和组件重用,简化云原生应用程

勇往直前的专栏 956

【ServiceComb】扎实做微服务,认真做开源

5 问ServiceComb     微服务 ServiceComb 是谁?   ServiceComb取名寓意蜂巢,是微服务开源项目,Apache软件基金会孵化项目,其源自ServiceComb商业版华为云微服务引擎CSE,于2017年5月开源开放。原主体代码于2007年12月由华为捐赠给Apache,是全球首个进入Apache软件基金会孵化的微服务开源项目。其提供一站式开源微服务解决...

ServiceComb的博客 1703
上一篇: 大规模微服务实战经验
下一篇: CSE如何使用apollo作为配置中心
looook
博客等级 码龄20年 145粉丝 195原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值