线上服务负载异常排查

IT 运维中的事件、故障排查处理思路 在讲解事件、故障处理思路前,先讲一个故障场景(以呼叫中心系统作为一例子): 业务人员反映呼叫中心系统运行缓慢,部份电话在自助语言环节系统处理超时,话务转人工座席,人工座席出现爆线情况。 运维人员开始忙活了,查资源使用情况、查服务是否正常、查日志是否报错、查交易量还有没有……时间不知不觉的在敲键盘、敲键盘、敲键盘中过去,但是原因还未定位。 经理过来了解情况:“系统恢复了吗?”、“故障影响是什么?”、“交易中断了吗?”…… 运维人员赶紧敲键盘,写sql,看交易量;敲键盘,写命令,看系统资源、情况…… 最终,定位 阅读详情

a7b464120b9d3f0c994ac31e5a2d8774.png

前言


除了解决业务Bug之外,工作中通常我们还会面临两类问题:

  • 线上服务负载异常,比如CPU负载异常飙高

  • 线上服务内存持续增长,存在泄漏

一般我们会通过各种监控、报警系统,发现和定位问题,关于如何搭建服务监控可以参考之前的文章《Go服务监控搭建入门》。但是呢,一些特殊情况,比如创业初期或者拥有大量技术债的系统,监控可能不够完善。所以今天就来看看这种情况下,如何定位服务负载异常的原因。

首先关于「负载异常」的问题,大都肯定都知道使用top或者htop等命令定位到某个进程或线程,好,问题来了:

如何定位到是哪个具体的函数导致的服务负载异常呢?

介绍一个利器perf


本文使用docker来演示perf的用法,可以直接使用我编排好的docker compose工程(一个模拟http服务调用grpc服务的演示项目) https://github.com/TIGERB/easy-tips/blob/master/docker/go/docker-compose.yaml

启动服务

// -d daemon守护模式
docker-compose up -d

进入容器

docker exec -it http-demo sh

安装perf

// 因为我这里使用的alpine,所以用apk安装,centos安装方式 yum install perf
apk add --update perf

模拟请求

siege -c 3 -t 30S "http://localhost:6060/v1/demo"

采样进程(当前目录会生成一个perf.data文件)

perf record -F 99 -p 6 -g sleep 10
释义:
-F 频率 每秒采样多少次
-p 进程 进程id
-g 记录调用栈
sleep 采样多少秒

分析CPU采样结果

perf report -n --stdio

c90c9919bc0cc878032f0dc8c060d5e3.png

除此之外,查看实时top函数

perf top -p 6

9c020e27b1371c3cd564ba936188d737.png

生成火焰图


如果上述的堆栈信息等还满足不了你,我们还可以基于采样过程生成的perf.data文件生成火焰图:

  1. 使用perf script命令转换上一步得到的perf.data文件,为下面使用火焰图工具生成火焰图做准备:

perf script -i yourpath/perf.data &> yourpath/perf.script
  1. 获取火焰图工具:

git clone git@github.com:brendangregg/FlameGraph.git && cd ./FlameGraph
  1. 使用火焰图工具FlameGraph下的工具stackcollapse-perf.pl进一步处理perf.script文件:

./stackcollapse-perf.pl yourpath/perf.script &> yourpath/perf.stackcollapse
  1. 生成最终的火焰图:

./flamegraph.pl yourpath/perf.stackcollapse > yourpath/perf.svg

487aa7ddc1afb137d45e077de29f9387.png

关于我的常用画图软件:

1. Balsamiq Mockups 3
2. Processon

Go轻松进阶系列 更多文章

fdfaf1731277a7de421eb03b7882505a.png

e72f72006dc4baf8566c718c97ba2de3.png

476d131094719d5e77543ba1961a0ec8.gif

CPU负载过高异常排查实践与总结 问题背景   昨天下午看到数据平台服务器cpu利用率达到了98.94%,而且最近一段时间一直持续在70%以上,看起来像是硬件资源到瓶颈需要扩容了,但仔细思考就会发现咱们的业务系统并不是一个高并发或者CPU密集型的应用,这个利用率有点太夸张,硬件瓶颈应该不会这么快就到了,一定是哪里的业务代码逻辑有问题。 1、排查思路 1.1 定位高负载进程 首先登录到服务器使用top命令确认服务器的具体情况... 阅读详情

相关推荐

记一次服务器负载飙高排查过程

记一次服务器负载飙高排查过程

叶小东的博客 1240

服务器负载分析及问题排查

序言 平常的工作中,在衡量服务器的性能时,经常会涉及到几个指标,load、cpu、mem、qps、rt等。每个指标都有其独特的意义,很多时候在线上出现问题时,往往会伴随着某些指标的异常。大部分情况下,在问题发生之前,某些指标就会提前有异常显示。 对于这些指标的理解和查看、异常解决等,是程序员们重要的必备技能。本文,主要来介绍一下一个比较重要的指标——机器负载(Load),主要涉及负载的定义、查看负载方式、负载飙高排查思路等。 什么是负载 In UNIX computing, the system load

醒 木 3013

C2 CompilerThread9 长时间占用CPU解决方案

一、问题描述 近期在进行日常巡检时发现,线上部分应用服务器的CPU突然比以往高出很多,经过登录机器排查确认是C2 CompilerThread9线程始终长时间运行消耗了CPU。 排查步骤在上篇博文有记录总结,地址:https://blog.youkuaiyun.com/u012538947/article/details/104581740 异常线程的堆栈如下: "C2 CompilerThread...

u012538947的专栏 1万+

Linux内核的经典调试方式

Linux内核调试和跟踪是一项复杂而强大的任务,需要深入的知识和经验。本文介绍了一系列经典的Linux内核调试和跟踪方式,包括使用 printk 记录日志、使用 gdb 进行调试、使用 Kdump 分析崩溃以及使用 BPF、Tracepoint、kprobes 和 ftrace 进行高级跟踪和分析。通过掌握这些工具和技巧,可以更好地理解和解决内核问题,提高系统的可靠性和性能,从而更好地应对复杂的Linux内核挑战。无论是内核开发人员还是系统管理员,这些技能都可以对工作产生积极的影响。

GitHub_miao的博客 1452

google gperftools

gperftools是google开发的一款非常实用的工具集,主要包括:性能优异的malloc free内存分配器tcmalloc;基于tcmalloc的堆内存检测和内存泄漏分析工具heap-profiler,heap-checker;基于tcmalloc实现的程序CPU性能监测工具cpu-profiler.google gperftools用于优化mysql nginx等常用软件

我用两个月时间,终于把优快云付费资源项目玩明白了!

关于项目的定位,这是一个知识付费项目,根据市场研究机构的数据显示,到2023年,全球知识付费市场规模将达到2000亿美元,所以说知识付费的前景是十分广阔的,当下互联网时代信息大爆炸,80后、90后、00后群体对知识付费的认可度也大幅提升,同时这群作为知识付费的主流人群已经具备了更强的消费能力,而且对于知识付费的需求更高。目前整个知识付费领域仍然在发展起步的初期,尽快在知识付费领域布局可以帮助我们在这波红利中获得一份不错的收益。而且个人认为,

白话机器学习 2万+

在服务器上排除问题的头五分钟

我们团队为上一家公司承担运维、优化和扩展工作的时候,我们碰到了各种不同规模的性能很差的系统和基础设备(大型系统居多,比如CNN或者世界银行的系统)。要是再赶上修复时间紧、奇葩的技术平台、缺少信息和文档,基本上这过程都会惨痛到让我们留下深刻的记忆。 遇到服务器故障,问题出现的原因很少可以一下就想到。我们基本上都会从以下步骤入手:   一、尽可能搞清楚问题的前因后果 不要一下子

jlds123的专栏 1638

STM32CubeMX平台F4系列固件下载核心要点

详解STM32CubeMX平台下F4系列单片机的固件包下载方法与常见问题,重点讲解stm32cubemx固件包下载流程及配置技巧,帮助开发者快速完成开发环境搭建。

weixin_42575505的博客 897

线上异常的处理

top + top -Hp + jstack 排查是"VM Thread"消耗过多资源,可以进一步使用 jmap 工具进行内存溢出排查。top + top -Hp + jstack 排查发现是普通业务线程,可看到具体是哪个接口。jstack + Java 进程打印堆栈信息中包含死锁信息deadlock线程处于waiting状态:多打印几次``jstack` 信息,对比一直停留在waiting状态的线程。

weixin_42679286的博客 458

AF驱动调试日志全解析:从配置到问题排查

本文全面解析AF驱动调试日志的配置、抓取与分析方法。从内核驱动与HAL层配置入手,确保日志正常输出,并详细解读开机初始化、马达识别、I2C通信等关键日志节点。通过多个实战案例,如对焦失败、前摄无功能、参数不生效及I2C报错等,系统性地展示了如何利用日志定位并解决AF对焦问题,是摄像头模组开发与调试的实用指南。

weixin_28285943的博客 308

不用加速器!Google Earth Pro登录失败自救手册:从服务器连接到地图加载的完整排错流程

本文详细解析了Google Earth Pro登录失败的常见问题及解决方案,包括服务器连接失败、地图加载异常等。通过基础排查、内置修复工具使用和高级配置调整,帮助用户无需加速器即可解决启动问题、黑屏和转圈圈等困扰,提升软件使用体验。

weixin_29227425的博客 486

Linux 系统 CPU 100% 异常排查实践与总结

点击上方 "程序员小乐"关注,星标或置顶一起成长每天凌晨00点00分,第一时间与你相约每日英文I’m sorry. Sometimes, I get jealous ...

程序员小乐 641

FPGA篮球计分器:从需求分析到模块化实现的实战指南

本文详细介绍了FPGA篮球计分器的设计与实现,涵盖需求分析、模块化设计及实战调试。重点解析了24秒精确倒计时、12分钟比赛计时、比分统计和数码管显示等核心模块的Verilog实现,提供了按键消抖、状态机设计和BCD码处理等关键技术细节,帮助开发者掌握FPGA数字系统设计方法。

sql99的博客 220

复盘社区线上故障-504 Gateway Time-out

早上10点40左右,监控突然狂报警,社区出现了大量点504 于是登上去其中一台服务器 step1:先使用top 看了下当前的负载。一分钟之内达到了1.2,要说不算高,但我们社区并没有什么大的流量。不应该这么高。按了c键,发现是fpm占用的cpu 很高。 step2: 使用 ps -aux 查看了下正在执行的任务。并无发现任何异常。但感觉是task导致。 step3: 查看cat /etc...

天阶的专栏 292

26、使用WiFiServer和WiFiClient建立tcp 连接

在前面的篇章,我们使用过WiFiClient跟WiFiServer这两个类,也比较过WiFiClient跟ESP8266HTTPClient的区别,今天我们来通过例子代码学习WiFiClient跟WiFiServer怎样建立TCP连接并传输数据的。

繁星点点~ 1778

AI驱动的客户终身价值分析:深入理解公司的收入质量

客户终身价值(Customer Lifetime Value, CLV)是衡量客户在整个生命周期内能为企业带来多少利润的重要指标。传统的CLV计算方法往往过于简化,无法准确反映复杂的客户行为和收入模式。本文旨在介绍如何利用人工智能技术,特别是机器学习方法,构建更精确的CLV预测模型,从而帮助企业深入理解其收入质量。CLV的基本概念和商业意义传统CLV计算方法的局限性基于机器学习的CLV预测方法特征工程和模型选择策略实际应用案例和Python实现首先介绍CLV的基本概念和商业背景。

AI云原生与云计算技术学院 477

线上linux服务器CPU的性能分析

记一次线上linux性能分析 现象:线上环境某个CPU使用率居高不下 排查思路分析: 一、首先查看系统负载,通过top、或者uptime 查看load average 二、在查看进程情况,可通过 top、ps 先解释一下平均负载的概念: 平均负载是指单位时间内,系统处于可运行状态和不可中断状态的平均进程数,也就是平均活跃进程数,它和 CPU 使用率并没有直接关系。 所以,它不仅包括了正在使用 CPU 的进程,还包括等待 CPU 和等待 I/O 的进程。 而 CPU 使用率,是单位时间内 CPU 繁忙情况的统

younger_zkc的博客 341

vs code , 配置 claude code 插件, 默认选项 : --dangerously-skip-permission

摘要:本文介绍如何在VS Code中为Claude Code插件配置--dangerously-skip-permission参数,包含两种方法:图形界面设置(适合新手)和直接编辑settings.json(精准配置)。该参数会跳过权限检查,仅建议在本地测试环境中使用。配置后需通过命令面板验证参数是否生效,并注意安全风险,避免在生产环境使用。多参数配置时需用数组格式,不同版本插件可能键名略有差异。

AI天才研究院 5018

服务器CPU100%如何排查和解决

目录 1、定位耗费 cpu 的进程 2、定位进程内耗费cpu 的线程 3、定位那个方法导致 cpu 过高 问题背景:要往 es 集群写日志,但当时 es 集群异常宕机,主线程写不进去数据抛出异常,但是异常内,又重新调用了 es 写的方法,导致死循环,线上服务器CPU负载接近100%,那么如何排查了? 1、定位耗费 cpu 的进程 查看进程列表:top c 输入P,按照 cpu 使用率进行排序:P 2、定位进程内耗费cpu 的线程 查看进程内线程列表:top -Hp 1347...

javaman_baicun 的博客 1744

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

负载均衡策略问题导致服务宕机(记一次生产问题)

tags : 避坑指南 一.问题 2019年12月4日上午11点左右收到线上报警,核心服务CPU使用率达到了3000%,看了下进程的线程信息都是active。因为使用的容器是weblogic,所以在console平台查看线程相关信息。 信息整理如下: 活动线程43个,队列的长度已经到了23个 数据库连接为不可用连接数为5,活动连接数为5,可用连接数为15 线程池 线程空闲指标大部分都是fals...

lisidapao的博客 1160

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

线上服务 CPU 又 100% 啦?一键定位 so easy!

点击上方“芋道源码做积极的人,而不是积极废人!源码精品专栏来源:my.oschina.net/leejun2005/blog/1524687背景1、java 正则表达式回溯造成 CPU 100%2、线程死锁,程序 hang 住3、免费实用的脚本工具大礼包(1)show-duplicate-java-classes(2)find-in-jars(3)housemd pid [java_home](...

芋艿V 328

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

tomcat cpu占用过高,系统负载高问题跟踪

线上8核 linux服务器,负载为8为正常情况,目前CPU负载过高,最高负载30多,平均负载在20左右,已经持续近一周,具体占用CPU资源的服务是tomcat_sc,占用CPU资源高达:720% 使用jconsole去跟踪 更改catalina.sh 启动设置:  $ CATALINA_OPTS="-Dcom.sun.management.jmxremote -Dcom.sun....

akingde 1791

org.apache.catalina.connector.ClientAbortException: java.io.IOException: Broken pipe问题的排查

线上一个功能打开,日志显示如下,ClientAbortException客户端中止异常,此功能在公司测试环境正常,另外线上的服务都是docker部署的。

喜羊羊love红太狼 8917

java排查一个线上死循环cpu暴涨的过程

问题,打一个页面cpu暴涨,打开一次就涨100%,一会系统就卡的不行了。 排查方法,因为是线上的linux,没有用jvm监控工具rim链接上去。只好用命令排查: top cpu排序,一个java进程cpu到500%了,什么鬼..... 查到对应java进程 jps  || ps -aux | grep 端口   pid=13455 查看进程中线程使用情况  T排

偏执狂才能生存!热忱比专业知识更重要......... 2978
上一篇: 总结&新领域
下一篇: [Skr-Shop]电商搜索业务介绍
TIGERB_Blog
博客等级 码龄10年 109粉丝 65原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值