用大模型帮程序员找Bug,中科院剖析102篇论文总结出这些方案

如何对AI大模型进行测试 多模态测试(如果适用) 阅读详情

中科院对“找Bug”下手了,一口气总结了N种方案!

法宝就是大模型。

图片

大模型由于其卓越的自然语言理解、推理等能力,已经被应用于各种场景,取得了前所未有的效果。

类似的,软件测试领域也受益于其强大的能力,能够帮助生成逼真且多样化测试输入,模拟各种异常,加速缺陷的发现,提升测试效率,进行潜在提高软件质量。

来自中国科学院软件研究所、澳大利亚Monash大学、加拿大York大学的研究团队收集了截止到2023年10月30日发表的102篇相关论文,并分别从软件测试和大模型视角进行了全面分析,总结出一篇关于大模型在软件测试领域应用的全面综述。

图片

(论文地址见文末)

研究发现一览图是这样婶儿的:

图片

详细内容我们接着往下看。

从软件测试的视角来看

首先,研究人员从软件测试的角度进行了分析,并将收集到的研究工作按照测试任务进行组织。

如下图所示,大模型的应用主要集中在软件测试生命周期的后段,用于测试用例准备(包括单元测试用例生成、测试预言生成、系统级测试输入生成)、测试报告分析、程序调试和修复等任务。然而,在测试生命周期的早期任务(如测试需求、测试计划等)上,目前还没有使用大语言模型的相关工作。

图片

进一步地,研究人员还对大模型在各种软件测试任务上的应用进行了详细分析。

以单元测试用例生成为例,单元测试用例生成任务主要涉及为独立的软件或组件单元编写测试用例,以确保它们的正确性。传统的基于搜索、约束或随机的生成技术存在着测试用例覆盖率弱或可读性差的问题。

引入大模型后,相对于传统方法,大模型不仅能够更好地理解领域知识以生成更准确的测试用例,而且还可以理解软件项目和代码上下文的信息,从而生成更全面的测试用例。

对于系统级测试输入,模糊测试作为常用技术,主要围绕着生成无效、意外或随机的测试输入来达到测试的目的,研究人员也详细分析了大模型如何改进传统模糊测试技术。

例如有研究提出通用模糊测试框架Fuzz4All、ChatFuzz等,也有研究专注于特定软件开发基于大模型的模糊测试技术,包括深度学习库、编译器、求解器、移动应用、信息物理系统等。

这些研究的一个关注重点是生成多样化的测试输入,以实现更高的覆盖率,通常通过将变异技术与基于大模型的生成相结合来实现;另一个关注重点是生成可以更早触发错误的测试输入,常见做法是收集历史上触发错误的程序来对大模型进行微调或将其作为演示程序在查询大模型时使用。

论文中对于各种研究的技术思路有更为详细的介绍和比较。

从大模型的视角来看

随后,研究人员再从大模型的视角出发,分析了软件测试任务中选用的大模型,并进一步介绍了如何让大模型适应测试任务,包括提示工程技术、大模型的输入以及与传统测试技术的结合使用。

在所选用的大模型方面,如下图所示,最常用的前三种大模型分别是ChatGPT、Codex和CodeT5。后两种是专门在多种编程语言的代码语料库上训练得到的大模型,能够根据自然语言描述生成完整的代码片段,因此非常适合涉及源代码的测试任务,如测试用例生成、缺陷修复。

此外,虽然已经有14个研究使用GPT-4(排名第四),但是GPT-4作为一种多模态大模型,研究人员表示尚未发现相关研究探索软件测试任务中利用其图像相关功能(例如UI截图、编程演示),这值得在未来研究中探索。

图片

在如何调整大模型行为以胜任软件测试任务方面,主要有预训练或微调和提示工程两种技术手段。

如下图所示,有38项研究使用了预训练或微调模式以微调大模型的行为,而64项研究则使用了提示工程来引导大模型达到预期的结果。

提示工程技术的主要优势在于无需更新模型权重也能让大模型适应特定领域和任务,并强化大模型的理解和推理能力,目前已经采用的技术包括零样本或少样本学习、自我一致性、思维链、自动提示等技术。

图片

此外,研究人员发现有35项研究在运用大模型之上,还结合了传统测试技术,包括变异测试、差分测试、程序分析、统计分析等,以取得更好的测试有效性和覆盖率。

虽然大模型在各种任务中表现出巨大的潜力,但仍然存在一些局限性,如难以理解和处理复杂的程序结构。

因此,将大模型与其他技术结合起来,以最大程度地发挥它们的优势和避免劣势,从而在特定情况下实现更好的结果,例如生成更多样化和复杂的代码,更好地模拟真实场景。

图片

用大模型找Bug还有哪些挑战?

过去两年中,利用大模型进行软件测试已经有了很多成功的实践。然而,研究人员指出它仍处于早期发展阶段,还有许多挑战和未解决问题需要探索。

挑战1:实现高覆盖率的挑战

探索被测试软件的多样行为以实现高覆盖率始终是软件测试的重要关注点。大模型直接实现所需的多样性仍然具有很大挑战,例如单元测试用例生成中,在SF110数据集上,行覆盖率仅为2%,分支覆盖率仅为1%。

在系统测试输入生成方面,对于面向深度学习库的模糊测试,TensorFlow的API覆盖率为66%(2215/3316)。已有工作通常将变异测试与大模型结合使用,以生成更多样化的输出。

其他潜在的研究方向涉及利用测试相关的数据来训练或微调能够理解测试特性的专用大模型,可以理解测试要求,自主地生成多样化的输出。

挑战2:测试预言的挑战

测试预言问题一直是各种测试应用面临的挑战,已有工作常见做法是将其转化为更容易获取的形式,通常通过差分测试来实现或仅关注容易自动识别的测试预言(例如崩溃类错误),虽然取得了不错效果,但仅适用于少数情况。

探索利用大模型解决其他类型的测试预言问题是非常有价值的。

例如,蜕变测试也是常用的缓解测试预言问题的技术,可以探索结合人机交互或领域知识自动产生蜕变关系,还可探索大模型自动生成基于蜕变关系的测试用例,覆盖各类输入。进一步的,像GPT-4这样的多模态大模型也为检测用户界面相关缺陷并辅助推导测试预言提供了可能性。

挑战3:精准评估性能的挑战

图片
△该图由GPT-4 AI生成

缺乏基准数据集和基于大模型技术潜在的数据泄漏问题给进行严格和全面的性能评估带来了挑战。研究人员通过检查训练大模型的数据源CodeSearchNet和BigQuery,发现Defect4J基准数据集中使用的四个代码库同时包含在CodeSearchNet中,并且整个Defects4J代码库都包含在BigQuery中。

因此,大模型在预训练过程中已经见过现有的程序修复基准数据集,存在严重的数据泄露问题。所以,需要构建更专门和多样化的基准数据集,并采取措施防止数据泄漏。

挑战4:用于现实项目的挑战

由于对数据隐私的关注,在考虑实际应用时,大多数软件组织倾向于避免使用商用大模型,更愿意采用开源的大模型,并使用组织特定的数据进行训练或微调。

此外,一些公司还考虑到计算能力的限制或关注能源消耗等,倾向于采用中等规模的模型。在这样的现实条件下,要达到与已有研究工作中报告的类似性能是非常具有挑战的。例如,在广泛使用的QuixBugs数据集中,40个Python错误中有39个能够自动修复,40个Java错误中有34个能够自动修复。

然而,当涉及到从Stack Overflow收集的深度学习程序(代表实际的编码实践)时,72个Python错误中仅有16个能够自动修复。如何更关注现实需求研发相应的技术才能更利于技术落地和实际应用。

大模型也带来了研究机遇

利用大模型进行软件测试也带来了许多研究机遇,对于软件测试领域的发展大有益处。

机遇1:利用大模型进行更多样化的软件测试任务和阶段

在测试任务的初期阶段,大模型目前还未得到有效应用。主要原因有两方面:一是早期测试任务的主观性,需要专家进行评估;二是早期阶段缺乏开放数据资源,这限制了大模型的性能表现。

此外,如下图所示,虽然大模型在单元测试和系统测试方面得到了广泛应用,但在集成测试和验收测试方面的应用相对较少。总之,如何充分利用大模型进行更多样化的软件测试任务和测试阶段是一个值得深入研究的新方向。例如,在验收测试方面,大模型可以与人类测试人员协同工作,以自动生成测试用例并评估测试覆盖率。

图片

机遇2:将大模型应用于更广泛的测试类型和软件

一方面,虽然大模型在功能测试方面得到了广泛应用,但在性能测试和可用性测试等其他方面应用较少,这可能是因为这些测试已有一些专门且让人满意的模型和工具。

但将大模型与这些工具相结合仍不失为一个潜在的研究方向,例如利用大模型整合性能测试工具,并模拟真实用户行为来产生不同类型的工作负载。另

一方面,如下图所示,已经有研究在多种类型的软件测试中成功应用了大模型,例如移动应用,深度学习库、自动驾驶系统等。不仅能将现有技术迁移到其他类型的软件上,也可以针对某类软件的特性,研发针对性的技术。

图片

机遇3:整合先进的提示工程技术

现有研究尚未充分挖掘大模型的潜力,如下图所示,仅使用了五种最常见的提示工程技术。未来的研究应该探索更高级的提示工程技术(如图中的思维树、多模态思维链等),以更充分地发挥或增强大模型的理解和推理能力。

图片

机遇4:和传统技术结合

目前关于大模型在解决软件测试问题方面的能力还没有明确的共识,有研究将大模型与传统软件测试技术相结合取得了很好的效果,这可能意味着大模型并非解决软件测试问题的唯一灵丹妙药。

考虑到已有许多成熟的软件工程相关技术和工具,可以探索将大模型与传统技术相结合(例如形式化验证等尚未在已有研究中探索过的)、探索其他更先进的结合方式、以及与工具集成更好地发掘已有工具的潜力。

​

如何学习AI大模型?

作为一名热心肠的互联网老兵,我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

一、全套AGI大模型学习路线

AI大模型时代的学习之旅:从基础到前沿,掌握人工智能的核心技能!

img

二、640套AI大模型报告合集

这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。

img

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展,AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型,如GPT-3、BERT、XLNet等,以其强大的语言理解和生成能力,正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

img

四、AI大模型商业化落地方案

img

作为普通人,入局大模型时代需要持续学习和实践,不断提高自己的技能和认知水平,同时也需要有责任感和伦理意识,为人工智能的健康发展贡献力量。

大模型评测教程 随着人工智能技术的快速发展, 大规模预训练自然语言模型成为了研究热点和关注焦点。OpenAI于2018年提出了第一代GPT模型,开辟了自然语言模型生成式预训练的路线。沿着这条路线,随后又陆续发布了GPT-2和GPT-3模型。与此同时,谷歌也探索了不同的大规模预训练模型方案,例如如T5, Flan等。OpenAI在2022年11月发布ChatGPT,展示了强大的问答能力,逻辑推理能力和内容创作能力,将模型提升到了实用水平,改变人们对大模型能力的认知。 阅读详情

相关推荐

大模型评测数据集:MMLU、MMCU、C-Eval

DeepMind 的 Gopher 和 Chinchilla 这两个模型甚至只看 MMLU 的分数,因此我们想要构造一个中文的,有足够区分度的,多学科的基准榜单,来辅助开发者们研发中文大模型。我们花了大概三个月的时间,构造了一个覆盖人文,社科,理工,其他专业四个大方向,52 个学科(微积分,线代 …近期,中文大模型研发如火如荼,但中文评价基准却很少。面对国内大语言模型万箭齐发的局面,如何更好地提升大语言模型对中文的理解能力,更好地服务于全球的中文用户,甲骨易。

u013250861的博客 1万+

如何利用大模型开展软件测试

利用大模型开展软件测试一、自动化测试用例生成软件的需求规格说明书和设计文档通常包含了对软件功能和行为的详细描述。大模型可以对这些文本进行深入理解和分析,提取关键信息,例如输入条件、预期输出、边界值等。然后,基于这些信息,模型能够按照一定的规则和逻辑生成初步的测试用例。这些测试用例可以涵盖常见的功能场景和基本的异常情况,为测试人员提供一个良好的起点。但需要注意的是,生成的测试用例可能需要人工进一步的审查和优化,以确保其准确性和有效性。二、缺陷预测。

xx_nm98的博客 4318

智能优化电池:基于单片机的电池管理系统

设计简介: 本设计是基于单片机的电池管理系统,主要实现以下功能: 可通过LCD1602显示温度、电压电流值; 可通过按键调整温度、电压和电流的阈值; 用ADC0832将模拟量转换为数字量。 标签:51单片机、LCD1602、ADC0832 效果图: 总体资料: 原理图: 软件设计流程: 系统框图: 本设计以STC89C52单片机为核心控制器,加上其他的模块一起组成电动汽车的电池管理的整个系统,...

专注单片机实战教学,分享单片机学习资料 376

大模型评测方法(四)

明确评估的具体任务类型(如文本分类、问答系统等),并选定适当的评价指标(如准确率、F1分数)。确保这些指标能够全面衡量模型的各项能力。

Guzith的博客 7893

Code Ocean 上传代码 手把手教程

对于一些学术期刊,录用前会让把代码上传到Code Ocean上,但上传过程可能会遇到一些问题,小编分享一下自己的上传经验。他们会进行验证,验证通过,将自动发布。点此运行即可,但是运行比较慢。

u014071947的博客 1万+

cadence——MOS晶体管I-V特性曲线仿真

MOS晶体管I-V特性曲线仿真 目标:使用cadence绘制晶体管的I-V特性曲线(dc仿真) 流程: 新建原理图,将MOS管的栅极电压设为变量Vg,漏极电压设为变量Vd 打开ADEL,点击Variables——Copy From Cellview添加变量;并选择dc仿真,对Vd进行扫描 以Vg作为参变量进行仿真,点击Tools——Parametric Analysis进行设置 选择漏极电流作为输出,进行仿真即可得到I-V特性曲线 ...

skycmq的博客 1万+

大模型日报-20240119

本文分享1.19发生的最新的AI动态,我们可以深入了解人工智能领域的迅猛发展,推动业务实践与应用。我每日发布AI&LLM日报,欢迎大家积极阅读并在其中展开讨论与交流。让我们一同体验人工智能领域的最新动态,拓宽我们对科技的认知与见解吧!

分享技术,记录思考和感悟 1864

RimWorld Mod开发避坑指南:从Defs命名规范到XML结构详解(附实战代码)

本文深入解析RimWorld Mod开发中Defs文件的编写规范与高级技巧,涵盖命名冲突预防、XML结构优化及高级功能实现。通过实战代码示例,帮助开发者避开常见陷阱,提升Mod兼容性与稳定性,特别适合RimWorld Mod开发者参考。

weixin_30790841的博客 453

LLM大模型测试维度

测试AI大模型是一个多维度和多步骤的过程,涉及多个方面,包括但不限于道德和伦理、偏见性、毒性、诚实性、安全评测等。7. 平台化评测:使用如PAI大模型评测平台等工具,支持不同基础模型、微调版本和量化版本的对比分析,以及自定义数据集的评测。4. 诚实性评测:检测AI生成内容的真实性和准确性,包括问答、对话和摘要任务的数据集,以及基于自然语言推理等评测方法。5. 安全评测:确保AI大模型在各种应用场景中的安全使用,包括鲁棒性评测和风险评测,例如越狱攻击方法的评估。

laybourne的博客 1596

数据分析项目:直播电商用户流失分析

其中,'Tenure'(在网时长)可能是影响用户流失的关键因素,意味着用户在平台上的停留时间越长,流失的可能性可能越低,这提示平台应注重提高用户粘性,增加用户在平台上的活跃度和停留时间。)的分析,挖掘用户流失的原因和模式,分析发现用户投诉处理效率(Complain)、距上次消费时长(DaySinceLastOrder)、会员生命周期(Tenure)等8项核心指标对流失预测贡献度达87%,模型准确率94.58%,并提出相应的建议。重视用户的满意度,及时处理用户的投诉和反馈,不断改进平台的服务和功能。

Nervousr的博客 2459

AUTOSAR EcuM模块介绍

AUTOSAR EcuM概述 AUTOSAR EcuM全称是Autosar ECU State Manager,位于Autosar BSW中System Service模块中,是一个独立于硬件的模块。 其主要作用是管理ECU上下电启动的状态,具体为: 初始化启动操作系统所需要的BSW(Basic Software)模块 为睡眠阶段和随后的唤醒完成微控制器的配置准备 管理ECU上的所有唤醒事件(EcuM通过唤醒验证协议验证已发生的唤醒,区分真实的唤醒事件,防止误唤醒) EcuM支持的特性列表 EcuM具有

酒无忧的博客 2998

“大模型+软件测试”的落地现状与实践案例

随着软件系统的复杂性不断增加,软件测试的重要性越来越高,测试活动将影响开发人员的工作效率,产品的可靠性、稳定性和合规性,以及最终产品的运营效率。将大模型用于软件测试领域可以提供更高的测试覆盖率,减少不稳定的测试并加快缺陷修复过程。这有助于提高测试人员的测试质量和效率,加快缺陷修复,并确保遵守企业内外部的软件开发标准。等,主要应用的是大模型的推理和生成文本的能力;目前大模型还不太具备,但未来有可能会产生颠覆。典型的场景包括用例执行、结果分析、自动程序修复析等。

2301_76168381的博客 3157

21天学会PCIe专栏(4.3)--PCIe配置方法

通过本节的学习,你应该对PCIe配置方法有了更深入的了解。软件配置方法包括直接访问和间接访问,可以通过特定的I/O指令或系统调用进行配置。硬件配置方法包括通过BIOS/UEFI设置和跳线设置,可以根据需要修改PCIe设备的配置参数。

xiaoheshang_123的博客 723

大模型评测总结与思考

想要全面且准确的测出一个大模型的能力且让所有人认可、达成共识,这件事本身具有非常大的难度,如今大模型的发展不同以往,传统的NLP榜单,不论是测评的能力项还是具体测评case都难以满足,为此必定要构建新的测评集,这个难度正如前面所说很大,还有一条路就是不构建测试集而是公测,让所有人来随机测,各种提问,但是这种方式对于开发者来说迭代周期长,且各个模型之间也难以量化对比。每一个测评集都不一样,进而导致了结论的不一样,也无法达成共识,目前唯一的共识可能就是chatgpt和gpt4比较强,其他的各说其词。

TURING.DT 4868

【STM32项目】基于stm32智能鱼缸控制系统的设计与实现(完整工程资料源码)

随着现代化经济的快速发展,物质条件富足的人开始追求精神富足,越来越多的人通过饲养观赏鱼来充实生活、释放压力,但并非所有饲养者都有时间和经验来管理好鱼缸。一种由单片机控制,可实时检测和调节鱼缸环境,可把鱼缸环境实时反映给用户并能被用户远程操控的系统,可以解决养鱼成活率低、耗费时间和精力、参与感不强等诸多难题。

嵌入式技术开发 7356

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

利用大模型技术进行测试用例推荐如何实现

此外,购买商用专业训练数据之前,建议你仔细评估数据的质量、准确性和适用性,以确保数据能够有效地用于大模型训练,提高测试用例推荐的准确性和效率。你可以购买其测试计划和套件数据,这些数据包含了丰富的测试用例信息,如测试用例描述、步骤、预期结果等,可以用于训练大模型以推荐新的测试用例。同时,还需要结合具体的测试目标和需求,选择适合的数据类型和方法,以确保生成的测试用例能够覆盖到关键的功能和场景,提高测试的质量和效率。例如,可以定期收集新的测试用例数据并重新训练模型,以提高推荐的质量和准确性。

pfm685757的专栏 3141

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

大模型在行动:揭秘软件测试领域的创新应用

在数字化转型的大背景下,在软件定义一切的趋势下,软件测试人员需要接触和理解的信息越来越多,并呈现加速增长的态势。需求越来越大,交付周期越来越短,受制于体力和能力限制,测试人员的效率和质量难以同步提升,同时大型企业中业务流程设计和信息化分工也是阻碍测试人员继续学习和探索应用的壁垒。将大模型用于软件测试领域可以实现更高的测试覆盖率,减少不稳定的测试并加快缺陷修复过程。这有助于提高测试人员的测试质量和效率,加快缺陷修复,并确保遵守企业内外部的软件开发标准。

AI大模型的博客 1853

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版

Part-E1-SDIO-Specification-Ver4.00-Final-120220.pdf:最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版,包括SDIO 接口的外设,SDIO 接口官方协议等。

软件的需求与测试用例、十大开发模型、生命周期

数据字典是用来描述数据的信息集合,是一种用户可以访问的目录,主要记录数据库和应用程序元数据的目录,是数据库的重要组成部分,对用户来说是一张可读的表。该模型包括建立描述系统静态的对象模型(类图)、描述系统控制结构的动态模型(状态图)(是一个越来越...的过程)、描述系统功能的功能模型(用例图)。详细设计即内部设计,也是过程设计,它的核心是算法设计,是对概要设计的一个细化,详细设计每个模块实现算法、所需的局部结构。软件很难理解,很难使用,速度超慢,测试人员站在最终用户的角度看到的问题是平常的但不是正确的。

qq_56324572的博客 2819

AI大模型是如何测试效果的?

AI大模型的测试和评估是一个复杂的过程,通常包括多个方面的考量,因此对大模型的测试也称为多度测试。模型参数计算(以ALexNet为例):参数量在6000万,假设每个参数都是一个float,即4个字节,总字节就是24000万字节,则24000万字节/1024/1024 = 228MB一个针对大型语言模型(LLMs),采用众包方法进行匿名、随机化的对战的评分系统。根据清华发布2024年3月版《SuperBench大模型综合能力评测报告》。

python123456_的博客 5385

测试人员是怎么测试大模型的

测试大模型通常涉及多个方面,包括功能测试、性能测试和稳定性测试等。

爱学习_萌萌哒 2468

大模型LLM入门到进阶 | 基准测试 Benchmark(三)什么是CV(计算机视觉)?计算机视觉基准测试

计算机视觉(Computer Vision, CV)是指计算机利用摄像机、图像传感器等设备获取图像或视频,并通过复杂的算法对这些图像或视频进行处理和分析,以实现对图像或视频中的物体、场景以及其属性的理解和识别的技术领域。

Androiddddd的博客 1473

AI大模型测试方案

作为AI测试人员,我们需要掌握特定的技能和方法来有效地测试这些复杂的AI对话模型和智能体。传统的软件测试方法在这里可能不再完全适用,我们需要开发新的测试策略和技术来应对AI系统的独特特性。验证大模型在准确性、效率、稳定性等方面的表现,确保满足业务需求。

qq_31930427的博客 1755
上一篇: 真正用AI大模型的人,美国7%,日本1%,中国垫底
下一篇: 程序员敲代码的“姿势”,正在被大模型改写!
少喝冰美式
博客等级 码龄3年 6851粉丝 517原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值