论文笔记 | CodeXGLUE: A Machine Learning Benchmark Dataset for Code Understanding and Generation

最新推荐文章于 2025-03-03 17:21:33 发布
最新推荐文章于 2025-03-03 17:21:33 发布
阅读量1.6k 收藏 1
点赞数
分类专栏： 论文笔记 学习总结 文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/ting0922/article/details/114300182
版权
本文介绍了一个专注于代码理解领域的基准测试集合，包含10项任务及14个数据集，为研究者提供了一个全面评估和对比代码理解算法效果的平台。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

arxiv 2021
Shuai Lu, Daya Guo, Shuo Ren, …
Peking University, Sun Yat-sen University, Beihang University, Microsoft
keywords: program understanding, benchmark dataset
code

本文提出了一个代码理解领域的benchmark，其中包括10个任务，14个数据集，还有一个可以供研究者们参考和比较的平台。

文章中所有内容基本可以用下面这张表概括，主要是在讲各个任务中使用到的数据集和各个任务目前已经有的baselines。
在这里插入图片描述
可以在需要做这些任务的时候，再细看这篇文章中对于该任务的介绍和数据集。

【RAG】sPecialized KnowledgE and Rationale Augmented Generation
突围
02-28 304
https://github.com/microsoft/PIKE-RAG/blob/main/docs/guides/env_file.md
【AI Code】CodeGeex：你的免费AI编程助手——基于清华ChatGLM的130亿参数预训练大模型
热门推荐
AI天才研究院
04-12 2万+
CodeGeeX是一个具有130亿参数的多编程语言代码生成预训练模型。CodeGeeX采用华为MindSpore框架实现，在鹏城实验室“鹏城云脑II”中的192个节点（共1536个国产昇腾910 AI处理器）上训练而成。截至2022年6月22日，CodeGeeX历时两个月在20多种编程语言的代码语料库（>8500亿Token）上预训练得到。高精度代码生成。
CodeXGLUE:CodeXGLUE
03-20
介绍 根据，2019年将有2390万专业开发人员，到2024年，这一数字预计将达到2870万。随着开发人员数量的增长，旨在利用AI来帮助AI开发人员提高软件开发效率的代码智能。在软件工程和人工智能领域，开发过程变得越来越重要。 当开发人员想要查找具有相同意图的其他人编写的代码时，系统可以帮助在给定自然语言查询的情况下自动检索与语义相关的代码。当开发人员对接下来要写些什么感到困惑时，系统可以在给定进行编辑的上下文的情况下自动完成以下标记，从而为您提供帮助。当开发人员希望使用某些现有Python代码主体的相同功能来实现Java代码时，系统可以帮助从一种编程语言（Python）转换为另一种（Java）语言。 因此，代码智能在Microsoft授权开发人员的使命中起着至关重要的作用。正如Microsoft首席执行官Satya Nadella在Microsoft 强调的那样，开发人员的作用比以往任何
【论文翻译】CodeXGLUE: A Machine Learning Benchmark Dataset for Code Understanding and Generation
weixin_64342876的博客
02-29 1028
基准数据集可以显著促进在编写程序语言任务方面的研究。在这篇论文中我们介绍了CodeXGLUE，这是一个基准数据集，用于促进“程序理解和生成”的机器学习研究。CodeXGLUE包含 14个数据集上的10个任务，以及一个用于模型评估和比较的平台。CodeXGLUE还具有三个基准线系统，包含BERT风格，GPT风格和Encoder-Decoder模型，以此使研究者更容易使用该平台。这些数据和基准线可以帮助开发和验证那些被应用到各种程序理解和生成问题中的新方法。在本节中，我们为每个任务提供一个定义。
论文阅读——《OpenAI Codex》
Azperk的博客
03-03 395
OpenAI Codex 是 AI 辅助编程的一次重要突破，它不仅提高了代码生成的质量，也推动了自动化编程的发展。随着 Codex 的不断优化，它将进一步改变软件开发的方式。🚀开放问题：你认为 AI 编程是否会取代人类开发者？欢迎在评论区交流！
微软发布代码智能新基准数据集CodeXGLUE，多角度衡量模型优劣
AI科技大本营
10-07 2845
来源 |微软研究院AI头条编者按：代码智能（code intelligence）目的是让计算机具备理解和生成代码的能力，并利用编程语言知识和上下文进行推理，支持代码检索、补全、翻译、纠...
探索未来开发的新纪元：CodeXGLUE——代码智能的全方位基准测试框架
gitblog_00008的博客
05-14 417
探索未来开发的新纪元：CodeXGLUE——代码智能的全方位基准测试框架 CodeXGLUECodeXGLUE 项目地址:https://gitcode.com/gh_mirrors/co/CodeXGLUE 1、项目介绍 在编程世界中，随着开发者数量的增长和AI技术的不断演进，利用人工智能提升软件开发效率的“代码智能”变得至关重要。CodeXGLUE是微软研究团队推出的一个综合性的代码智能基准...
推荐文章：探索未来编程的智慧钥匙 —— CodeXGLUE
gitblog_00608的博客
08-15 749
推荐文章：探索未来编程的智慧钥匙 —— CodeXGLUE CodeXGLUECodeXGLUE 项目地址:https://gitcode.com/gh_mirrors/co/CodeXGLUE 项目介绍 在软件开发的浩瀚海洋中，每一位开发者都是航行者。据Evans Data Corporation统计，到2024年，全球专业开发者人数预计将突破2870万。在这数字洪流中，代码智能（Code I...
AI周报 | GLAT击败一众自回归翻译系统；运动捕捉新进展；UNIMO首次验证通过非平行文本与图像单模数据（8月特刊）
m0_60673947的博客
09-02 535
目录 一、最新论文解读 二、近期热门的深度学习库和工具 1、DRIFT 2、LightSeq 3、Mava 三、近期大厂动态 1、字节跳动Glancing Transformer——机器翻译 2、腾讯微视——运动捕捉（黄金圣斗士铠甲特效） 3、百度——UNIMO：基于跨模态对比学习的统一模态理解与生成方法 一、最新论文解读 1.UnsupervisedTranslation of Programming Languages - 【Facebook】 转换编译器也称为源到源转换器，是.
基于视觉的机器人抓取: 论文及代码(Vision-based Robotic Grasping: Papers and Codes)
dsoftware的博客
10-22 2万+
最近总结了基于视觉的机器人抓取的相关论文及代码，同步于github。根据抓取的类别，基于视觉的机器人抓取可以分为两类：2D平面抓取以及6D空间抓取。这个页面总结了近年来涉及到的各种各样的方法，其中大部分都使用了深度学习。总结的中文框架结构如下： 0.综述论文 1. 2D平面抓取 这类方法将抓取，用平面内旋转的矩形框表示； 1.1基于RGB或者RGB-D的方法 采用基于目标检测类的方法，直接得到2D...
大语言模型原理与应用实践：基于监督学习进行微调 Supervised Learning & Fine-Tuning
AI天才研究院
06-25 1580
近年来，随着深度学习技术的快速发展，大规模语言模型(Large Language Models, LLMs)在自然语言处理(Natural Language Processing, NLP)领域取得了巨大的突破。这些大语言模型通过在海量无标签文本数据上进行预训练，学习到了丰富的语言知识和常识，可以通过少量的有标签样本在下游任务上进行微调(Fine-Tuning)，获得优异的性能。其中最具代表性的大模型包括OpenAI的GPT系列模型、Google的BERT、T5等。
论文阅读SUM: A benchmark dataset of Semantic Urban Meshes
xuershuai的博客
09-07 314
题目：SUM: A benchmark dataset of Semantic Urban Meshes 来源：代尔夫特理工 建筑与建筑环境学院 3D geoinformaton research 期刊：ISPRS journal 摘要 数据采集技术的发展使我们能够快速采集三维纹理网格。它们可以帮助我们理解和分析城市环境，因此对空间分析和城市规划等应用非常有用。通过深度学习方法对纹理网格进行语义分割可以增强这种理解，但需要大量的标记数据。本文的贡献主要体现在三个方面:(1)一个新的语义城市网格基准数据集;(
CodeX论文精读
qq_36936443的博客
06-24 2425
论文：《Evaluating Large Language Models Trained on Code》下载地址：https://arxiv.org/pdf/2107.03374.pdfCopilot的核心技术：给定函数名和功能描述，可以自动进行代码补全，或者给定代码，给出相关文档作者团队收集了Github上所有的不重复的python代码，总计179GB，并进行了简单过滤(去掉了过大的文件（>1MB）和过长的代码(>100行或单行超过1000个字符))，在数据集上面训练了一个GPT3模型作者团队手动编写了
论文解读 CodeX，Human Eval
强化学习曾小健
08-07 461
capturing。
Maskrcnn Code Understanding
weixin_43332432的博客
04-08 634
Reference: 1.https://blog.youkuaiyun.com/leijieZhang/article/details/91431846?spm=1001.2014.3001.5501 优快云博主「leijieZhang」 2. https://blog.youkuaiyun.com/leijieZhang/article/details/90903462 3. https://blog.youkuaiyun.com/xiangxianghehe/article/details/88793670 4. https://b
【论文阅读】CodeT5: Identifier-aware Unified Pre-trained Encoder-Decoder Models for Code Understanding
小王同学的博客
12-21 3091
目录一、简介二、预训练a. Identifier-aware Denoising Pre-trainingb. Identifier Tagging (IT)c. Masked Identifier Prediction (MIP)d. Bimodal Dual Generation三、实验 paper地址：https://aclanthology.org/2021.emnlp-main.685.pdf 代码地址：https://github.com/salesforce/CodeT5 一、简介 当前.
CodeXGLUE 开源项目教程
gitblog_00505的博客
08-13 464
CodeXGLUE 开源项目教程 项目地址:https://gitcode.com/gh_mirrors/co/CodeXGLUE 项目介绍 CodeXGLUE 是一个用于代码理解和生成的机器学习基准数据集。它包含了14个数据集，涵盖了10种不同的编程语言任务，包括代码-代码（如代码克隆检测、缺陷检测、完形填空测试、代码补全、代码精炼和代码到代码的翻译）、文本-代码（如自然语言代码搜索、文本到代码...
【AI4Code】CodeX：《Evaluating Large Language Models Trained on Code》（OpenAI）
chadlee
07-18 1934
CodeX尝试了从头训练和基于GPT-3的参数fine-tuning，结果发现基于GPT-3的参数fine-tuning并没有取得效果上的提升，但基于GPT-3的参数fine-tuing可以收敛的更快，因此，论文中都采用的是这种训练策略。CodeX是在Github的159GB的代码文本上无监督的训练的，论文造了一个和HumanEval数据集格式一致的SupervisedFine-Tuning数据集，在这个数据集上fine-tuning后的模型效果更好。这点想的有点科幻了。...
OpenAI Codex、DeepMind AlphaCode论文精读阅读笔记
irony_202的博客
03-26 4583
Codex： 基于GPT的语言模型，用Github上的代码进行微调（有意思的是GPT的卖点就是不用微调）。 模型没怎么改动，主要精力在于准备预训练数据和微调数据集（微调数据集应尽可能和你要进行评估的任务相近）上 目标函数的分数不采用常见的BLUE分数因为相同的子序列多并不意味着写出的代码就有效，因此作者团队自己设计了一个pass@K，即每个词采样softmax分数总和0.95的输出，在这些词里面每次随机采样，最后看生成的答案能否通过测试，若以100次采样中有1次能通过测试则算成功，准确度能达到接近80%。
GLUE: A Multi-Task Benchmark for NLU
最新发布
03-22
### GLUE 基准及其在自然语言理解 (NLU) 多任务评估中的应用 #### 什么是 GLUE 基准？ GLUE（General Language Understanding Evaluation）基准是一种用于评估自然语言处理模型语义理解能力的多任务框架[^1]。它由一系列 NLU 任务组成，旨在全面衡量模型的语言理解和泛化能力。 #### GLUE 的任务构成 GLUE 包含 9 个核心任务，这些任务均涉及单句或双句的理解问题，具体如下： - **MNLI**（Multi-Genre Natural Language Inference）：跨多个领域判断句子之间的推理关系。 - **QQP**（Quora Question Pairs）：检测 Quora 上的问题是否重复。 - **QNLI**（Question-NLI）：通过自然语言推断回答给定问题。 - **RTE**（Recognizing Textual Entailment）：识别文本蕴含关系。 - **STS-B**（Semantic Textual Similarity Benchmark）：测量两个句子间的语义相似度。 - **MRPC**（Microsoft Research Paraphrase Corpus）：判定两句话是否互为同义表达。 - **CoLA**（Corpus of Linguistic Acceptability）：预测句子语法和语义接受程度。 - **SST-2**（Stanford Sentiment Treebank）：分析电影评论的情感倾向。 - **WNLI**（Winograd NLI）：解决代词消解问题。 上述任务涵盖了多种语言现象，包括但不限于逻辑推理、情感分析以及语义匹配等。 #### GLUE 在多任务学习中的作用 为了更好地支持多任务场景下的 NLP 模型开发，研究人员提出了基于 GLUE 的解决方案。例如，在一篇来自微软的研究论文中提到一种名为 MT-DNN（Multi-Task Deep Neural Networks）的方法，该方法能够有效提升单一模型在多项 NLU 任务上的综合表现[^2]。 此外，还有其他工作扩展了传统意义上的 GLUE 设计理念。比如 ASR-GLUE 将自动语音识别引入到标准 NLU 测试集中，进一步考察当输入存在不同程度噪音干扰时系统的鲁棒性表现[^4]。 #### 实际案例展示 以 BERT 和其变体为例说明如何利用 GLUE 数据集进行实验验证。下图展示了 SST-2 这一特定子任务上几种主流架构的表现情况对比图表显示即使面对加入随机扰动后的样本集合，“人类级”的基线仍然难以超越某些精心设计的人工智能算法。 ```python import matplotlib.pyplot as plt # Sample data representing accuracy across different noise levels. noise_levels = ['Clean', 'Low Noise', 'Medium Noise', 'High Noise'] human_performance = [0.87, 0.85, 0.83, 0.78] model_a_accuracy = [0.92, 0.88, 0.86, 0.80] plt.figure(figsize=(10, 6)) plt.plot(noise_levels, human_performance, label='Human Performance') plt.plot(noise_levels, model_a_accuracy, label="Model A's Accuracy", linestyle="--") plt.title('Accuracy Comparison Between Human and Model Under Various Noises on SST-2 Task') plt.xlabel('Noise Levels') plt.ylabel('Accuracy Score') plt.legend() plt.grid(True) plt.show() ``` 此代码片段绘制了一条折线图用来直观呈现随着环境复杂性的增加两者之间差距的变化趋势。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值