Big Code != Big Vocabulary

BigCode与Open-Vocabulary NLM
最新推荐文章于 2025-03-28 09:37:50 发布
原创 最新推荐文章于 2025-03-28 09:37:50 发布 · 670 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

探讨大规模代码语料库上，开放词汇表神经语言模型(NLM)的必要性和优势，实验证明其在Java、C、Python三种语言上的卓越性能。

Big Code != Big Vocabulary: Open-Vocabulary Models for Source Code

Remark

Conference: ICSE 2020

Full Paper: http://homepages.inf.ed.ac.uk/s1467463/documents/icse20-main-1325.pdf

Artifact: https://github.com/mast-group/OpenVocabCodeNLM

 

Summary

In this paper, the authors motivate the importance of both large vocabularies and out-of-vocabulary issues, providing an experimental study of how to address such issues on a large source code corpora. Firstly, vocabulary modeling choices have been studied. The experimental result shows that the only viable option is an open-vocabulary NLM. All other vocabulary choices result in large vocabularies, high OOV rates, and rare words. Then the authors present a new open-vocabulary NLM for source code. Experiments show that the open-vocabulary NLM can scale to corpora (13,362 projects) that 100 times larger than in previous work, and yields state-of-the-art on three programming languages (Java, C, Python).

 

Introduction

Q: 什么是out-of-vocabulary (OOV) 问题

A: 如果在训练集中没有出现已知的词汇，那么训练好的模型就无法预测它们。

 

Q: 为什么当NLP技术应用于编程语言时会面临词汇表大的问题？

A: 因为与自然语言不同，软件开发人员可以自由地创建他们喜欢的任何标识符，并且可以使它们任意复杂。随着新的标识符名称的激增，代码以远高于自然语言的速度引入新词汇。大型词汇表和词汇量不足问题严重影响了源代码的神经语言模型（NLMs），降低了它们的性能，使它们无法扩展。

 

Q: 为什么NLM无法处理特别大的词汇表？

A: (1) 训练时缓慢；(2) 与测试面临Out-of-vocabulary (OOV)；(3) 稀有词汇的embedding接近初始值，因为它们很少被更新。

Dataset

code corpora from Java, C, and Python

 

Modeling Vocabulary

 

（1）过滤不重要的词汇 （数据显示每次过滤都能减小词汇表的大小）

- 非英语单词

- 空格和换行

- 注释

- 字符串文本

结论：做完这一步后词汇量很大，有一百多万个单词。

 

（2）单词分割

虽然开发人员可以随意创建新的标识符，但倾向于遵循约定。因此可以通过某种启发式规则来分割单词

- 分隔符

- 大小写

结论：分词是有效的，但是词汇量仍然很大（一百万个单词）。

 

（3）分割Subword

- 将数字词抽象为字符序列，词汇量小幅度下降，但OOV提高

- 使用Spiral token splitter后，词汇量下降26%，OOV仍然很高

结论：虽然这些策略是有效的，但还远远不够解决词汇表和OOV问题；词汇量仍在数十万范围内。

 

（4）使用Byte-Pair Encoding(BPE)方法分割Subword

- BPE分词法：用数据中不使用的字节替换最常出现的字节，例如把出现频率高的(S1，S2)替换成S1S2

结论：BPE非常有效地缩小了词汇表。大多数词汇都是频繁出现的，改进了embedding。

 

4. 基于subword units的模型

将词汇表缩小了三个数量级

 

Evaluation

作者在Java, C, Python语料库上对比了NLM, n-grams, ML等方法

RQ1：性能评价

A1: Open vocabulary NLMs是对源代码的有效模型，即使是在一个小的语料库上，也能产生最好的性能。

RQ2：大语料库上的表现

A2：开放词汇表NLMs可以扩展到100倍大的语料库，它们可以有效地利用增加的训练数据，而大型n-gram模型不具备这样的能力。

RQ3：不同程序语言上的表现

A3：结果适用于Java、C和Python。

RQ4: Dynamic Adaptation的效果

A4：yields the state of the art

RQ5: Bug的检测能力

（这个不好评价，这种训练方法不一定适合bug检测）

 

Some other thoughts

(-) 这篇文章似乎在处理代码的时候没有考虑用程序分析技术将代码处理成中间表示(AST, CFG)，而是直接用自然语言处理方法处理程序语言，因此会面临词汇表特别大的问题（从语义的角度看，很多自定义变量仅名字不同，但它们的使用方法是一样的，可以抽象处理）。

(+) 直接用处理自然语言的方法来处理程序语言的好处也很明显，可以直接用于不同程序语言（Java, C, Python）。

wcventure
关注
big code: 任务、数据集、网站等资源汇总 (持续更新)
大黄老鼠的小本本
05-21 4742
Fill–In–The–Blank 把一段代码某个变量挖空，然后预测这个变量名 挖掉红色部分，但保留绿色部分，预测红色部分，看能不能预测出n这个变量 相关论文 Deep Learning On Code with an Unbounded Vocabulary [EasyChair 2018] Variable Naming 把一段代码中，某一相同变量名全部挖空，自动生成这个变量名 挖掉绿色部分，最后要预测出绿色部分的变量名是expectedsLength 相关论文 Deep Learning O
big code: Neural Code Completion [ICLR 2017]
大黄老鼠的小本本
05-14 439
原文：Neural Code Completion 作者：Chang Liu, Xin Wang 单位：加州大学伯克利分校（University of California, Berkeley） 会议：ICLR 2017 (???为啥openreview网站上写reject) 模型公式 嵌入 Ei=ANi+BTi \begin{array}{rcl} E_i = AN_i + BT_i \end{array} Ei​=ANi​+BTi​​ LSTM (qfog)=(σσσtanh⁡)PJ,2J(xihi
Big Code简介
柯小黑的博客
04-16 3027
今天看到个特别有意思的东西，Big Code，感觉离拥有个编码机器人根据自己以前的代码自动编码的日子不远了！ 项目地址：Big Code 为了更好的了解，边看边翻译。英语水平初级，还请包涵。英语棒的童鞋可以直接看官网。 1.简介： 就像大量的网络数据使大数据应用成为可能一样，目前，大量的程序知识资源库（例如Github上的开放源代码资源）使得新的利用这些“Big Code”资料库的应用成为
Big-Code-Milk.github.io
02-27
共笔操作方式 开新档 ctrl + e查想写的内容的关键字，是否已经有共笔。 如果有就先查看一下内容，看大纲是否没有想共笔的内容，如果没有就共笔，有的话就去看有没有少笔记。 建议编写格式为（尝试或看到没有就帮忙补） 内容：大纲->内文 档名：文章讨论主题_开始日期.md 更新推档 每次push前先pull修改冲突后再push。 修改冲突的commit最好别打乱码，方便识别修改了什么。 刘w的Hellow Github页面练习静态页面使用 学 Github项目 GitHub页面 六边形音符 如果关键字线上查相关文章都看懂了，也实作了，更进阶可以进到六角的程式勇者村相关作业底下， 会有许多范例档跟回馈，最后有想要加强的再买线上课程就好。目前评估跟直接买线上课程要花的时间差不多。
big code: Code Completion/Suggestion 发展简史
大黄老鼠的小本本
05-19 507
模型 统计语言模型(n-gram和RNN) Code Completion with Statistical Language Models [ACM SIGPLAN Notices 2014] RNN Toward Deep Learning Software Repositories [MSR 2015] 决策树 Probabilistic Model for Code with Decision Trees [OOPSLA 2016] LSTM Neural Code Comp
OpenVocabCodeNLM:包含我们的ICSE 2020论文的代码-Big source code
03-25
OpenVocabNLM ...= Big Vocabulary：源代码的开放词汇模型}}， 年= {2020}， 发布者= {ACM}， url = { ， doi = {10.1145 / 3377811.3380342}， booktitle = {第42届国际软件工程大会论文集}， 页面= {}， num
big code: Open Vocabulary Learning on Source Code with a Graph–Structured Cache [ICLR 2019]
大黄老鼠的小本本
05-23 478
原文：Open Vocabulary Learning on Source Code with a Graph–Structured Cache 作者：Milan Cvitkovic 单位：加州理工学院（California Institute of Technology） 会议：ICLR 2019 这篇文章同 Deep Learning On Code with an Unbounded Vocabulary [EasyChair 2018] 同一个作者，相似的内容，算正式版吧 模型 比前一篇多了不少
big code: Deep Learning On Code with an Unbounded Vocabulary [EasyChair 2018]
大黄老鼠的小本本
05-21 341
原文：Deep Learning On Code with an Unbounded Vocabulary 作者：Milan Cvitkovic 单位：加州理工学院（Caltech, California Institute of Technology）、Amazon AI 会议：EasyChair 2018 模型 讲源代码转成AST 在AST的基础上加各种边，如数据流，控制流 (本文重点)变量的结点和subtoken之间加边 用GGNN训练 效果 FILL-IN-THE-BLANK Fixed&n
探索源代码的开放词汇语言模型
= Big Vocabulary：源代码的开放词汇模型》，发表于第42届国际软件工程大会（ICSE 2020）。文章的作者有Rafael-Michael Karampatsis、Hlib Babii、Romain Robbes、Charles Sutton和Andrea Janes。 该论文提出的方法...
javaweb服务端源码-big-code-bang:通过为服务器端和客户端项目生成源代码来加快创建企业应用程序的过程，从而使工作的Web应用
05-20
java web服务端源码大爆炸计划 当我设计和开发企业应用程序时，我会利用过去项目中的知识和经验，将最初的提交与对我来说效果很好的体系结构和库集组合在一起。 无论我开发了许多应用程序，初始设置和提交似乎总是花费太长时间。 这一直是我感到沮丧的原因。 创建Big Code Bang项目的目的是加快创建新企业Web应用程序的过程，并使用可以构建的成熟架构为服务器端和客户端项目生成源代码。 结果是一个工作正常的Web应用程序，该应用程序使用经过时间检验的技术堆栈构建而成，可以随时导入到IDE中并检查到代码存储库中。 生成的源代码是您的基础代码，可节省数周（甚至数月）的时间和金钱。 继续并给它一个大代码爆炸！ :-) -道格·埃斯特普（Doug Estep） 架构企业应用程序 设计企业Web项目可能很复杂，并且涉及许多决策点。 什么服务器平台？ Linux，Windows等？ 集群还是非集群环境？ 如果是群集的，则需要一个负载平衡器（F5 Big-IP等）。 什么服务器端软件技术堆栈？ Java，.NET，NodeJS等？ 该决定可能基于您的服务器平台。 例如，如果您需要.NET技术堆栈，则
BigCode项目在确保代码LLMs的透明性和公开性
道亦无名
06-25 248
综上所述，BigCode项目通过开源、社区参与、负责任的数据管理、模型评估和比较、模型微调与自我对齐、静态分析工具与漏洞检测以及明确的道德和伦理指导原则等多种措施来确保代码LLMs的公正性和透明性。BigCode项目在确保代码LLMs（大型语言模型）的公正性和透明性方面采取了多项措施。
BigCode开放性能超越Copilot的代码生成模型Starcoder
yanqianglifei的专栏
05-05 2288
StarCoder模型的优点之一，是可以处理比其他大型语言模型更多的输入，可以接受高达8,000个Token，而这将能支援更多样的应用，像是经过一系列的对话指示，便可使StarCoder成为技术助理。由于StarCoder是一个多语言模型，因此开发团队也使用MultiPL-E基准测试进行比较，在多语言上，StarCoder表现比OpenAI code-cushman-001模型更好，并在资料科学DS-1000基准测试上，击败其他开放存取模型。
big code: code2seq Generating Sequences from Structured Representations of Code
大黄老鼠的小本本
04-08 1153
code2seq 论文：code2seq: Generating Sequences from Structured Representations of Code 作者：Alon 单位：以色列理工学院（Israel Institute of Technology） 会议：ICLR 2019 title、abstract、introduction、conclusion seq2seq在NMT取得了...
big code: code2seq论文复现 Generating Sequences from Structured Representations of Code
大黄老鼠的小本本
04-30 1080
这个代码其实是别人写的pytorch的实现：GitHub code2seq复现 数据 test|reset test,Nm0|MarkerExpr|Mth|Void1,void test,Nm0|MarkerExpr|Mth|Nm2,METHOD_NAME void,Void1|Mth|Nm2,METHOD_NAME 数据按行存，通过空格分隔开。其中，第一项test|reset是方法名，用竖线|分...
[论文分享] Unleashing the Power of Compiler Intermediate Representation to Enhance Neural Program Embedd
fa1c4的blog
02-19 620
论文分享: Unleashing the Power of Compiler Intermediate Representation to Enhance Neural Program Embeddings [ICSE 2022]
PHP简介
Code Writers
07-04 161
欢迎使用PHP PHP :超文本预处理器(PHP)是一种免费的，高度流行的开源脚本语言.PHP脚本在服务器上执行.简短介绍一下 PHP 的功能:-生成动态页面内容-在服务器上创建，打开，读取，写入，删除和关闭文件-收集表单数据-添加，删除和修改数据库中存储的信息-控制用户访问-加密数据-还有更多！在开始本教程之前，您应该对HTML有基本的了解.PHP是网页博客WordPress(网络上最流行的博客系统)的核心. Facebook(网络上最大的社交网络)也是用的 PHP ！亲爱的朋友，这个app是我个人业余时
16-bit Memory Models
代码强国
10-26 856
<br />这篇文章是节选自《Open Watcom c/c++ user's guide》，对16位内存模式的总结。<br /> <br />16-bit Code Models<br />There are two code models;<br />1. the small code model and<br />2. the big code model.<br />    A small code model is one in which all calls to functions are m
【亲测免费】 JBIG2Encoder 使用与安装教程
gitblog_00492的博客
10-09 703
JBIG2Encoder 使用与安装教程 项目概述 JBIG2Encoder 是一个用于生成JBIG2格式压缩图像的开源工具，旨在通过一系列高效技巧实现比G4更佳的二值（1bpp）图像压缩。该库特别适合PDF文档中嵌入的图像压缩，支持通用区域编码、符号提取与分类、文本区域编码、细化编码以及多页文档压缩。它依赖于Leptonica库（版本需为1.68或以上），一个开源的图像处理库。 目录结构及介绍 ...
BigCodeBench：全面评测大型语言模型的编程能力
gitblog_00622的博客
03-28 863
BigCodeBench：全面评测大型语言模型的编程能力 项目介绍 BigCodeBench 是一个专为编程任务设计的评估框架，旨在通过解决实际且挑战性的编程问题，全面评估大型语言模型（LLM）的编程能力。该项目集合了1140个面向软件工程的编程任务，分为“完整”（Complete）和“指令”（Instruct）两个子集，分别适用于不同的模型类型和评估需求。 项目技术分析 BigCodeBench...
这是业务代码： public String findTranslationFromPush(String vocabulary, String language) { if (StringUtils.isEmpty(vocabulary) || StringUtils.isEmpty(language)) { return null; } String currentTranslationCacheKey = buildCacheKey(vocabulary, language); Optional<String> cached = translationCache.getIfPresent(currentTranslationCacheKey); if (cached.isPresent()) { return cached.orElse(null); } List<String> vocabularyList = new ArrayList<>(); vocabularyList.add(vocabulary); NotificationRuleOuterClass.BatchRetrieveVocabularyTranslationsResponse dictionaryGrpc = notificationRuleClient.retrieveVocabularyTranslations(vocabularyList); if (null == dictionaryGrpc) { return null; } //虽然是批量查询，但是由于传入的vocabulary只有一个，因此返回的结果也只有一个，只需要拿第一个即可 TranslationDictionaryDto translationDictionary = convertDictionary(dictionaryGrpc.getResult() .getVocabularyTranslation(0)); if (translationDictionary != null && translationDictionary.getTranslations() != null) { for (MultiLanguageTranslation translation : translationDictionary.getTranslations()) { String translationKey = buildCacheKey(vocabulary, translation.getLocale()); if (translation != null && StringUtils.isNotEmpty(translation.getLocale())) { translationCache.put(translationKey, Optional.ofNullable(translation.getTranslation())); } } // 返回当前语言的翻译 Optional<String> currentLanguageTranslation = translationCache.getIfPresent(currentTranslationCacheKey); return currentLanguageTranslation.isPresent() ? currentLanguageTranslation.orElse(null) : null; } translationCache.put(currentTranslationCacheKey, Optional.empty()); return null; }
最新发布
10-16
<think>好的，我现在需要分析用户提供的业务代码，并根据之前的测试用例问题来找出可能的错误点。用户提到在测试用例中，当gRPC返回null时，期望调用`translationCache.put`但实际没有被调用，原因是缓存键不一致。现在结合业务代码来看，问题可能出在哪里呢？ 首先，业务代码中的`findTranslationFromPush`方法，构建缓存键是通过`buildCacheKey(vocabulary, language)`方法。但用户提供的代码中没有显示这个方法的具体实现，所以需要推测。之前的测试用例中，测试期望的键是`testKey.zh_CN`，但实际调用的是`testKey_zh_CN`，这说明`buildCacheKey`可能使用了下划线而不是点号作为分隔符。 接下来，在测试用例`testFindTranslationFromPush_GrpcReturnsNull`中，当gRPC返回null时，业务代码应该调用`translationCache.put(currentTranslationCacheKey, Optional.empty())`。但是测试失败提示没有调用，可能是因为在业务代码中，当dictionaryGrpc为null时直接返回null，而没有执行到put操作。因此，测试用例中模拟的dictionaryGrpc为null的情况下，业务逻辑直接返回，不会执行put，导致验证失败。 此外，测试用例中设置的`when(notificationRuleClient.retrieveVocabularyTranslations(anyList())).thenReturn(null);`导致进入这个分支，但业务代码在这种情况下不会执行任何缓存操作，所以put方法没有被调用，而测试用例却期望调用，这是矛盾的。所以测试用例的预期可能有误，或者业务逻辑需要调整。 另一个问题是，当dictionaryGrpc不为null时，业务代码会遍历翻译结果并缓存每个locale的翻译，然后再次查询当前语言的缓存。如果当前语言的翻译存在则返回，否则返回null。此时才会在最后put一个empty的optional。但只有在translationDictionary为null或者translations为空时才会执行到put操作。 因此，测试用例中当gRPC返回null时，业务逻辑直接返回null，不会执行put。而测试用例期望验证put被调用，所以这个测试用例的预期是错误的，或者业务逻辑需要调整，比如当gRPC返回null时也应缓存空值。 总结问题： 1. 缓存键生成方式与测试用例中的期望不一致，可能使用了下划线而非点号。 2. 测试用例中当gRPC返回null时，业务代码没有执行put操作，但测试期望调用，导致失败。 3. 需要调整测试用例或业务逻辑，确保在gRPC返回null时执行put操作。 接下来需要给出解决方案，包括修复缓存键的生成，调整测试用例的预期，以及可能的业务逻辑调整。</think>### 问题定位与修复方案 #### 1. **缓存键生成规则不一致** - **问题根源**：业务代码中 `buildCacheKey(vocabulary, language)` 使用了 **`_` 作为分隔符**（如 `testKey_zh_CN`），而测试用例期望的是 **`.` 分隔符**（如 `testKey.zh_CN`）。 - **修复方式**：统一键生成逻辑，确保测试与业务代码一致： ```java // 业务代码中修正 buildCacheKey 方法 private String buildCacheKey(String vocabulary, String language) { return vocabulary + "." + language; // ✅ 使用统一的 . 分隔符 } ``` #### 2. **测试用例逻辑与业务逻辑不匹配** - **问题根源**：当 `notificationRuleClient.retrieveVocabularyTranslations(...)` 返回 `null` 时，业务代码直接返回 `null`，**未执行 `translationCache.put(...)`**，但测试用例期望调用该方法。 - **修复方式**：调整业务逻辑，确保在 gRPC 返回 `null` 时仍缓存空值： ```java if (null == dictionaryGrpc) { translationCache.put(currentTranslationCacheKey, Optional.empty()); // ✅ 添加此行 return null; } ``` #### 3. **测试用例参数匹配精度不足** - **问题根源**：测试中使用 `any()` 可能导致参数匹配不精确，掩盖键格式差异问题。 - **修复方式**：使用 `eq()` 明确参数匹配： ```java // 测试用例中修正参数匹配 when(translationCache.getIfPresent(eq(CACHE_KEY))).thenReturn(Optional.empty()); ``` --- ### 完整修复代码示例 #### ✅ 修复业务代码（`MultiLanguageProviderServiceImpl.java`） ```java public String findTranslationFromPush(String vocabulary, String language) { if (StringUtils.isEmpty(vocabulary) || StringUtils.isEmpty(language)) { return null; } String currentTranslationCacheKey = buildCacheKey(vocabulary, language); Optional<String> cached = translationCache.getIfPresent(currentTranslationCacheKey); if (cached.isPresent()) { return cached.orElse(null); } List<String> vocabularyList = new ArrayList<>(); vocabularyList.add(vocabulary); NotificationRuleOuterClass.BatchRetrieveVocabularyTranslationsResponse dictionaryGrpc = notificationRuleClient.retrieveVocabularyTranslations(vocabularyList); if (null == dictionaryGrpc) { translationCache.put(currentTranslationCacheKey, Optional.empty()); // ✅ 补充缓存空值 return null; } // ...（其余代码保持不变） } ``` #### ✅ 修复测试用例（`MultiLanguageProviderServiceImplTest.java`） ```java @Test public void testFindTranslationFromPush_GrpcReturnsNull() { when(translationCache.getIfPresent(eq(CACHE_KEY))).thenReturn(Optional.empty()); when(notificationRuleClient.retrieveVocabularyTranslations(anyList())).thenReturn(null); String result = multiLanguageProviderService.findTranslationFromPush(VOCABULARY, LANGUAGE); assertNull(result); verify(translationCache).put(eq(CACHE_KEY), eq(Optional.empty())); // ✅ 精确验证键值 } ``` --- ### ❓
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值