Harlanlu 的博客

论文来源：ICLR-2021论文链接：https://arxiv.org/abs/2009.08366（看时间，应该是2020发在了arxiv上，2021被ICLR录用）⭐主要贡献： 可以说是在CodeBERT的基础上引入了结构信息和两个新的预训练任务。1.提出了GraphCodeBERT，是第一个利用了代码语义结构信息来学习代码特征表示的预训练模型。（通过data flow来获得语义结构信息而不是AST） 2.除了MLM预训练任务，还引入了2个新的能够从source code和data flo

Type4Py: Deep Similarity Learning-Based Type Inference for PythonType4Py：Python中基于深度相似性学习的类型推理摘要动态语言（如Python和JavaScript）以静态类型换取开发人员的灵活性和工作效率。缺少静态类型可能会导致运行时异常，并且是IDE支持薄弱的主要因素。为了缓解这些问题，PEP 484为Python引入了可选的类型注释。由于现有代码库的类型更新容易出错且费力，因此提出了基于学习的方法，以实现基于现有

Treebert：一种基于树的编程语言预训练模型TreeBERT: A Tree-Based Pre-Trained Model for Programming LanguageAccepted for the 37th Conference on Uncertainty in Artificial Intelligence (UAI 2021).arXiv:2105.12485v2 [cs.LG] 15 Jul 2021Abstract源代码可以根据定义的语法规则解析为抽象语法树.

ManyTypes4Py：一个基准测试Python数据集ManyTypes4Py: A Benchmark Python Dataset forMachine Learning-based Type Inference摘要在本文中，我们提出了ManyType4Py，一个用于基于机器学习（ML）的类型推断的大型Python数据集。数据集包含总共5,382个Python项目，其中包含869K类型注释。重复的源代码文件被删除，以消除重复偏差的负面影响。为了便于ML模型的训练和评估，数据集被分成训练

链接:Generating query-specific class API summaries | Proceedings of the 2019 27th ACM Joint Meeting on European Software Engineering Conference and Symposium on the Foundations of Software Engineeringhttps://dl.acm.org/doi/10.1145/3338906.3338971Generati...

CoTexT: Multi-task Learning with Code-Text Transformer使用代码文本转换器的多任务学习链接：https://arxiv.org/abs/2105.08645v40：摘要我们提出了CoTexT，一种预先训练过的、基于转换的编码器-解码器模型，它可以学习自然语言(NL)和编程语言(PL)之间的代表性上下文。利用自我监督，CoTexT对大型编程语言语料库进行预训练，以学习对语言和代码的一般理解。CoTexT支持下游的NL-PL任务，如