小王同学的博客

年份 文章 备注：2021 Integrating Tree Path in Transformer for Code Representation 在 Transformer 结合语法树路径的代码表示方法论文阅读笔记2021 Unified Pre-training for Program Understanding and Generation 用于程序理解和生成的统一预训练论文阅读笔记2021 CodeT5: Identifier-aware Unified Pre-tra

目录一、简介二、方法三、实验发表于 ACL 2020地址：https://arxiv.org/pdf/2005.00653.pdf代码：https://github.com/wasiahmad/NeuralCodeSum一、简介利用transformer模型来进行代码摘要生成，通过对代码token之间的成对关系建模以捕获其长期依赖来学习代码表示。实验部分和其他一些baselines作了对比，验证了模型达到了最优性能。并通过实验证明了，使用相对位置表示对源代码token之间的成对关系进行建模，相对.

目录一、简介二、方法1. 相对路径编码2. 绝对路径编码3. 合并三、实验1. Baselines：2. 实验结果：3. 分析在JavaScript上模型效果不如Code Transformer的原因：对比TPTrans 和 TPTrans-α：4. 消融实验：5. 结论发表于NeurIPS 2021paper地址：https://proceedings.neurips.cc//paper/2021/file/4e0223a87610176ef0d24ef6d2dcde3a-Paper.pdf代码.

目录一、简介二、方法三、实验发表于NAACL 2021paper地址：https://arxiv.org/pdf/2103.06333v2.pdf代码地址：https://github.com/wasiahmad/PLBART一、简介文章提出的PLBART是一种序列到序列模型，能够执行广泛的程序和语言理解和生成任务。 PLBART 通过denoising autoencoding对大量 Java 和 Python 函数以及相关的 NL 文本进行了预训练。代码摘要、代码生成和七种编程语言代码翻.

目录一、简介二、预训练a. Identifier-aware Denoising Pre-trainingb. Identifier Tagging (IT)c. Masked Identifier Prediction (MIP)d. Bimodal Dual Generation三、实验paper地址：https://aclanthology.org/2021.emnlp-main.685.pdf代码地址：https://github.com/salesforce/CodeT5一、简介当前.

CodeTrans: Towards Cracking the Language of Silicon’s Code Through Self-Supervised Deep Learning and High Performance Computing一、简介二、 数据集Code Documentation GenerationSource Code SummarizationCode Comment GenerationGit Commit Message GenerationAPI Sequence.

目录一、简介二、方法1. 输入输出表示2. 预训练数据3. 预训练MLMRTD4. 微调natural language code searchcode-to-text generation三、实验1. Natural Language Code Search2. NL-PL Probing3. Code Documentation Generation4. 泛化实验paper地址：https://arxiv.org/pdf/2002.08155v4.pdf代码地址：https://github.c.

这篇博客主要记录了参考DialoGPT官方说明复现所踩的一些坑，持续更新目录一、创建anaconda环境LSP（1）直接conda env create -f LSP-linux.yml -n LSP导致安装的pytorch和cudatoolkit版本错误（2）conda activate LSP 没有激活成功导致python版本不一致二、apex相关报错 Cuda extensions are being compiled with a version of Cuda that does not...报

目录一、简介二、方法1. 任务2. 模型架构attention 模块RepresentationMatching：Aggregation：三、实验1. 数据集2. 评价指标3. 实验设置4. 实验结果四、结果分析1. 实验结果分析2. 注意力可视化3. 错误分析paper地址：https://arxiv.org/pdf/2106.02227.pdf代码地址：https://github.com/ictnlp/DialoFlow一、简介二、方法1. 任务2. 模型架构attention .

目录一、简介二、方法1. 任务2. 模型架构attention 模块RepresentationMatching：Aggregation：三、实验1. 数据集2. 评价指标3. 实验设置4. 实验结果四、结果分析1. 实验结果分析2. 注意力可视化3. 错误分析paper地址：https://www.aclweb.org/anthology/P18-1103.pdf代码地址：https://github.com/baidu/Dialogue一、简介二、方法1. 任务2. 模型架构att.

目录一、简介二、数据集三、方法四、评价指标背景相关工作贡献二、方法/模型1.任务2. 模型架构三、实验1. 数据集2. 实验设置3. 实验结果四、结论一、简介动态记忆网络(DMN)使用input-question-answer三元组作为输入，可用于解决序列标注问题，分类问题，sequence-to-sequence 任务以及问答任务。（当作QA任务）问题会触发一个迭代注意过程，该过程允许模型将其注意条件设置为输入和先前迭代的结果。然后用递归序列模型对这些结果进行推理，生成答案。任务可以解决序列标

目录前言一、简介二、数据集三、方法四、评价指标背景相关工作贡献二、方法/模型1.任务2. 模型架构三、实验1. 数据集2. 实验设置3. 实验结果四、结论前言提示：这里可以添加本文要记录的大概内容：例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。一、简介研究了使用依赖信息来匹配回复和它的多回合上下文，以两种方式扩展了Transformer的注意机制:(1)使用堆叠的自注意来获取多粒度的语义表示。(2)利用交叉注意对依赖

目录TripleNet: Triple Attention Network for Multi-Turn Response Selection in Retrieval-based Chatbots一、简介背景贡献二、方法1. 任务2. 模型架构3. 分层表示4. Triple Attention5. Triple匹配与预测三、实验1、数据集：2、评价指标：3、实验设置：4、实验结果：5、消融实验：6、注意力可视化（单词级别）结论TripleNet: Triple Attention Network fo