推荐开源项目：Perturbed-Masking —— BERT分析的利器

推荐开源项目：Perturbed-Masking —— BERT分析的利器

Perturbed-Masking Code for ACL 2020 paper "Perturbed Masking: Parameter-free Probing for Analyzing and Interpreting BERT" 项目地址: https://gitcode.com/gh_mirrors/pe/Perturbed-Masking

项目介绍

Perturbed-Masking 是一个开源项目，旨在复现 ACL'2020 论文《Perturbed Masking: Parameter-free Probing for Analyzing and Interpreting BERT》中的实验。该项目提供了经过清理和迁移的代码，使其能够在最新版本的 Huggingface Transformers 及其他依赖包下运行。通过该项目，用户可以轻松地进行 BERT 模型的分析和解释。

项目技术分析

Perturbed-Masking 项目基于 Python 编写，主要使用了 Huggingface Transformers 库。项目核心功能是通过“扰动掩码”技术，生成影响矩阵，进而对 BERT 模型进行不同类型的探测分析，包括依赖关系探测、成分句法探测和语篇关系探测。

主要技术组件：

• Huggingface Transformers：用于加载和操作 BERT 模型。
• 预处理脚本（preprocess.py）：生成影响矩阵。
• 解析脚本（parsing.py）：利用生成的矩阵进行句法解析。

技术流程：

1. 数据预处理：通过 preprocess.py 脚本生成影响矩阵。
2. 句法解析：使用 parsing.py 脚本进行解析，支持 Eisner 和 MART 算法。

项目及技术应用场景

Perturbed-Masking 项目适用于以下应用场景：

1. BERT 模型分析：帮助研究人员深入理解 BERT 模型的内部机制。
2. 句法结构探测：用于依赖关系、成分句法和语篇关系的探测和分析。
3. 下游任务优化：通过分析 BERT 的句法结构，优化下游任务如情感分析的性能。

具体应用案例：

• 依赖关系探测：在 PUD 数据集上，使用 Eisner 算法可获得 UAS（未标记依存准确率）为 41.7。
• 成分句法探测：在 WSJ23 数据集上，使用 MART 算法进行成分句法解析。
• 语篇关系探测：在 SciDTB 数据集上，使用 Eisner 算法进行语篇关系解析。
• 下游任务（ABSC）：通过替换 PWCN 项目中的数据文件，优化情感分析任务。

项目特点

1. 参数无关：无需调整模型参数，即可进行探测分析。
2. 易于使用：提供详细的快速上手指南，用户只需运行少量命令即可开始分析。
3. 兼容性强：适配最新版本的 Huggingface Transformers 库。
4. 数据灵活：支持多种数据集，用户可根据需要自行下载数据。
5. 结果可复现：提供详细的实验结果和复现步骤，确保研究的可重复性。

快速上手示例：

- 克隆项目仓库：
  ```bash
  git clone https://github.com/GeneZC/Perturbed-Masking

• 生成影响矩阵（以 PUD 数据集为例）：

  python preprocess.py --cuda --probe dependency --data_split PUD --dataset ./dependency/data/PUD.conllu
  

• 进行依赖关系解析：

  python parsing.py --probe dependency --matrix ./results/dependency/bert-dist-PUD-12.pkl --decoder eisner
  

数据下载指南：

• 依赖关系数据：参考论文中的预处理细节。
• 成分句法数据：从 LDC 下载 Penn Treebank 语料库，并按项目中的目录结构组织文件。
• 语篇关系数据：从 SciDTB 下载，放置在 discourse/ 目录下。

结语

Perturbed-Masking 项目为 BERT 模型的分析和解释提供了强大的工具，适用于多种句法探测任务和下游任务的优化。其简洁易用的特性和详尽的文档，使得研究人员能够快速上手，深入探索 BERT 的内部机制。欢迎广大开发者和技术爱好者使用和贡献此项目，共同推动自然语言处理技术的发展。

Perturbed-Masking Code for ACL 2020 paper "Perturbed Masking: Parameter-free Probing for Analyzing and Interpreting BERT" 项目地址: https://gitcode.com/gh_mirrors/pe/Perturbed-Masking