WEFE:词向量公平性评估框架
1. 项目基础介绍
WEFE(Word Embedding Fairness Evaluation)是一个开源库,旨在测量和缓解词向量模型中的偏见。该项目使用Python编程语言编写,为研究人员和开发者提供了一个统一、标准的接口来评估和调整词向量模型中的公平性。
2. 项目的核心功能
- 统一框架:WEFE将许多现有的公平性度量方法统一在一个框架中,使用户能够方便地封装和设计新的公平性度量。
- 标准查询对象:提供了一种称为“查询”的标准对象,用于封装公平性度量中使用的测试词。
- 模型评估:可以计算给定预训练词向量模型上的公平性度量,使用用户提供的查询。
- 偏见缓解:通过类似于scikit-learn的fit-transform接口,标准化了偏见缓解过程。
3. 项目最近更新的功能
- 修复了RIPA中的错误:更新中修复了一个在RIPA中未包括最后一对目标词的bug。
- 性能基准对比:添加了一个基准测试,将WEFE与其他测量和偏见缓解库的性能进行了比较。
- 文档更新:增加了自原始论文发布以来的库变更页面,并重构了文档结构,现在分为用户指南和理论框架两部分。
- 新的偏见缓解方法:实现了三种新的偏见缓解方法:双重硬偏见、半同胞回归和推斥吸引中性化。
- 多语言示例:增加了社区贡献的多语言示例。
- API和示例改进:API文档和度量和偏见缓解方法的示例得到了改进。
- 测试机制改进:提高了度量和偏见方法的库测试机制。
- 其他修复和改进:包括对查询的错误表示、WordEmbeddingModel的repr实现、CI测试迁移到GitHub Actions,以及许可证更改为MIT等。
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考