基于CPU安装使用ModernBERT教程

ModernBert简介

• ModernBERT 是继BERT之后，一个新的Encoder-Only模型，在速度和准确性方面都比 BERT 系列实现了改进。
• 该模型采用了近年来在大型语言模型 (LLM) 方面的数十项进展，并将它们应用于 BERT 风格的模型，包括对架构和训练过程的更新。
  详细介绍
• 论文：https://arxiv.org/pdf/2412.13663
• 量子位公众号发布https://www.qbitai.com/2024/12/236469.html
• 魔搭公众号发布https://mp.weixin.qq.com/s/4b_KfU7LJMj8CsVponzhMA
• 代码仓：https://github.com/AnswerDotAI/ModernBERT

模型下载

• ModernBERT-base - 22 层，1.49 亿参数：https://modelscope.cn/models/AI-ModelScope/ModernBERT-base
• ModernBERT-large - 28 层，3.95 亿参数：https://modelscope.cn/models/AI-ModelScope/ModernBERT-larg

环境准备

• 首先把代码仓下载下来https://github.com/AnswerDotAI/ModernBERT

• 代码中目录结构如下
  

• 比较重要的包就是transformers, 这边要求的版本比较高， 需要4.48.0，尝试了官网的几种方式，最后通过尝试3成功安装transformers

尝试1（失败）

• 根据readme中所述，直接用它所述的方法，进入到下载后的代码目录中，直接使用conda env create