OpenScholar 项目使用教程

OpenScholar 项目使用教程

1. 项目的目录结构及介绍

OpenScholar 是一个基于检索增强的语言模型，用于合成科学文献的项目。以下是项目的目录结构及其简单介绍：

• imgs/: 存放项目相关的图像文件。
• retriever/: 包含运行检索脚本和检索服务器的代码基础。
• src/: 主源代码目录，包含了运行 OpenScholar 推断的核心代码。
• training/: 包含训练 Llama 3.1 8B 模型的代码，使用处理过的数据集进行训练。
• .gitignore: 指定 Git 忽略的文件和目录。
• LICENSE: 项目使用的 Apache-2.0 许可证文件。
• README.md: 项目说明文件。
• requirements.txt: 项目运行所需的 Python 包列表。
• run.py: 项目的主要启动文件，用于运行 OpenScholar 推断。

2. 项目的启动文件介绍

run.py 是 OpenScholar 的主要启动文件，用于执行推断任务。以下是启动文件的一些基本使用方式：

python run.py \
  --input_file YOUR_INPUT_FILE \
  --model_name OpenScholar/Llama-3.1_OpenScholar-8B \
  --use_contexts \
  --output_file OUTPUT_FILE_PATH \
  --top_n 10 --llama3 --zero_shot

在上面的命令中：

• --input_file: 指定输入文件的路径，该文件包含了需要推断的问题。
• --model_name: 指定要使用的模型名称。
• --use_contexts: 使用上下文信息。
• --output_file: 指定输出文件的路径，该文件将包含推断结果。
• --top_n: 指定要馈送到底层语言模型中的段落数量。
• --llama3: 使用 Llama 3.1 模型。
• --zero_shot: 以零样本方式进行推断。

3. 项目的配置文件介绍

OpenScholar 的配置主要通过命令行参数进行，以下是一些重要的配置选项：

• --api 和 --api_key_fp: 用于指定外部 API 名称和 API 密钥文件的路径。
• --use_contexts: 是否使用上下文信息。
• --feedback: 是否在生成过程中使用自我反馈循环。
• --posthoc_at: 是否在生成后进行引用归属。
• --zero_shot: 是否以零样本方式进行推断。
• --ranking_ce: 是否使用重排模型来重排段落。
• --reranker: 指定重排模型的路径。
• --min_citation: 设置引用的最小数量，低于该数量的论文将被排除。
• --ss_retriever: 是否在反馈生成循环中使用语义学者 API。
• --use_abstract: 是否考虑摘要来提高重排结果。
• --max_per_paper: 推断时每篇论文使用的最大段落数量。
• --task_name: 指定任务名称，用于单篇论文任务。

以上是 OpenScholar 项目的简单使用教程，包含了项目的目录结构、启动文件和配置文件的介绍。按照上述说明，您可以开始使用 OpenScholar 进行科学文献的合成和推断。