FILM 项目使用教程

FILM 项目使用教程

FILM Official repo for "Make Your LLM Fully Utilize the Context" 项目地址: https://gitcode.com/gh_mirrors/fi/FILM

1. 项目介绍

FILM 是由微软开发的一个开源项目，旨在帮助大型语言模型（LLM）充分利用上下文信息。该项目通过应用信息密集（In2）训练方法，从 Mistral-7B-Instruct-v0.2 模型中训练出 FILM-7B，解决了“中间信息丢失”问题。FILM-7B 在探测任务中表现接近完美，在真实世界的长上下文任务中达到 SOTA 水平，同时不牺牲短上下文性能。

2. 项目快速启动

环境搭建

推荐使用 Conda 或官方 Pytorch Docker 来构建环境。

git clone https://github.com/microsoft/FILM.git
cd FILM
conda create -n FILM python=3.10.11
conda activate FILM
pip install torch==2.0.1  # 适用于 cuda11.7 和 cudnn8
pip install -r requirements.txt

模型使用

FILM-7B 的系统模板如下：

'''[INST] Below is a context and an instruction. Based on the information provided in the context, write a response for the instruction.
### Context: [YOUR LONG CONTEXT]
### Instruction: [YOUR QUESTION & INSTRUCTION] [/INST]'''

3. 应用案例和最佳实践

探测任务结果重现

要重现我们在 VaL 探测任务中的结果，请参考 VaLProbing 目录中的指导。

真实世界长上下文任务

要重现真实世界长上下文任务的结果，请参考 real_world_long 目录中的指导。

短上下文任务

要重现短上下文任务的结果，请参考 short_tasks 目录中的指导。

4. 典型生态项目

FILM 项目与以下生态项目紧密相关：

• Mistral-7B-Instruct-v0.2: FILM-7B 的训练基础模型。
• Pytorch: 用于模型训练和推理的深度学习框架。
• Conda: 用于环境管理和依赖项安装。

通过这些生态项目的协同工作，FILM 项目能够充分发挥其潜力，提供高效的语言模型解决方案。

FILM Official repo for "Make Your LLM Fully Utilize the Context" 项目地址: https://gitcode.com/gh_mirrors/fi/FILM