PyTorch TorchChat 项目使用教程

PyTorch TorchChat 项目使用教程

torchchat Run PyTorch LLMs locally on servers, desktop and mobile 项目地址: https://gitcode.com/gh_mirrors/to/torchchat

1. 项目的目录结构及介绍

PyTorch TorchChat 项目的目录结构如下：

torchchat/
├── .github/              # GitHub 工作流和配置文件
├── .gitignore            # 忽略文件列表
├── assets/               # 静态资源文件
├── docs/                 # 文档文件
├── install/              # 安装脚本和依赖
├── runner/               # C++ 运行器相关文件
├── scripts/              # 执行脚本
├── tests/                # 测试文件
├── tokenizer/            # 分词器相关文件
├── torchchat/            # 主代码文件
├── CMakeLists.txt        # CMake 配置文件
├── CODE_OF_CONDUCT.md    # 行为准则
├── CONTRIBUTING.md        # 贡献指南
├── LICENSE               # 许可证文件
├── README.md             # 项目说明文件
└── dist_run.py           # 分布式运行脚本

• .github/: 包含 GitHub Actions 工作流文件，用于自动化测试、构建等。
• .gitignore: 指定 Git 忽略的文件和目录。
• assets/: 存放静态资源，如图片、样式表等。
• docs/: 项目文档，包括本文档在内的相关文件。
• install/: 包含安装项目依赖的脚本。
• runner/: 包含 C++ 运行器相关代码，用于在 C++ 环境中运行模型。
• scripts/: 包含项目运行和维护过程中使用的脚本。
• tests/: 包含项目的测试代码。
• tokenizer/: 包含分词器相关的代码和模型。
• torchchat/: 包含项目的主要 Python 代码。
• CMakeLists.txt: CMake 的配置文件，用于构建 C++ 项目。
• CODE_OF_CONDUCT.md: 项目的行为准则。
• CONTRIBUTING.md: 指导如何为项目贡献代码。
• LICENSE: 项目的许可证信息。
• README.md: 项目的说明文件，介绍项目的基本信息。
• dist_run.py: 用于分布式运行的 Python 脚本。

2. 项目的启动文件介绍

项目的启动文件是 torchchat.py，这是项目的主入口。通过运行以下命令，可以查看该文件提供的命令行选项：

python3 torchchat.py --help

该命令将输出以下帮助信息：

usage: torchchat [-h] {chat,browser,generate,export,eval,download,list,remove,where,server} ...

positional arguments:
  {chat,browser,generate,export,eval,download,list,remove,where,server}
    The specific command to run
    chat                Chat interactively with a model via the CLI
    generate            Generate responses from a model given a prompt
    browser             Chat interactively with a model in a locally hosted browser
    export              Export a model artifact to AOT Inductor or ExecuTorch
    download            Download model artifacts
    list                List all supported models
    remove              Remove downloaded model artifacts
    where               Return directory containing downloaded model artifacts
    server              [WIP] Starts a locally hosted REST server for model interaction
    eval                Evaluate a model via lm-eval

options:
  -h, --help            show this help message and exit

用户可以根据需要选择不同的命令来与模型交互、生成文本、导出模型等。

3. 项目的配置文件介绍

在 torchchat 项目中，主要的配置文件是 CMakeLists.txt，它用于配置 C++ 项目的构建过程。对于 Python 部分，配置通常是通过命令行参数来进行的。

CMakeLists.txt 文件包含了构建 C++ 运行器所需的指令和依赖。这个文件会指定编译器、编译选项、链接库等信息。

对于 Python 代码的配置，可以在运行 torchchat.py 时通过命令行参数来设置模型、设备、执行模式等选项。例如，启动一个聊天会话可以使用以下命令：

python3 torchchat.py chat --model llama3

在这里，--model llama3 是一个配置参数，用于指定使用 llama3 模型进行聊天。其他命令和参数可以在使用 --help 选项时查看。

torchchat Run PyTorch LLMs locally on servers, desktop and mobile 项目地址: https://gitcode.com/gh_mirrors/to/torchchat