大语言模型LLM的微调中 Q&A 转换的小工具 xlsx2json.py

在训练语言模型中，需要将文件整理成规范的文档，因为文档本身会有很多不规范的地方，为了训练的正确，将文档进行规范处理。代码的功能是读取一个 Excel 文件，将其数据转换为 JSON 格式，并将 JSON 数据写入到一个文本文件中，实现了从 Excel 数据到 JSON 数据的转换，方便在其他系统或应用中使用或传输数据。

最终要在模型里使用的还是json 格式，以input / output字典格式的输出为例 

   {
        "input": xxx,
        "output": xxx
    },
 

逐条解释代码如下：

1. 导入必要的库

import pandas as pd
import os
import json

• import pandas as pd：导入pandas库，并使用别名pd。pandas是一个用于数据处理和分析的强大库，提供了数据结构（如DataFrame）和数据操作方法，方便处理表格型数据，如 Excel 文件中的数据。
• import os：导入os模块，用于处理文件路径相关的操作，如获取当前文件所在目录、拼接文件路径等。
• import json：导入json模块，用于处理 JSON 数据，包括将 Python 对象转换为 JSON 格式以及将 JSON 数据解析为 Python 对象。

2. 设置工作目录并指定数据集文件路径

work_dir = os.path.dirname(os.pat