大语言模型LLM的微调中 Q&A 转换的小工具 txt2excel.py

在训练语言模型中，需要将文件整理成规范的文档，因为文档本身会有很多不规范的地方，为了训练的正确，将文档进行规范处理

文章最后附上txt的sample

该 Python 代码的主要目的是将特定格式的文本文件中的问答数据读取出来，并写入到 Excel 文件中。其具体功能如下：

1. 读取文本文件中的问答数据

• 代码首先定义了read_txt_file函数，用于读取指定路径（txt_file_path）的文本文件。
• 在函数中，以utf-8编码打开文件，逐行读取内容。通过判断每行是否以### Q:或### Q:开头来识别问题，以### A:或### A:开头来识别答案。
• 将识别出的问题和答案组合成完整的问答对，并存储在一个列表中返回。

2. 将问答数据写入 Excel 文件

• 接着定义了write_to_excel函数，该函数接受问答数据列表和输出文件路径（excel_file_path）作为参数。
• 在函数内部，创建一个新的 Excel 工作簿，获取活动工作表并设置其标题为QA_Data。
• 然后遍历问答数据列表，将每个问答对中的问题和答案进行处理后，作为一行数据添加到工作表中。
• 最后保存工作簿到指定的输出路径，生成包含问答数据的 Excel 文件。

代码如下

1. 导入必要的库

from openpyxl import Workbook
import os

• from openpyxl import Workbook：从openpyxl库中导入Workbook类，用于创建和操作 Excel 文件。
• import os：导入os模块，用于处理文件路径相关的操作。

2. 设置工作目录

work_dir = os.path.dirname(os.path.abspath(__file__))

这行代码获取当前 Python 脚本文件所在的目录路径，并将其赋值给work_dir变量。os.path.dirname获取指定路径的目录部分，os.path.abspath获取绝对路径，__file__是 Python 内置变量，表示当前脚本文件的路径。

3. 指定文件路径

txt_file_path = os.path.join(work_dir, "qa.txt")   # 替换为实际的文本文档路径
excel_file_path = "output.xlsx"  # 替换为输出的Excel文件路径

• txt_file_path：通过os.path.join将工作目录和文件名<