在训练语言模型中,需要将文件整理成规范的文档,因为文档本身会有很多不规范的地方,为了训练的正确,将文档进行规范处理
文章最后附上txt的sample
该 Python 代码的主要目的是将特定格式的文本文件中的问答数据读取出来,并写入到 Excel 文件中。其具体功能如下:
1. 读取文本文件中的问答数据
- 代码首先定义了
read_txt_file
函数,用于读取指定路径(txt_file_path
)的文本文件。 - 在函数中,以
utf-8
编码打开文件,逐行读取内容。通过判断每行是否以### Q:
或### Q:
开头来识别问题,以### A:
或### A:
开头来识别答案。 - 将识别出的问题和答案组合成完整的问答对,并存储在一个列表中返回。
2. 将问答数据写入 Excel 文件
- 接着定义了
write_to_excel
函数,该函数接受问答数据列表和输出文件路径(excel_file_path
)作为参数。 - 在函数内部,创建一个新的 Excel 工作簿,获取活动工作表并设置其标题为
QA_Data
。 - 然后遍历问答数据列表,将每个问答对中的问题和答案进行处理后,作为一行数据添加到工作表中。
- 最后保存工作簿到指定的输出路径,生成包含问答数据的 Excel 文件。
代码如下
1. 导入必要的库
from openpyxl import Workbook
import os
from openpyxl import Workbook
:从openpyxl
库中导入Workbook
类,用于创建和操作 Excel 文件。import os
:导入os
模块,用于处理文件路径相关的操作。
2. 设置工作目录
work_dir = os.path.dirname(os.path.abspath(__file__))
这行代码获取当前 Python 脚本文件所在的目录路径,并将其赋值给work_dir
变量。os.path.dirname
获取指定路径的目录部分,os.path.abspath
获取绝对路径,__file__
是 Python 内置变量,表示当前脚本文件的路径。
3. 指定文件路径
txt_file_path = os.path.join(work_dir, "qa.txt") # 替换为实际的文本文档路径
excel_file_path = "output.xlsx" # 替换为输出的Excel文件路径
txt_file_path
:通过os.path.join
将工作目录和文件名<