【人工智能】【语言模型】【持续更新】全国大学生程序设计大赛笔记

人工智能【自然语言模型】

基于深度学习的Python中文标点自动标注程序

文章时间：

编写于：2024.3.31

更新于：2024.3.31

项目纲要：

前言

​ 被高中老师骂摆烂，还高中愿。第一次接触Python，瞅瞅吧。

所用模块

PyTorch【核心】

​ PyTorch是一个深度学习模块，用于本项目中语言模型训练与加载。

开始

脚本文件

cmd_run_felix.py

脚本作用

​ 用于调用标点语言模型的训练脚本（即run_task_disf.py），并在此交代训练参数。

训练参数

    command = f'HF_ENDPOINT=https://hf-mirror.com CUDA_VISIBLE_DEVICES=-1 {python} run_task_disf.py --local_rank -1 ' \
    '--learning_rate 2e-4 --model_type tsfmrnn_tagging --config_name ./raw_disf/electra_tagging_small.json ' \
    '--per_gpu_train_batch_size 16 ' \
    '--vocab_file ./raw_disf/vocab.txt '\
    '--num_train_epochs 10 --do_train --do_eval '\
    '--train_file ./data/train.txt '\
    '--dev_file ./data/dev.txt ' \
    '--nline -1 '

参数分析

command = f'HF_ENDPOINT=https://hf-mirror.com CUDA_VISIBLE_DEVICES=-1 {python} run_task_disf.py --local_rank -1 ' \

​ 在单引号前使用f来确保{python}变量正常输出。

定义变量：

HF_ENDPOINT=https://hf-mirror.com

​ 已知为镜像站，申明该变量作用未知。

CUDA_VISIBLE_DEVICES=-1

​ CUDA 是 Nvidia 提供的并行计算平台和应用程序编程接口，用于利用 Nvidia GPU 进行通用目的计算，这里作用未知，大概是指定可见的 GPU 设备编号（好奇能不能跑在AMD的GPU上）。

{python} run_task_disf.py

​ 替换{python}为定义的python路径，并执行run_task_disf.py脚本开始标点语言模型训练。

随后的参数均为申明run_task_disf.py中的参数。

--local_rank -1

​ 用于指定本地训练的 rank，设置为 -1 可能意味着没有本地排名。

--learning_rate 2e-4

​ 机器学习的学习率，配置为2e-4，根据科学计数法，即学习率为0.02%，更改该参数可能使模型运行正确率浮动。

--model_type tsfmrnn_tagging

​ 指定模型类型为tsfmrnn_tagging（神经网络序列标注）。

--config_name ./raw_disf/electra_tagging_small.json

​ 指定配置文件为.raw_disf目录下的electra_tagging_small.json。

--per_gpu_train_batch_size 16

​ 指定每个GPU训练批次大小为16（作用暂时未知）。

--vocab_file ./raw_disf/vocab.txt

​ 指定词汇表文件为./raw_risf目录下的vocab.txt文件。

--num_train_epochs 10

​ 用于指定训练的 epoch 数量为 10（作用暂时未知）。

--do_train

​ 用于指示是否执行训练。

--do_eval

​ 用于指示是否执行评估（作用暂时未知）。

--train_file ./data/train.txt

​ 用于指定训练数据文件的路径。

--dev_file ./data/dev.txt

​ 用于指定开发数据文件的路径（作用暂时未知）。

--nline -1

​ 可能用于指定数据的行数。被设置为 -1，可能意味着使用所有行。

app.py

脚本作用

​ 用于启动网页客户端，网页应该是采用gradio构建，配合httpx进行请求。

运行截图

--nline -1

​ 可能用于指定数据的行数。被设置为 -1，可能意味着使用所有行。

app.py

脚本作用

​ 用于启动网页客户端，网页应该是采用gradio构建，配合httpx进行请求。

运行截图

•