【人工智能】【语言模型】【持续更新】全国大学生程序设计大赛笔记

波比网络

于 2024-03-31 22:54:05 发布

阅读量534

点赞数 8

CC 4.0 BY-SA版权

分类专栏：人工智能技能大赛文档文章标签：人工智能语言模型技能大赛程序设计大赛

本文链接：https://blog.youkuaiyun.com/blbinet/article/details/137211930

人工智能技能大赛文档专栏收录该内容

2 篇文章

订阅专栏

本文介绍了一个使用PyTorch实现的中文标点自动标注项目，通过run_task_disf.py脚本进行训练，涉及模型类型tsfmrnn_tagging、学习率调整和训练参数配置。同时提到了配合gradio构建的网页客户端应用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

人工智能【自然语言模型】

基于深度学习的Python中文标点自动标注程序

文章时间：

编写于：2024.3.31

更新于：2024.3.31

项目纲要：

前言

被高中老师骂摆烂，还高中愿。第一次接触Python，瞅瞅吧。

所用模块

PyTorch【核心】

PyTorch是一个深度学习模块，用于本项目中语言模型训练与加载。

开始

脚本文件

cmd_run_felix.py

脚本作用

用于调用标点语言模型的训练脚本（即run_task_disf.py），并在此交代训练参数。

训练参数

    command = f'HF_ENDPOINT=https://hf-mirror.com CUDA_VISIBLE_DEVICES=-1 {python} run_task_disf.py --local_rank -1 ' \
    '--learning_rate 2e-4 --model_type tsfmrnn_tagging --config_name ./raw_disf/electra_tagging_small.json ' \
    '--per_gpu_train_batch_size 16 ' \
    '--vocab_file ./raw_disf/vocab.txt '\
    '--num_train_epochs 10 --do_train --do_eval '\
    '--train_file ./data/train.txt '\
    '--dev_file ./data/dev.txt ' \
    '--nline -1 '

参数分析

command = f'HF_ENDPOINT=https://hf-mirror.com CUDA_VISIBLE_DEVICES=-1 {python} run_task_disf.py --local_rank -1 ' \

在单引号前使用f来确保{python}变量正常输出。

定义变量：

HF_ENDPOINT=https://hf-mirror.com

已知为镜像站，申明该变量作用未知。

CUDA_VISIBLE_DEVICES=-1

CUDA 是 Nvidia 提供的并行计算平台和应用程序编程接口，用于利用 Nvidia GPU 进行通用目的计算，这里作用未知，大概是指定可见的 GPU 设备编号（好奇能不能跑在AMD的GPU上）。

{python} run_task_disf.py

替换{python}为定义的python路径，并执行run_task_disf.py脚本开始标点语言模型训练。

随后的参数均为申明run_task_disf.py中的参数。

--local_rank -1

用于指定本地训练的 rank，设置为 -1 可能意味着没有本地排名。

--learning_rate 2e-4

机器学习的学习率，配置为2e-4，根据科学计数法，即学习率为0.02%，更改该参数可能使模型运行正确率浮动。

--model_type tsfmrnn_tagging

指定模型类型为tsfmrnn_tagging（神经网络序列标注）。

--config_name ./raw_disf/electra_tagging_small.json

指定配置文件为.raw_disf目录下的electra_tagging_small.json。

--per_gpu_train_batch_size 16

指定每个GPU训练批次大小为16（作用暂时未知）。

--vocab_file ./raw_disf/vocab.txt

指定词汇表文件为./raw_risf目录下的vocab.txt文件。

--num_train_epochs 10

用于指定训练的 epoch 数量为 10（作用暂时未知）。

--do_train

用于指示是否执行训练。

--do_eval

用于指示是否执行评估（作用暂时未知）。

--train_file ./data/train.txt

用于指定训练数据文件的路径。

--dev_file ./data/dev.txt

用于指定开发数据文件的路径（作用暂时未知）。

--nline -1

可能用于指定数据的行数。被设置为 -1，可能意味着使用所有行。

app.py

脚本作用

用于启动网页客户端，网页应该是采用gradio构建，配合httpx进行请求。

运行截图

--nline -1

可能用于指定数据的行数。被设置为 -1，可能意味着使用所有行。

app.py

脚本作用

用于启动网页客户端，网页应该是采用gradio构建，配合httpx进行请求。