昇思25天学习打卡营第11天|基于MindSpore的GPT2文本摘要

今天是参加昇思25天学习打卡营的第11天，今天打卡的课程是“基于MindSpore的GPT2文本摘要”，这里做一个简单的分享。

1.简介

今天是LLM原理和实践的第二课今天学习的目标如何给予MindSpore实现GPT2文本摘要，要点有以下内容：

1.学习文本摘要任务的主要实现目标

2.实践数据处理的方法

3.实践模型构建、训练与推理的方法

2.文本摘要任务及实现流程

文本摘要生成是自然语言处理领域的一个重要问题，其核心任务是根据输入的文本内容自动生成包含重要信息的简短摘要。文本摘要生成技术可以帮助人们快速获取并理解大量信息，具有广泛的应用前景。

文本摘要需要实现的目标大致包括：

• 信息压缩：将原始文本内容进行精炼、概括，去除冗余信息，以便读者快速获取主要信息。
• 语义保持：摘要应当保持原文的核心语义，避免信息失真。
• 流畅性：生成的摘要应当具有良好的语言流畅性，易于理解。
• 关键信息提取：提取原文中的关键信息，用于帮助读者准确理解文本内容。

GPT-2模型的文本自动摘要工具，旨在帮助用户快速生成长文本的精简概述，通过深度学习，为新闻报道、研究论文、长篇小说提供了便捷的摘要生成服务。

基于GPT-2实现文本摘要的流程包括：

• 数据集加载与处理
• 模型构建
• 模型训练
• 模型推理

3.数据处理

• 数据集的准备

本次实验使用的是nlpcc2017摘要数据，内容为新闻正文及其摘要，总计50000个样本，下载地址：

https://download.mindspore.cn/toolkits/mindnlp/dataset/text_generation/nlpcc2017/train_with_summ.txt

• 数据预处理

原始数据格式：

article: [CLS] article_context [SEP]
summary: [CLS] summary_context [SEP]

预处理后的数据格式：

[CLS] article_context [SEP] summary_context [SEP]

数据处理过程代码：

import json
import numpy as np

# preprocess dataset
def process_dataset(dataset, tokenizer, batch_size=6, max_seq_len=1024, shuffle=False):
    def read_map(text):
        data = json.loads(text.tobytes())
        return np.array(data['article']), np.array(data['summarization'])

    def merge_and_pad(article, summary):
        # tokenization
        # pad to max_seq_length, only truncate the article
        tokenized = tokenizer(text=article, text_pair=summary,
                              padding='max_length', truncation='only_first', max_length=max_seq_len)
        return tokenized['input_ids'], tokenized['input_ids']
    
    dataset = dataset.map(read_map, 'text', ['article', 'summary'])
    # change column names to input_ids and labels for the following training
    dataset = dataset.map(merge_and_pad, ['article', 'summary'], ['input_ids', 'labels'])

    dataset = dataset.batch(batch_size)
    if shuffle:
        dataset = dataset.shuffle(batch_size)

    return dataset

4.模型构建

• 构建GPT2ForSummarization模型

from mindspore import ops
from mindnlp.transformers import GPT2LMHeadModel

class GPT2ForSummarization(GPT2LMHeadModel):
    def construct(
        self,
        input_ids = None,
        attention_mask = None,
        labels = None,
    ):
        outputs = super().construct(input_ids=input_ids, attention_mask=attention_mask)
        shift_logits = outputs.logits[..., :-1, :]
        shift_labels = labels[..., 1:]
        # Flatten the tokens
        loss = ops.cross_entropy(shift_logits.view(-1, shift_logits.shape[-1]), shift_labels.view(-1), ignore_index=tokenizer.pad_token_id)
        return loss

• 动态学习率

from mindspore import ops
from mindspore.nn.learning_rate_schedule import LearningRateSchedule

class LinearWithWarmUp(LearningRateSchedule):
    """
    Warmup-decay learning rate.
    """
    def __init__(self, learning_rate, num_warmup_steps, num_training_steps):
        super().__init__()
        self.learning_rate = learning_rate
        self.num_warmup_steps = num_warmup_steps
        self.num_training_steps = num_training_steps

    def construct(self, global_step):
        if global_step < self.num_warmup_steps:
            return global_step / float(max(1, self.num_warmup_steps)) * self.learning_rate
        return ops.maximum(
            0.0, (self.num_training_steps - global_step) / (max(1, self.num_training_steps - self.num_warmup_steps))
        ) * self.learning_rate

5.模型训练

# 训练参数
num_epochs = 1
warmup_steps = 2000
learning_rate = 1.5e-4
num_training_steps = num_epochs * train_dataset.get_dataset_size()

from mindspore import nn
from mindnlp.transformers import GPT2Config, GPT2LMHeadModel
from mindnlp._legacy.engine import Trainer
from mindnlp._legacy.engine.callbacks import CheckpointCallback

config = GPT2Config(vocab_size=len(tokenizer))
model = GPT2ForSummarization(config)

lr_scheduler = LinearWithWarmUp(learning_rate=learning_rate, num_warmup_steps=warmup_steps, num_training_steps=num_training_steps)
optimizer = nn.AdamWeightDecay(model.trainable_params(), learning_rate=lr_scheduler)

ckpoint_cb = CheckpointCallback(save_path='checkpoint', ckpt_name='gpt2_summarization',
                                epochs=1, keep_checkpoint_max=2)

trainer = Trainer(network=model, train_dataset=train_dataset,
                  epochs=1, optimizer=optimizer, callbacks=ckpoint_cb)
trainer.set_amp(level='O1')  # 开启混合精度

6.模型推理

model = GPT2LMHeadModel.from_pretrained('./checkpoint/gpt2_summarization_epoch_0.ckpt', config=config)
model.set_train(False)
model.config.eos_token_id = model.config.sep_token_id
i = 0
for (input_ids, raw_summary) in test_dataset.create_tuple_iterator():
    output_ids = model.generate(input_ids, max_new_tokens=50, num_beams=5, no_repeat_ngram_size=2)
    output_text = tokenizer.decode(output_ids[0].tolist())
    print(output_text)
    i += 1
    if i == 1:
        break

7.小结

今天学习了基于GPT2的文本摘要的实践代码，主要还是以代码学习为主。文本摘要功能的实用价值还是很大的，对于需要从大量的文本资料中检索的的任务来说，将全文索引、文本摘要进行整合，为用户提供快速准确的内容抽取对于提升用户的检索效率有很大助益。至于实现的技术应该说有很多种，具体在应用时可以结合自身的业务需求来进行扩展。

以上是第11天的学习内容，附上今日打卡记录（今天的模型太大了， 根本跑不完，跑不完）：