从零实现GPT-2，瞎写笑傲江湖外传，金庸直呼内行

最新推荐文章于 2024-09-08 18:14:41 发布

原创

最新推荐文章于 2024-09-08 18:14:41 发布 · 943 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#pytorch #nlp #自然语言处理 #深度学习 #机器学习

这篇博客介绍了如何利用PyTorch从零开始实现GPT-2模型，并用其生成《笑傲江湖》外传。通过训练，模型为金庸笔下的人物编织新的故事，展现了深度学习在自然语言处理中的应用。

使用PyTorch实现GPT-2模型，采用笑傲江湖小说文本训练，究竟小师妹和盈盈情感修罗场结局如何，且听GPT-2娓娓道来...

从零实现GPT-2，瞎写笑傲江湖外传，金庸直呼内行

context = "任盈盈和令狐冲相拥而眠，"
x = torch.tensor([train_dataset.stoi[s] for s in context], dtype=torch.long)[None,...].to(trainer.device)
y = sample(model, x, 2000, temperature=1.0, sample=True, top_k=10)[0]
completion = ''.join([train_dataset.itos[int(i)] for i in y])
print(completion)

任盈盈和令狐冲相拥而眠，踏入了他的怀中，伸手入怀，握住了她手，说道：“盈盈，救出恒山门人之后，我和你立即拜堂成亲，也不必理会甚么父母之命，媒妁之言。我和你退出武林，封剑隐居，从此不问外事，专生儿子。”盈盈初时听他说得一本正经，脸上晕红，心下极喜，听到最后一句话时，吃了一惊，运力一挣，将他双手摔开了。令狐冲笑道：“做了夫妻，难道不生儿子？”盈盈嗔道：“你再胡说八道，我三天不跟你说话。”