53、循环神经网络：架构、应用与挑战

循环神经网络：架构、应用与挑战

1. 自回归文本生成

自回归是一种强大的文本生成方法，它可以从源材料中的随机位置开始生成连续字符。其优点在于可以按需运行，生成无限量的输出。

在训练的第一个周期后，生成的文本可能看起来有些混乱，但已经展现出一定的规律。例如：

er price.” “If he waits a little longer wew fet ius ofuthe henss lollinod fo snof 
thasle, anwt wh alm mo gparg lests and and metd tingen, at uf tor alkibto-
Panurs the titningly ad saind soot on ourne” Fy til, Min, bals’ thid the

这些“单词”大小与英语单词相近，虽不是真正的单词，但并非随机字符，很多甚至容易发音。

经过 50 个周期的训练，生成的文本质量有了显著提升：

nt blood to the face, and no man could hardly question off his pockets of 
trainer, that name to say, yisligman, and to say I am two out of them, with a 
second. “I conturred these cause they not you means to know