ye_yumo的博客

使用自然语言，文本，声音来直接和应用互动，使用成本和学习成本低能够通过对话式应用的载体较为全面的发挥出大语言模型的功能，例如逻辑、记忆、理解、生成对于不同种类的设备都能有很好的支持，例如手机、手表、网站、音响等，都能够落地展现出不同场景的支持能力。

他的位置编码优势主要是因为首先在语言里，字的位置是非常重要的，他对于每个词赋予位置编码之后，那么就不需要再按照顺序进行输入，因为相当于词是自带位置的，那么此时就可以一次性输入大量的词，每一次都可以独立的计算，不需要等待其他位置的结果，也就是说可以进行并行训练。这分为四个步骤，首先是无监督学习，得到基座大模型，之后是有监督的微调，得到可以对话的模型，再是有监督学习，得到能够评估回答质量的奖励模型，最后是强化学习，使之生成结果符合人类期望。