zwplus的博客

这里的前向推理公式主要适用那些采用了Decoder-only并且是逐个Token生成的LLM，这里公式也是指生成一个Token的前向计算量。2N表示的是单个Token与模型参数之间的计算量，不包括注意力图的计算，这个结果可以通过将LLM简化成一个大的全连接层来看即ywxb,这里假设x大小为1bw大小为abb的大小为a,由于x与w进行的是点积运算，所以相应运算量为a∗b乘法和a∗b−1加法运算，相应的和偏置的运算量为a次加法，因此总计2∗a∗b。

RAG(检索式增强生成)，其核心思想是在LLM回答问题或者生成文本时会先从事前构建好的知识库(文献资料)中检索相关信息，然后基于相关问题和检索到的信息来回答问题或者文本，从而提高预测质量。如果说大模型在之前回答用户问题是在参与一场闭卷考试，那现在通过RAG技术，大模型回答用户的问题就是在参加一场开卷考试，RAG技术中构建的知识库也就相当于开卷考试时带进考场的资料。

【代码】InternLM 实战营笔记-2-趣味demo。

InternLM2根据不同应用场景和使用需求，提供了多个版本的模型。