qq_35054222的博客

注意力矩阵在训练推理过程中，为了模拟真实推理场景，当前位置token是看不到下一位置的，且只能看到上一位置以及前面序列的信息，所以在训练推理的时候加了。推导没有错，也没有Q矩阵缓存。不是说好的只有KV缓存，没有Q矩阵缓存？大家都知道大模型是通过语言序列预测下一个词的概率。，这样方便softmax的时候置为0。，注意力的计算（见注意力矩阵最下面一行）与。另外，还有个V矩阵，参照图1就干了一件事。，并在实际计算中不再需要重复计算。，计算的时候从缓存中取即可，这是。在具体实现过程中，输入。，直接从缓存中取即可。

很多企业和个人都号称自己打造了AI大模型实际落地场景，其中有噱头、蹭热点，也有真实落地应用的。下面我将聊聊有哪些应用是真实落地可执行的。

对于初学者如何入门，我的建议是从一个开源大模型入手，全面了解它的运行原理以及如何应用。可以将大模型比作一辆车，我开车无需理解车是如何做的，但是车出问题了，了解原理能够帮我们快速找到其中的问题。

现在大模型微调的门槛越来越低，市场上有大量开源微调框架。只要你会部署、有机器就能出个结果，赶紧动手玩起来吧！

大型语言模型 (LLM) 的大小是通过参数数量来衡量的。举几个典型例子，GPT-3 有 1750 亿个参数，1750亿也可称为175B（1B = 10亿），Meta最新开源的Llama3 参数数量在 80 亿到 700 亿之间，智谱公司最新开源的GLM4-9B参数为90亿。这就有一个问题，什么叫做参数？

而我最近正好在学习LLaMA-Factory，正好试一试用它来微调大模型，看看最终商品评论情感预测结果究竟如何？

修改里面的Embedding部分，替换成自己本地部署的Embedding模型，并且尝试多模态和单模态两种方式

为了探索千亿级大模型到底需要计算资源，我用云计算资源部署了Qwen1.5-110B-Chat，看看部署它到底需要多少存储资源，并且测试在不量化、8bit量化、4bit量化下的显存消耗。

开源大模型更新迭代太快，今年刚推出的模型可能过几个月就过时了。关于这个问题，我想更多的不是思考现在能部署哪些大模型，而是要思考三个方面：一是如何找到最新的大模型，二是如何判断本地硬件资源是否满足大模型的需求，三是如何快速部署大模型。

这个项目发布了一个从零开始实现llama3的库，包括跨多个头的注意力矩阵乘法、位置编码和toekn化等等技术有非常详细的解释。

Suno是一个专业高质量的AI歌曲和音乐创作平台，用户只需输入简单的文本提示词，即可根据流派风格和歌词生成带有人声的歌曲。

github上的代码封装程度高，不利于小白学习入门。常规的大模型RAG框架有langchain等，但是langchain等框架源码理解困难，debug源码上手难度大。因此，我写了一个人人都能看懂、人人都能修改的大模型RAG框架代码。整体项目结构如下图所示：手把手教你大模型RAG框架架构整个小项目分为10个章节，和github高度封装的RAG代码不同，我们将从0到1搭建大模型RAG问答系统！本篇文章将介绍，知识库构建好之后还需要通过知识检索和智能问答。

我用ragflow做了一款初中历史辅导助手，准确率高达99%

大家好，我是程序锅。github上的代码封装程度高，不利于小白学习入门。常规的大模型RAG框架有langchain等，但是langchain等框架源码理解困难，debug源码上手难度大。因此，我写了一个人人都能看懂、人人都能修改的大模型RAG框架代码。整体项目结构如下图所示：手把手教你大模型RAG框架架构整个小项目分为10个章节，和github高度封装的RAG代码不同，我们将从0到1搭建大模型RAG问答系统，所有代码评论区回复rag免费获取！本篇文章将介绍。

大家好，我是程序锅。github上的代码封装程度高，不利于小白学习入门。常规的大模型RAG框架有langchain等，但是langchain等框架源码理解困难，debug源码上手难度大。因此，我写了一个人人都能看懂、人人都能修改的大模型RAG框架代码。

大家好，我是程序锅。上次说到ChatGPT应用非常广泛，网上也有非常多基于ChatGPT的二次开发项目。这次程序锅讲带大家5分钟部署一个论文修改项目，这个项目在github上star已经超过4W+了，可谓说是明星项目了。去年这个项目还不是很完善，今年一看几乎可以集成市面上所有大模型,开发了许多插件。这一篇文章主要教大家如何快速在自己电脑上部署起来。

tiktoken是OpenAI开发的开源的快速token切分器。首先我们需要了解的是GPT等大模型，并不是直接将文本字符串输入大模型，第一步需要做的就是token切分编码。比如给定一个文本字符串。。

相信通过上面的介绍，大家对为什么要用RAG、RAG的技术路线有了大概了解。下一篇文章，我们将开始环境部署，准备开发自己的大模型RAG应用。

大模型的使用可以分为本地调用和远程调用。由于本地硬件资源有限，我们一般选择远程调用大模型（后续小项目，也可自己本地部署大模型）。目前市面上的大模型有ChatGPT、GPT4、GLM4、文心一言等等，OpenAI的产品由于有关原因被限制，在此我们采用智谱AI的GLM4作为实验对象。