xdg15294969271的博客

去网上搜了可能是和内核版本有关系，于是把内核版本改回原版就好了。

能够看到cuda是12.0版本，但是使用。就是我明明已经安装好了cuda，使用。看不了cuda版本。执行一下两句命令即可。

需要在离线环境的系统了里面安装docker。目前国产化主推的是麒麟os和鲲鹏的cpu，这块的教程还比较少，记录一下。

事情是这样的，因为实验要用一堆模型来跑，都说vllm加载模型能加快推理嘛，于是我所有的实验都用vllm加载了，实验结果吧不能说好坏，只能说有很多不合理的地方！最终通过不断的重跑，表格也还行。。。勉强能看。今天用vllm加载codellama-34b-instrcut发现vllm没法自动多卡加载，于是换回去transformers加载，发现codellama-34b效果非常令人满意！于是我又试了试7b、8b、13b、14b之前用过的模型，竟然都提升了很多！后来发现可能是vllm的模版加载的问题。。。。

Langchain是使用闭源LLM实现agent搭建的，Langgraph官网给的例子是基于Claude，其他一些agent例子也是基于OPENAI的，但是对于很多私有化场景，使用本地LLM搭建agent是非常重要的。但是网上并没有相关的教程，捣鼓了两天，捣鼓出来Ollama+Langgraph实现的基于本地LLM的agent搭建。

操作系统:Linux。

记录一个LLaMA-Factroy配置过程。

刚接触Langchain，整体感觉下来就是langchain中的事件顺序都是按照一定的套路来实现，例如常见的链LLMChain，需要使用到的大模型LLM和Langchain自带的PromptTemplate两块来实现，要求PromptTemplate有预留好下一步插入的内容。但是有可能考虑到使用ConversationChain时会导致输入的内容超过模型输入的上下文，所以适用了ConversationSummaryMemory，就是让模型自己对过去的对话进行总结，但是这种方式可能会丢失一定的关键信息。