qq_53690996的博客

DeepSeek+Dify：用 Dify 对话流+标题关键词注入，让 RAG 准确率飞跃

所以对于多张卡的用户就授予不同的GPU权限，分开跑，比如我可以四个docker容器分别跑。将用户目录下的magic-pdf.json文件修改为 （原来是cpu）下载使用modelscope包下载模型的python运行脚本。安装modelscope，用来下载模型的（也可以自己下）将Dockerfile文件构建为镜像。下载miniconda安装的运行脚本。使用其官方镜像运行发现也不会多卡加速。运行python脚本（可以自己写）运行报错，缺少了一些图像处理的包。启动一个docker容器。上传了一个pdf文件。

查看操作系统安装内核头文件和开发包安装contrib库下载驱动报错使用清华或者阿里镜像也报错查看后发现，国内镜像站基本上都下线了相关驱动官网下载官网也更新了不是以前的样式，更加精细了注册临时GPG共有密钥安装本地仓库更新apt专有内核模块安装安装成功如下如果出现如下情况：NVIDIA驱动内核模块（如nvidia.ko）的版本与用户空间库（如libnvidia-ml.so）的版本不一致第一步建议先重启，再次运行nvidia-smi 如果可以那就结束。

从以上基准测试来看，在使用Qwen2___5-Coder-32B-Instruct-GPTQ-Int8和QwQ-32B-Preview模型进行vllm推理时，模型本身就比较大，外加生成的文本质量高就会带来更多的负担，更改为7B级别的chat模型之后，会有比较高的一个正确率，但是相应的文本质量就会降低，综上vllm启动的OpenAI的APi端口，有不错的稳定性，并不会因为大量的请求出现宕机的情况，但是由于本身算力的限制和迫切生成高质量文本的本能，会导致请求的成功率比较低，换言之，即API的并发性不高。模型。

项目介绍：为GPT/GLM等LLM大语言模型提供实用化交互接口，特别优化论文阅读/润色/写作体验，模块化设计，支持自定义快捷按钮&函数插件，支持Python和C++等项目剖析&自译解功能，PDF/LaTex论文翻译&总结功能，支持并行问询多种LLM模型，支持chatglm3等本地模型。接入通义千问, deepseekcoder, 讯飞星火, 文心一言, llama2, rwkv, claude2, moss等。

成功调用，但是我想在langchain中使用，这个大模型，要是是我可以使用类似于apikey的方式远程调用，要么将模型调用和langchain结合。虽然可以通过远程调用了，但是如果langchain能自己调用，显然更加方便。测试之后完全可以，可以与langchain的链，解析输出等操作相结合。阅读 Qwen 和 langchain的官方文档，得到两个示例。得出最新的本地调用qwen模型。进入fastAPI文档界面。由于加载模型溢出，遂放弃。使用post请求进行调用。通过将两个模块相结合。

综上得出一张4090的卡性能在435个tokens左右，而且因为是代码相关的，代码相关的有一个特点，就是输入比较少，而结果特别长，这也就导致tokens可能会低一些，借此我们评估4张4090显卡的性能大概在 1720 - 1760 个tokens左右（其他对面模型可能要比这个高一些）期间尝试了 更改为全部序列，在我将内容输出看，看到只加载到了一张卡上，期间尝试分配到多张卡上，发现只有第0张卡在使用。其他尝试 更换为 deepseek-v1.5-coder-7b模型。微信图片_20241203230。

大模型框架：LLaMA-FactoryCG客户端镜像：hiyouga/LLaMA-Factory/LLaMA-Factory / v4cpu 架构 核心数 线程数 频率内存使用情况操作系统GPU：四张4090显卡CUDApython 以及相关依赖包pytorch。

返回的格式清晰且合理，使得下一步的流程描述能够更加准确地转化为Python代码；返回的内容存在一定差异，更加倾向于基础示例，例如八个点构成的扁平长方体，但针对其他更复杂的算例，很难在此基础上进行适度的调整；在压强、速度、粘度等小的方面，格式保持一致，但内容上可能有所不同。由于上一步返回了合理的格式，这使得在这一阶段能够高效且准确地生成对应的Python代码。只要保持上一步的格式不变，就能顺利地实现代码的生成。

总的来说，这组数据表明该模型在生成文本时具有较好的质量（通过 BLEU 和 ROUGE 分数反映出来），但在性能上存在一定的延迟（较高的运行时间和低的每秒样本处理率）。改进的方向可能包括优化模型的推理速度、并行化处理、或使用更高效的硬件资源。使用webui查看数据格式：可以清晰地看到提示词为一个计算机算法题目（包含题目描述，输入输出样式，甚至算法性能要求），回答为描述加代码。模型的性能进行比较，主要从多个指标入手，包括文本生成质量和处理效率。v2版本的因为测试时显存溢出，所以选择v1.5版本。

要求：简单题不少于10道题中等题目不少于4道题困难题目不少于1道题介绍：本次24青训营，入营和之前的考核模型有所不同，之前是做题，几十个选择题，两道算法题，一道简答题，现在则是在ai的辅助下进行刷题考核，这么做的原因无非是推广自己家的智能编码助手，还有就是此次代码考核在在线平台上，就能得到大量的数据，然后使用这些数据去强化编码助手，最后就是ai助手有点傻，一个是你把他给你的代码，都过不了示例，然后他容易顺着你代码的想法，往后推理，如果你一开始的想法不对，就会进入死角。

PyTorch拥有一个庞大的社区和丰富的生态系统，这意味着在使用LLaMA-Factory时，如果遇到问题或需要额外的功能，可以很容易地找到相关的解决方案或库。综上所述，PyTorch、CUDA、Python以及相应模型在LLaMA-Factory框架中各自扮演了重要的角色，共同支持了模型的高效训练和推理。综上所述，安装PyTorch是在本地配置LLaMA-Factory时的一个必要步骤，它确保了LLaMA-Factory能够高效地利用GPU资源进行模型训练和微调，并提供了丰富的社区支持和生态系统。

后面我仔细阅读文档，修改了 dataset_info.json文件，可以通过数据，达到内存溢出哪一步。但是 结果路径也可以直接使用训练结果的文件夹，会有训练成功的下拉框选项。更改模型：因为我的数据是对话模式的，所以需要使用chat级别的模型。小点的模型已经尝试过，还有清理碎片，释放显存等。模型名称：选择要微调的模型，例如LLaMA3-8B-Chat。更改为chat模型后，仍然和instruct模型相同的错误。所以我选择换回我的instruct模型，仍然溢出。语言：选择模型支持的语言，例如zh。

要求：简单题不少于10道题中等题目不少于4道题困难题目不少于1道题介绍：本次24青训营，入营和之前的考核模型有所不同，之前是做题，几十个选择题，两道算法题，一道简答题，现在则是在ai的辅助下进行刷题考核，这么做的原因无非是推广自己家的智能编码助手，还有就是此次代码考核在在线平台上，就能得到大量的数据，然后使用这些数据去强化编码助手，最后就是ai助手有点傻，一个是你把他给你的代码，都过不了示例，然后他容易顺着你代码的想法，往后推理，如果你一开始的想法不对，就会进入死角。