Mooczx的博客

在每个节点上配置NPU的网络信息，确保所有节点的IP不重复。操作系统可以是openeuler或者ubuntu,安装包环境基本一致。将DeepSeek-R1模型文件复制到。在容器内配置环境变量，确保每个节点的。在启动服务之前，我们需要修复。目录下，并确保目录名为。

1.数据治理数据治理——数据清洗-优快云博客2.模型训练使用 LLaMA-Factory 微调_使用llama factory自建数据集微调-优快云博客3.模型推理vllm快速入门_vllm.entrypoint.openapi-优快云博客4.模型量化使用llama.cpp进行量化和部署_llamacpp 量化gguf-优快云博客5.量化模型部署大模型快速部署工具Ollama介绍-优快云博客6.RAG(模型应用)RAG增强检索_ra

1. **ROUGE-N**：衡量候选摘要和参考摘要之间的n-gram（通常是单词或双词）的重叠。5. **ROUGE-W**：ROUGE-L的改进版本，对最长公共子序列的连续性给予更高的奖励，用加权的方法计算最长公共子序列。- **精确率（Precision）**：候选摘要中n-gram与参考摘要中n-gram的重叠比例。- **召回率（Recall）**：参考摘要中n-gram与候选摘要中n-gram的重叠比例。3. **ROUGE-2**：特指n=2时的ROUGE-N，即双词（bigram）的重叠。

Llama3模型在4月18日公布后，国内开发者对Llama3模型进行了很多训练和适配，除了中文纯文本模型外，多模态版本也陆续在发布中。将MLP和Embedder加入了lora_target_modules. 你可以通过指定--lora_target_modules ALL在所有的linear层(包括qkvo以及mlp和embedder)加lora. 这通常是效果最好的。，这是开源社区中率先完整适配中文环境的通用Agent Llama3模型，后续会有更完整的评测报告产出。

LLaMA-Factory 单卡3080*2 deepspeed zero3 微调Qwen2.5-7B-Instruct

智能体

【代码】SWIFT基本使用。

最核心的写一条好prompt的原则就是尽可能清晰、明确地表达你的需求（类比产品经理向程序员提需求）。细分下来，具体原则包括：清晰的指令：足够清晰明确地说明你希望模型为你返回什么，最后更加细致地说明需求，避免模糊表达。提供上下文和例子：给出较为充分的上下文信息，让模型更好地理解相关背景。如果能够提供示例，模型能表现更好（类似传统LLM中的in-context learning）。善用符号和语法：使用清晰的标点符号，标题，标记有助于转达意图，并使输出更加容易被解析。

本篇从基座模型选择、模型整体架构、数据设计、训练微调四个角度总结大模型微调经验。本篇将现有垂类大模型微调已公布的实践经验做一个全面的总结，大部分经验实测可推广，大家在自己实践过程中可以进行适当参考。下面是一个快捷目录，其中数据设计和训练微调是重点。1. 基座模型选择2. 模型整体架构3. 数据设计4. 训练微调。

【代码】最简单的线性回归神经网络。

DeepSpeed是一个开源的深度学习优化库，它由微软开发并维护，旨在提高大规模模型训练的效率和可扩展性。# 移动finetune_lora_single_gpu.sh到外面。训练优化工具:融合优化器,自动混合精度训练,学习率调度。通信优化模块:张量并行,数据并行,流水线并行。1.啥是deepspeed?# 准备数据(例如)

我的前身是GPT-3，它是一种强大的语言生成模型，能够理解和处理自然语言。GPT-4是GPT系列中的一员，拥有更高的性能和能力。\n\n我可以回答问题、提供信息、创作文本和图片等多种任务。我的目标是帮助用户找到答案、解决问题和完成任务。

如果您希望使用自定义数据集，请**务必**在 `dataset_info.json` 文件中添加*数据集描述*，并通过修改 `dataset: 数据集名称` 配置来使用数据集。"hf_hub_url": "Hugging Face 的数据集仓库地址（若指定，则忽略 script_url 和 file_name）","ms_hub_url": "ModelScope 的数据集仓库地址（若指定，则忽略 script_url 和 file_name）",KTO 数据集需要提供额外的 `kto_tag` 列。

使用modelscope下载。

1.将 safetensors 格式转成 gguf。2.将 gguf 格式进行（再）量化。

余弦相似度是指两个向量的夹角的余弦值(cos)夹角越大，说明两个向量越不接近，余弦值比1小。夹角越小，说明两个向量越接近，余弦值越接近1。余弦距离 = 1- 余弦相似度。

dataset_info.json 包含了所有经过预处理的 本地数据集 以及 在线数据集。如果您希望使用自定义数据集，请 务必 在 dataset_info.json 文件中添加对数据集及其内容的描述，并通过修改 dataset: 数据集名称 配置来使用数据集。

2.将问题向量化并搜索,拼接prompt,使用Agent(代理)1.上传文本并将文本向量化。

输出解析器StrOutputParser。链式调用+异步asyncio。同样的代码,链式调用。

chain 1 任务：翻译成中文first_prompt = ChatPromptTemplate.from_template("把下面内容翻译成中文:\n\n{content}")llm=llm,#chain 2 任务：对翻译后的中文进行总结摘要 input_key是上一个chain的output_keysecond_prompt = ChatPromptTemplate.from_template("用一句话总结下面内容:\n\n{Chinese_Rview}")llm=llm,

注意langchain高版本不支持写入数据库,示例langchain==0.1.16。使用SQLDatabaseChain构建的agent，根据数据库回答问题。

2.例如:计算\搜索\知识库检索(多轮对话): 用于生成指令和执行动作的 LLM。: 用于生成指令和执行动作的代理。: 用于存储历史对话和生成的指令。: 用于执行动作的函数。

2.ARG检索+agent(搜索+数学计算)1.上传文档,并存在向量数据库中。

文档向量化用DashScopeEmbeddings(阿里云百炼大模型服务平台的文本嵌入服务)- 1文档加载- 2文档分割- 3文档向量化-4构建向量库- 5基于知识库的问答。文档分割用CharacterTextSplitter(字符串分割)提高LLM回答的可控性和可解释性，提高模型的可信度和安全性。解决通用LLM针对一些小众领域没有涉猎的问题(私域)提升LLM回答的准确性、权威性、时效性。文档加载用TextLoader。构建向量库用Chroma。

【代码】langchain(基础)二--prompts高级。

(1)LangChain是一个基于语言模型开发应用程序的框架。(2)LangChain 为特定用例提供了多种组件，例如个人助理、文档问答、聊天机器人、查询表格数据、与 API 交互、提取、评估和汇总。(3)LangChain 中的模型分类：LLM（大型语言模型）：这些模型将文本字符串作为输入并返回文本字符串作为输出。它们是许多语言模型应用程序的支柱。Chat (聊天模型)：聊天模型由语言模型支持，但具有更结构化的 API。他们将聊天消息列表作为输入并返回聊天消息。

2.将用户问的问题添加messages中。1.创建一个模型类与序列化器。3.前端SSE接收流式输出。

大模型流式输出API