寓教于乐。教己助人

http://mirrors.aliyun.com/pypi/simple/https://modelscope.cn/docs/models/download

官网生成式 AI 应用创新引擎开源的 LLM 应用开发平台Dify 为开发者提供了健全的应用模版和编排框架，你可以基于它们快速构建大型语言模型驱动的生成式 AI 应用，将创意变为现实，也可以随时按需无缝扩展，驱动业务增长。

通过此大纲，您可以从理论到实践全面掌握向量库的核心知识，并选择合适的工具与算法解决实际问题。

推理 - LLaMA Factory。

一个很好的老选择是有一个交叉编码器。它的工作原理是把查询和每个最高k个检索到的文本块传递给交叉编码器，用一个标记分隔，然后对它进行微调，相关的块输出为1，不相关的块输出为0。数据块的大小是一个需要考虑的参数，它取决于使用的嵌入模型及其token容量，标准的transformer编码模型，如BERT 的句子转换器，最多只能使用512个token，OpenAI ada-002能够处理更长的序列，如8191个token，但这里的折衷是足够的上下文，让 LLM 能够推理以及特定的足够文本嵌入，以便有效地执行搜索。

进行指令监督微调时， instruction 列对应的内容会与 input 列对应的内容拼接后作为最终的人类输入，即人类输入为 instruction\ninput。而 output 列对应的内容为模型回答。如果您对模型效果满意并需要导出模型，您可以在导出界面通过指定 模型、 适配器、 分块大小、 导出量化等级及校准数据集、 导出设备、 导出目录 等参数后点击 导出 按钮导出模型。instruction 列对应的内容为人类指令， input 列对应的内容为人类输入， output 列对应的内容为模型回答。

Ollama 是一个开源的大型语言模型（LLM）运行工具，支持在本地部署和运行多种开源大模型（如 Llama2、Qwen、Mistral 等）。它简化了模型的管理和调用，适合开发者、研究人员和 AI 爱好者使用。

RAGFlow和Dify都是基于大语言模型（LLM）的应用开发平台，分别专注于深度文档理解与检索增强生成（RAG）和LLM应用开发。RAGFlow以其深度文档解析能力和无幻觉生成著称，而Dify则以其灵活的工作流编排和全面的模型支持见长。以下从多个维度对两者进行详细对比。RAGFlow更适合需要深度文档解析和无幻觉生成的企业，尤其是处理复杂格式文档的场景。Dify更适合需要灵活工作流编排和多模型集成的开发者，尤其是构建复杂AI应用的场景。

DeepSeek 是由中国团队研发的开源大语言模型（LLM）系列，涵盖混合专家模型（MoE）架构与高效推理技术。其代表性模型（671B 参数）和（轻量级至千亿级）通过创新的架构设计（如多头潜在注意力 MLA 和 DeepSeekMoE）实现了与闭源模型（如 GPT-4o）相媲美的性能，同时在训练成本上显著降低（总训练成本仅 557.6 万美元）。