张伟的专栏

Dify 是一款开源的大语言模型（LLM）应用开发平台，旨在简化和加速生成式 AI 应用的创建和部署。它融合了后端即服务（Backend as a Service, BaaS）和 LLMOps 的理念，使开发者能够快速搭建生产级的生成式 AI 应用。即使是非技术人员，也能参与到 AI 应用的定义和数据运营过程中。。让我们开始看代码吧（先摸清楚代码的“骨骼”）

dify在使用pg时，使用了两个库dify与dify_plugin。多类型数据库协同：Dify 采用了 PostgreSQL、Redis、文件存储和向量数据库的多层次存储架构，实现了数据的高效管理与快速访问。数据隔离与安全：通过 dify 和 dify_plugin 两个独立数据库的设计，确保了核心数据与插件数据的有效隔离，提升了系统的安全性。灵活部署配置：支持 Docker 部署和源码部署两种模式，通过环境变量配置数据库连接信息，提供了高度的部署灵活性。性能优化机制。

在任务型多轮对话中，意图识别是一个关键的环节。意图识别是指从用户输入的对话内容（如文本、语音等形式）中分析并判断出用户的目的或者意图。例如，在一个智能客服对话系统中，用户输入“我想要查询一下我的订单状态”，系统通过意图识别就能判断出用户的意图是查询订单状态。它能够帮助对话系统理解用户想要做什么，从而决定对话的走向。如果系统正确识别了用户是要查询订单状态，就可以引导用户提供订单相关的信息，如订单号等，以便完成查询任务。准确的意图识别可以避免系统对用户的回答驴唇不对马嘴。

为了展示RFT的强大能力，Predibase基于某知名开源模型Qwen2.5-Coder-32B-instruct，微调出了一款专门用于将PyTorch代码翻译为Triton代码的新模型Predibase-T2T-32B-RFT。与传统监督式微调方法不同，Predibase-T2T-32B-RFT利用RFT以交互方式调整模型行为，仅需少量标注数据即可显著优化下游任务的表现，成为专有大语言模型的一种高性价比、高性能替代方案。基于这一启发，Predibase团队设计并实现了一个端到端无服务器的强化微调平台。

原文：微调数据集太难搞？我直接手搓一个开源项目！微调模型想加餐 文献堆成五指山 传统方法泪两行 AI生成总截断 重复问题脑壳瘫 - 掘金如何将领域文献转换为可供模型微调的数据集？大家好，我是 ConardLi本文为：想微调特定领域的 DeepSeek，数据集究竟要怎么搞？ 对应的第一个实战章节，通过今天的文章，将带大家学习：很多情况下，如果你只是需要通过微调来提升模型某一方面的能力，在没有特殊的内部数据要求的情况下，是没必要自己去构造数据集的，因为目前互联网上存在着大量的公开且免费使用的数据集，下面就带大家

手把手教你三步极速蒸馏DeepSeek R1，效果媲美OpenAI o3 mini！摘要•帮你速读文章内容DeepSeek蒸馏小模型媲美OpenAI，通过百度智能云千帆ModelBuilder，3小时低成本将DeepSeek-R1知识蒸馏至轻量级模型，性能大幅提升，训练成本最低900元，助力企业优化AI模型性能。摘要由作者通过智能技术生成在今年1月末，DeepSeek再度抛出了一个重磅消息：“蒸馏小模型超越OpenAI o1-mini”。

大模型数据蒸馏通过将大模型的知识转移到小模型，实现模型压缩、加速推理和降低成本等目标。主要步骤包括选择模型、准备数据、生成软标签和训练学生模型。

本篇介绍左边蓝色的部分，右边绿色的部分在上篇文章在上一篇文章中我们介绍了不改变模型结构的条件下，加速模型推理的技术，即让模型“算得更快”。而这篇文章将介绍模型压缩的技术，即让模型“算得更少”。量化（Quantization）：使用低精度（≤16位）存储模型权重。精简Attention：通过一些变种的Attention算法减少模型计算量。除此之外还有“投机采样”这种巧妙的采样方法也可以视为对大模型的压缩。而传统的几个压缩方法比如知识蒸馏和剪枝。

随着深度学习的飞速发展，模型越来越臃肿，哦不，先进，运行SOTA模型的主要困难之一就是怎么把它塞到 GPU 上，毕竟，你无法训练一个设备装不下的模型。改善这个问题的技术有很多种，例如，分布式训练和混合精度训练。本文将介绍另一种技术: 梯度检查点（gradient checkpointing）。简单的说，梯度检查点的工作原理是在反向时重新计算深层神经网络的中间值（而通常情况是在前向时存储的)。这个策略是用时间（重新计算这些值两次的时间成本）来换空间（提前存储这些值的内存成本）。

PyTorch 2.2将FlashAttention内核更新到了v2版本，不过需要注意的是，之前的Flash Attention内核具有Windows实现，Windows用户可以强制使用sdp_kernel，仅启用Flash Attention的上下文管理器。FlashAttention-2调整了算法以减少非matmul的计算量，同时提升了Attention计算的并行性（即使是单个头，也可以跨不同的线程块，以增加占用率），在每个线程块中，优化warps之间的工作分配，以减少通过共享内存的通信。

在过去的一年里，大型语言模型(llm)有了飞速的发展，在本文中，我们将探讨几种(量化)的方式，除此以外，还会介绍分片及不同的保存和压缩策略。说明：每次加载LLM示例后，建议清除缓存，以防止出现OutOfMemory错误。如果在jupyter中无法释放显存，请重启这个jupyter notebook。

这样既节省了调用API的成本，又能发挥大模型的强大能力。，最近用上了LM Studio，对比Ollama，LM Studio还支持Win端，支持的模型更多，客户端本身就可以多轮对话，而且还支持启动类似OpenAI的API的本地HTTP服务器。实测，dolphin-2.6-mistral 7B模型在我Mac M1 Max 32G的电脑上运行速度很快，生成质量不错，而且dolphin是可以生成NSFW内容的。也就是说，如果你之前做过一些应用，用的是OpenAI API的模型，那现在可以非常方便转成本地模型。

在自然语言处理领域，大型语言模型（LLM）如GPT-3、BERT等已经取得了显著的进展，它们能够生成连贯、自然的文本，回答问题，并执行其他复杂的语言任务。然而，这些模型存在一些固有的局限性，如“模型幻觉问题”、“时效性问题”和“数据安全问题”。为了克服这些限制，检索增强生成（RAG）技术应运而生。RAG技术结合了大型语言模型的强大生成能力和检索系统的精确性。它允许模型在生成文本时，从外部知识库中检索相关信息，从而提高生成内容的准确性、相关性和时效性。

同时,也与其他提示压缩方法进行了对比,如基于困惑度的LLMLingua和基于检索的方法,评估了LongLLMLingua的有效性。工作原理是,利用源文本、压缩文本、生成文本之间的子序列关系,从生成结果中恢复完整的关键名词词组,修复压缩带来的信息缺失,提高结果的准确性。通过利用粗粒度压缩模块计算出的各段落与问题的关联度,对段落进行排序,使关联度最高的段落排在最前面。关联度最高的段落压缩比率最低,依次类推。对更相关的段落使用更低的压缩比率,分配更多的保留词语预算,而对相关性较弱的段落则使用更高的压缩比率。

1. AutoGen和AutoGen Studio都是微软研究团队开发的工具，用于创建和管理AI智能体。AutoGen提供底层框架，AutoGen Studio提供直观的用户界面。2. AutoGen Studio的主要特性包括定义和修改智能体、与智能体互动、增加技能、发布会话等。3. 与CrewAI和MetaGPT相比，AutoGen Studio提供了可视化界面，对新手更友好。4. AutoGen Studio可应用于文档管理、客户服务、数据分析、教育培训、创意内容生成等场景，助力任务自动化。

需要注意的是，内存不是连续的，因此需要一个 block table 来存储内存的物理位置和实际序号的映射关系，使得在大模型中看起来是获得了一个逻辑上连续的内存。然而，由于输入可能存在重复计算，例如在输入"我是一只"后，模型返回"我是一只猫"，在输入"我是一只猫"时，又返回"我是一只猫，"，这导致了 Transformer 框架中有许多重复的计算。此外，在 BentoCloud 上，可以指定扩容的方式，可以分别为 API 指定需要扩容的节点数，或者为每个 runner 指定需要的 GPU 数量或实例数。

一、L40S解析一个朋友测试测试了4张4090和1张l40，性能。发现l40 性能训练大模型性价比超高。我就找了类似文章看看，分享一下。一、L40S解析一张硬件上比较平平无奇，但是性能与售价又惊为天人的显卡引起了我的注意。由于是未发售的企业级显卡因此只能用已有公开媒体数据做个推测。L40S，一张OEM渠道拿货就近1w美刀的被动散热卡，无NVLINK，无PCIE5.0，无HBM3显存，只有一块和4090同样的AD102核心配上几乎没眼看的GDDR6(ECC)显存。

过去针对基于证明的竞争问题的人工智能解决方案有时是碰巧的（输出有时是正确的，需要人工检查），而 AlphaGeometry 没有这个弱点：它的解决方案具有机器可验证的结构。一般的奥林匹克几何问题基于图表，需要添加新的几何结构才能解决，例如点、线或圆。在 AlphaGeometry 的研究上，DeepMind 从跨越 2000 年到 2022 年之间的 30 个奥林匹克几何问题（IMO-AG-30）的基准测试集中进行了测试，结果表明，AlphaGeometry 在比赛时间限制下能够解决 25 个问题。

目录收起1 分布式训练2 ZeRO驱动的数据并行3 全分片数据并行4 实现5 高效微调6 实践指南7 关于DeepSpeed和FSDP的更多内容OneFlow编译翻译｜杨婷、宛子琳最近语言大模型（LLM）异常火爆，一个非常特别的开源社区正在探索在消费级硬件上微调、提供服务和进行推理的最佳方式。为满足上述需求，出现了许多出色的开源代码库，以HuggingFace生态系统为中心，这些代码库还包括FastChat、Axolotl和LLama.cpp。本文专注于分布式训练策略的具体细节，特别是DeepSpeed和

现在，创建大模型的新方法还可以使用配比两个模型- 正如炼金术巫师那样。工具1 medusa：Medusa 为 LLM 添加了额外的“头”，以同时预测多个未来代币。当使用 Medusa 增强模型时，原始模型保持不变，只有新的头部在训练过程中进行微调。在生成过程中，这些头每个都会为相应位置生成多个可能的单词。然后使用基于树的注意力机制组合和处理这些选项。最后，采用典型的接受方案从候选者中挑选最长的合理前缀以进行进一步解码。mergekit。

我们可以将代理 (Agents) 视为 LLMs 的工具 (Tools)。就像人类使用计算器进行数学计算或在 Google 中搜索信息一样，代理 (Agents) 允许 LLM 做同样的事情。LangChain LLM 代理 (Agents)代理 (Agents) 是可以使用计算器、搜索或执行代码的 LLMs。使用代理 (Agents) ，LLM 可以编写和执行 Python 代码。它可以搜索信息，甚至查询 SQL 数据库。让我们看一个简单的例子。

Model，Agent， Tool，以及 Chain 的请求执行函数都接受 callbacks 参数，比如 LLMChain 的 run 函数，OpenAI 的 predict 函数，等都能接受 callbacks 参数，在运行时指定回调处理器。BaseCallbackHandler 的子类可以实现这些回调函数来处理事件，当事件触发时，LangChain 的回调管理器 CallbackManager 会调用相应的回调函数。Agent， Tool，以及 Chain 上的回调器会分别被调用相应的回调函数。

将这些提示视为您指示 ChatGPT 为所有即将到来的答案遵循的一组规则。ChatGPT 使用深度学习算法来理解自然语言。因此，您在定义这些规则时不需要非常精确。就像你在指导一个人一样与它交谈，它就会明白你想要从它那里得到什么。回复时使用诙谐的语气。回复要全面，并至少举出 3 个例子。写一篇至少 2000 字的博客文章，包括我给出的主题的介绍和结论部分。从现在开始像外星人一样跟我说话。从今以后，你的回信，都当我是你的王。当我谈论足球时，我指的是美式足球，而不是英式足球。

提示："头脑风暴5个有创意的与[主题]相关的表情或GIF的想法，我可以在Twitter和我的通讯上分享它们，增添乐趣和娱乐。提示: "帮助我为我的[插入产品或服务]阐明独特的价值主张。提示："帮助我为我的通讯创作一段与[主题]相关的引人入胜的故事，使用英雄的旅程框架来吸引和捕获我的观众。提示："使用PAS框架为[主题]写一份通讯的介绍，解决我读者面临的特定问题，加深问题，提出解决方案。提示："鉴于我当前的睡眠习惯[插入睡眠时间表和习惯]，为优化我的睡眠以提高生产力和专注力提供建议。

随后，我们提出更详细的设计需求：“在暑假进行，为期十天，课程目的是培养孩子们的探究能力、批判性思维能力、协作能力以及博物学相关的知识、测量统计技能等，结合过程性评价和终结性评价，且需要列明时间规划、需要准备的物料、背景资料。靠的是良好的人际关系和协作精神，在关键时能够得到团队的支撑和帮助。比如，一位英语教师希望学习和掌握如何在英语课堂上使用3-2-1促进学生的反思，她就可以询问ChatGPT，ChatGPT可以提供相关的案例、视频、阅读材料、在线课程、工具、平台、软件等，等等供她学习和使用。

目录收起1.1.1 提示原则1. openai的环境2. 两个基本原则3. 示例eg.1eg.2 结构化输出eg.3 模型检验eg.4 提供示例eg.5 将一个任务拆开几步去解决eg.6 指导模型解决方案并比较eg.7 局限性1.1.2 迭代优化根据产品说明书制作一份营销产品描述1.1.3 文本概括1.1.4 推断eg.1eg.21.1.5 文本转换eg.1 翻译eg.2 语义调整eg.3 翻译+纠错+风格+格式转换1.1.6 文本扩展eg.1 回复邮件。

AI工具ChatGPT的出现大幅改变许多领域的运作方式，就连「学英文」也不例外！我发现ChatGPT应用在英语的学习与教学上非常有意思。有5个应用场景我感到非常震撼：练习对话解释文法改写原文分类问题规划学习废话不多说，马上看如何使用ChatGPT提升学习效果！P.S.以下为了讲解方便，我提供的Prompt(指令)都会是中文。实际在使用ChatGPT的时候，建议都以英文跟ChatGPT交谈才能得到质量较高的回覆。

假设你是一个ChatGPT的Prompt Engineer，你有二十年工作经验,非常清楚知道通过哪些问题能够让AI提供令人满意的答案。我是向你咨询的客户，我无法清楚表达我的需求。你需要一步步通过问题引导我完成我的需求描述，使它能变成具体、简洁带有背景又详细的的Prompt。当这个任务完成之后，你再重新变成ChaGPT来解答我的问题。

网上有很多ChatGPT课程把提示词/prompt搞得神秘复杂，甚至售卖提示词合集。其实ChatGPT本身就可以是你的Prompt Engineering/提示词工程教练。把上面的提示词里的行业换成你自己的，并和ChatGPT继续深入讨论下去，就可以开始用ChatGPT本尊取代市面上很多收费的ChatGPT课程讲师了。这里有一个简单的技巧: 直接告诉ChatGPT你希望它做你的提示词教练，再告诉它你的行业背景和你希望达到的目的，然后请它告诉你什么提示词合适。

如果学生遇到困难，鼓励他们，并给他们一些思考的建议。就在这个饱含期待和挑战的时刻，OpenAI犹如一位悄悄而来的魔法师，为教育界带来了一份珍贵的礼物：一份崭新的指南，教导教师如何更高效的使用ChatGPT，以在课堂上加速学生的学习。2、生成的内容可能并不适用于所有的课堂环境，教师才是最了解自己班级的，可以在生成的内容上进行调整、定制，以确保内容对学生有益与课程目标一致。例如，您可以建议通过编写一幕他们选择的电视节目的场景、写一首关于该主题的诗歌，或者编写一篇关于该主题的短篇故事来展示您对概念的理解。

当然手工写一篇这样的文章并不难，但很耗时，还得收集故事的素材，这样一来写一篇1500字的文章也要1-2个小时，所谓时间就是金钱，每天花一两个小时在这里就是一种浪费。那么能不能利用AI的技术，快速写出一篇文章，再经过一些人工润色就能用呢，带着这个目的，我写出了一个结构化的prompt，五分钟产出一篇质量上乘的情感故事，直接看图。简单分析一下，此类文章的目标对象是中老人，喜欢阅读婆媳关系、两性关系、矛盾类的情感故事，标题党，多数带有转折或隐藏的故事，吸引点进去看全文。还是自媒体夸大其说，吸引流量。

公众号爆文有很多方向，比如情感、历史、军事、法律、社保、民生、养老金等等。​要是针对每一个细分领域都定制一个prompt，其实也不太现实，而且相关的constrains和skills未必和用户投喂的文章相契合。​如果直接输入文章，让ai直接模仿，质量非常不稳定。现在给大家分享一个我最近学习到的prompt模板直接复制就能用。

今天想和大家分享一些Chat GPT Prompt模版。Chat GPT Prompt是一种基于人工智能的文本生成技术，能够生成自然流畅的对话文本，从而实现智能问答、聊天等应用。在这里，我将为大家介绍一些常用的Chat GPT Prompt模版，希望能够帮助大家更好地利用这项技术。

OpenAI 中的文本 Embedding 衡量文本字符串之间的相关性。

在使用langchain的过程中，大模型给人留下最深刻的印象无疑是Agent功能。大模型会自己分析问题，选择合适的工具，最终解决问题。这个功能背后的原理就是来自ReAct框架。ReAct是Reasoning and Acting（也有一说是Reason Act）缩写，意思是LLM可以根据逻辑推理（Reason），构建完整系列行动（Act），从而达成期望目标。LLM灵感来源是人类行为和推理之间的协同关系。人类根据这种协同关系学习新知识，做出决策，然后执行。

1.ChatGPT Prompt提示词工程 *****

给我一份清单，列出我可以从这些表现最好的人身上学到的最重要的经验教训，以提高我的工作效率。Prompt：“我正在创建一份关于 [插入主题] 的报告。问我一系列问题来测试我的知识。Prompt：“从下面的文字分析写作风格，并写一篇关于 [插入主题] 的 200 字文章指南” [插入你的文字]Prompt：[插入问题]“给我一个解决上述问题的步骤，并清楚地说明如何执行每个步骤。Prompt：“总结[插入作者]的[插入书]，并给我列出最重要的学习和见解。Prompt：“重写下面的文字，让初学者容易理解”。

【代码】chatgpt fine-tuning 官方文档。

因为Prompt LLM的成本可能会非常的高，模型需要大量的计算或者访问商业API，除此之外，LLM往往比较依赖输入Prompt的质量，这与经过训练的模型相比不稳定。同时，由于NLP研究人员当面不同应用场景时，往往会缺少对应的标注数据来对模型效果进行验证，所以说在实现NLP模型的部署之前，系统效果的调试就存在一定的挑战性。基于以上背景，本文提出了 Prompt2Model，该系统保留了通过Prompt以轻量级方式指定系统行为的能力，同时仍然可以生成可部署的专用模型，保留了其所有优点。

选取模型的不完全：我们测试了一部分模型，但还存在着更多的可用中文大模型。选取的能力范围：我们尽可能的全面、综合衡量模型的多维度能力，但是可能有一些模型能力没有在我们的考察范围内。SuperCLUE基准计划按照月度进行更新，会纳入更多可用中文大模型，欢迎大模型研发机构联系与交流，可在下方申请评测。的可用的模型进行测评，以反映国内大模型的发展现状并了解与国际领先模型的差距或相对优劣势。，基于国内大模型研发机构的模型训练进度，模型月考与模型研发节奏保持同步。组成，用于考察大模型在70余个任务上的综合表现。