- 博客(414)
- 资源 (5)
- 收藏
- 关注
RSS订阅
原创 《大模型AIGC》系列专栏大纲
本文系统介绍了大语言模型(LLM)及其相关技术的系列文章。第一章从LLM基础概念入手，涵盖文本向量化、ChatGPT应用、模型架构等基础知识，并针对Qwen3模型进行了6篇技术报告的深度解读。第二章聚焦RAG(检索增强生成)与Agent技术，包括RAG架构实践、知识图谱应用和多篇行业案例解析，同时包含17篇Dify框架核心源码的模块化解读。文章内容涵盖从基础理论到行业应用的全方位技术解析，为开发者提供了大语言模型技术落地的完整知识体系。
2023-09-05 11:46:30
4055
1
原创 当SQL遇上大模型：TiInsight如何让数据分析像聊天一样简单？
TiInsight是PingCAP团队推出的创新数据分析平台，通过自然语言交互解决传统数据分析痛点。系统采用分层架构设计，核心组件HDC（层次化数据上下文）通过三级处理模型（列摘要、表关系、业务语义）将复杂数据库结构转化为AI可理解的语义信息。HDC利用批量并行处理和领域知识增强技术，为数据库元素生成精准业务描述，显著提升大模型对数据库的理解能力。该技术使非技术人员也能通过自然语言查询获取数据洞察，实现从SQL编写到图表生成的全流程智能化，代表了数据分析领域的重要技术突破。
2025-11-20 16:55:53
72
原创 突破性知识图谱构建：QA驱动的大模型层次化知识图谱参数化构建的方法
本文提出了一种自动化构建多级语义知识网络的创新方法，解决了传统知识图谱构建中的三大痛点：上下文偏差、结构不可控和黑箱问题。该方法通过QA生成引擎消除跨域语义偏差，采用层次化聚类算法实现多级语义结构，并引入参数化控制系统（max_width、max_depth、max_length）确保图谱质量。技术架构包含QA生成、实体抽取、原子结点生成和层次化聚类等核心模块，支持三级溯源链路验证。在社保知识库测试中，实体准确率提升32.2%，查询延迟降低64.3%，显著优于传统RAG方案。该技术为高风险领域提供了可解释、
2025-11-20 16:53:56
122
原创 【LLaMA-Factory】显存优化黑科技 BAdam：让24G显卡训练70亿参数大模型成为可能！
内存效率：将显存需求从144GB降到24GB，降幅83%性能保持：在多项基准测试中媲美甚至超越Adam易用性：LLaMA-Factory一行配置即可启用灵活性：支持多种块切换策略和训练模式成本效益：让单卡训练70亿参数模型成为现实🚀 下一步行动建议立即尝试：在您的下一个LLM微调项目中试用BAdam深入学习：阅读BAdam论文了解技术细节参与社区：在LLaMA-Factory GitHub仓库分享您的使用经验💡 想了解更多大模型训练技巧？欢迎关注我的公众号，持续分享AI技术干货！
2025-11-04 16:37:16
119
原创 【LLaMA-Factory】 LoRA+黑科技揭秘：让LoRA微调速度提升2倍的神奇魔法！
LoRA+技术解析：大模型微调训练加速新方法 UC伯克利提出的LoRA+技术通过差异化学习率策略（矩阵B学习率是矩阵A的λ倍），显著提升LoRA微调效率。实验表明，LoRA+可实现2倍训练加速和1-2%性能提升。LLaMA-Factory已集成该技术，支持通过简单配置（如设置loraplus_lr_ratio=16）启用。其理论依据在于：大宽度网络中，矩阵B需要更快适应特征变化。该方法在保持内存效率的同时，解决了传统LoRA训练速度慢的问题，为大规模模型微调提供了高效解决方案。
2025-11-04 16:36:15
163
原创 【LLaMA-Factory】Muon优化器：大模型训练的“涡轮增压器”，训练速度提升20倍的秘密！
Muon优化器是一款革命性的深度学习优化器，通过动量正交化和牛顿-舒尔茨迭代技术，显著提升大模型训练效率。相比传统优化器，Muon创新性地解决了梯度更新方向冗余问题：它将牛顿-舒尔茨迭代算法（5-6步即可完成矩阵正交化）与自适应学习率调整相结合，使NanoGPT训练速度提升20倍。该优化器在LLaMA-Factory中实现时，智能区分2D参数（使用Muon算法）和1D参数（使用AdamW），并通过0.2*sqrt(max(A,B))公式动态调整学习率，在保持稳定性的同时大幅加速收敛。这一技术突破为大模型训练
2025-10-31 15:50:20
100
原创 【LLaMA-Factory】告别强化学习！DPO直接偏好优化原理解析，训练你的ChatGPT更简单高效
本文介绍了直接偏好优化(DPO)技术及其在大语言模型训练中的应用。DPO通过将复杂的强化学习问题转化为二分类任务，直接优化模型对优选回答的选择概率，避免了传统RLHF方法中的奖励模型训练和PPO优化步骤。文章详细解析了DPO的核心原理、损失函数实现和关键超参数调优，并通过实验对比证明了DPO在训练稳定性、实现复杂度和最终性能等方面的优势。DPO技术显著简化了语言模型偏好优化的流程，使其更易于实现且计算高效，为开发者提供了一种更简单可靠的模型优化方案。
2025-10-31 15:47:38
233
原创 【LLaMA-Factory】一文吃透Reward Model，让大模型学会“明辨是非“！
奖励模型(RM)技术解析 本专栏系统介绍了大语言模型训练中的关键组件——奖励模型(RM)，基于LLaMA-Factory实现进行技术剖析。摘要要点： 核心原理：采用Bradley-Terry概率模型和Pairwise Ranking Loss，通过σ(rA-rB)计算回答偏好概率。 架构设计：包含PairwiseTrainer训练器、数据整理模块和评估指标，使用线性层输出标量奖励值。 关键技术： 成对比较训练：前n样本为优选回答，后n为拒绝回答 损失函数：-log(σ(r_chosen - r_reject
2025-10-30 13:59:53
56
原创 【LLaMA-Factory】一文吃透近端策略优化，让大模型“自我进化“！
摘要： PPO（Proximal Policy Optimization）是强化学习中平衡探索与稳定性的核心算法，通过Actor-Critic架构实现策略优化。其核心优势在于裁剪机制限制策略更新幅度，结合优势函数评估动作价值，显著提升训练稳定性与样本效率。LLaMA-Factory中的PPO实现包含奖励计算、策略裁剪和训练循环等模块，支持多种奖励模型，为大语言模型的强化学习微调提供完整解决方案。与传统优化器相比，PPO专为强化学习场景设计，通过可控的策略更新实现更高效的模型训练。
2025-10-30 13:58:08
34
原创 【LLaMA-Factory】一文吃透SFT阶段，让大模型从“学霸“升级为“专家“！
📚 专栏推荐与SFT技术解析 专栏推荐： 本专栏系统介绍了大语言模型(LLM)技术体系，包含基础概念、ChatGPT应用、RAG架构实践等内容，并提供Qwen3模型技术报告和Dify框架源码解析，助力开发者实现技术落地。 SFT技术解析： 监督微调(SFT)是让大模型专业化的重要环节，介于预训练和强化学习之间。LLaMA-Factory的SFT实现包含三大核心组件： CustomSeq2SeqTrainer：支持FP8混合精度训练、BAdam优化器等先进技术 预测结果处理：智能生成内容并移除提示部分 预测
2025-10-28 14:21:14
419
原创 【LLaMA-Factory】一文吃透预训练阶段，让大模型从“婴儿“成长为“学霸“！
大模型预训练核心技术解析 本文系统剖析了大语言模型预训练阶段的核心技术与实现架构。主要内容包括： 预训练本质：如同人类的基础教育，通过海量无监督数据学习通用语言知识，为模型构建深层理解能力。与微调阶段相比，预训练需要更庞大的计算资源和训练周期。 LLaMA-Factory架构：展示了一个完整的预训练技术栈，包含数据处理、模型初始化、优化器配置等核心组件，形成端到端的训练流水线。 关键技术实现： CustomTrainer作为训练引擎，集成了FP8训练、BAdam优化器等先进技术 语言建模损失函数实现自回归预
2025-10-28 14:20:04
43
原创 【LLaMA-Factory】一文吃透大模型加载、改造、优化全流程，让你的模型像变形金刚一样强大！
本文深入解析了LLaMA-Factory模型处理的核心技术架构，从模型加载流程到核心组件功能。首先介绍了模型加载器（loader.py）作为"物流调度中心"，负责协调模型加载各环节；然后讲解了模型修补工（patcher.py）如何像"装修队"一样调整模型配置；最后阐述了适配器管理器（adapter.py）作为"配件安装工"，为不同微调方法安装适配器。文章通过生动的类比，系统揭示了LLaMA-Factory处理大模型的技术原理，帮助开发者理解从基础理
2025-10-24 13:19:40
405
原创 【LLaMA-Factory】一文吃透超参数配置系统，让大模型训练像打游戏一样简单！
本文深入解析LLaMA-Factory参数配置系统，将其分为四大类：模型参数（如模型路径、缓存目录）、数据参数（如数据集选择、截断长度）、微调参数（如LoRA秩、目标模块）和生成参数（如温度采样、最大token数）。通过类比的讲解方式，帮助开发者理解每个参数的功能和调整策略，为LLM模型训练和应用提供实用指导。文章采用结构化代码展示和形象比喻，使复杂的参数配置变得直观易懂。
2025-10-24 13:18:30
164
原创 【LLaMA-Factory】揭秘大模型“高考“评分系统，让你的模型实力一目了然！
大模型评估系统解析：LLaMA-Factory评估框架详解 本文深度剖析LLaMA-Factory的大模型评估系统，该系统通过三大核心组件实现精准模型评测： 评估引擎：基于Evaluator类实现批量推理与概率计算，支持多任务分解和数据集加载 模板系统：提供中英文评估模板(EvalTemplate)，灵活适配不同评测场景 数据处理：兼容HuggingFace/ModelScope数据集，实现标准化预处理 技术亮点包括： 动态Few-shot示例构造 选项概率归一化计算 批量推理优化 多语言模板支持 该评估框
2025-10-22 13:44:27
228
原创 【LLaMA-Factory】揭秘大模型训练的“食材加工“全过程！
本文深入解析了LLaMA-Factory数据模块的核心组件及其工作原理。该模块采用"中央厨房"设计理念，将杂乱原始数据转化为模型可理解的标准化格式。核心组件包括：1）数据加载器支持多源数据获取（HuggingFace Hub、本地文件等）；2）数据转换器统一处理Alpaca等多种格式；3）模板处理器适配不同模型需求；4）多模态插件处理图像、视频等多媒体数据。通过模块化设计，系统实现了从数据采集、格式转换到多模态处理的完整流水线，为大模型训练提供高质量"食材"。（148
2025-10-22 13:28:33
56
原创 【LLaMA-Factory】揭秘大模型聊天的三大核心引擎，让你的模型“开口说话“！
LLaMA-Factory Chat功能技术解析 本文深入解析LLaMA-Factory的Chat功能架构，通过统一接口设计支持三大推理引擎（HuggingFace/vLLM/SGLang）。核心采用策略模式，由ChatModel作为统一入口，屏蔽底层差异。HuggingFace引擎兼容性强，支持多模态输入；vLLM引擎优化并发与内存；SGLang支持分布式推理。系统提供流式输出、奖励评估等功能，完整实现从基础推理到RLHF训练的技术闭环，为开发者提供高效的大模型对话解决方案。
2025-10-21 13:34:56
36
原创 【LLaMA-Factory】一行代码开启大模型服务，从聊天到多模态全搞定！
本文深入解析LLaMA-Factory的API架构设计，重点介绍其OpenAI兼容协议、多模态支持和安全防护机制。文章首先概述了API的核心亮点，包括流式响应和工具调用能力。随后详细解析了基于Pydantic的协议设计，展示类型安全的数据结构定义。在多模态处理部分，阐释了文本、图像等媒体类型的处理流程。安全防护方面，重点介绍了LFI和SSRF攻击的防御策略。最后讲解了流式响应的实现，为开发者提供高性能大模型服务部署的完整解决方案。
2025-10-21 09:47:21
159
原创 【LLaMA-Factory】从模型评估到高效推理，一篇文章教你玩转AI模型全生命周期！
摘要：本文深入解析LLaMA-Factory脚本系统在AI模型开发全流程中的关键作用。通过详实的代码示例和技术指标对比，重点介绍了两个核心模块：1）模型评估工具（BLEU/ROUGE指标计算及其在医疗问答系统的应用案例），2）高效推理引擎（vLLM的批量推理性能优势及多模态处理能力）。内容涵盖从基础参数配置到工业级部署的完整知识体系，为开发者提供了一套提升模型性能与效率的实用工具链。文中包含可视化指标对比、代码级实现解析和典型应用场景，帮助读者快速掌握大模型评估与优化的核心技术。
2025-10-20 14:09:43
320
原创 【LLaMA-Factory】颠覆LoRA的新王者！PiSSA如何让大模型微调提速5倍？
摘要： PiSSA是一种基于奇异值分解(SVD)的参数高效微调技术，通过优化权重矩阵的主奇异值/向量，显著提升模型收敛速度和性能。相比LoRA，PiSSA将训练速度提升5倍，量化误差减少20%，更适合低秩微调场景。技术实现上，PiSSA对预训练权重进行SVD分解，冻结残差部分，仅优化核心主成分。LLaMA-Factory的实战代码展示了其初始化配置、SVD分解流程及量化优势。实验表明，PiSSA在GSM8K等任务上收敛更快、准确率更高，尤其与4-bit量化结合时误差显著降低，为大模型高效微调提供了新范式。
2025-10-20 11:14:32
57
原创 【LLaMA-Factory】LoftQ魔法揭秘！当量化遇上LoRA：如何让大模型“瘦身“不“掉智“？
LoftQ：量化与LoRA协同优化的高效微调技术 LoftQ（LoRA-Fine-Tuning-aware Quantization）是一种创新的大模型微调技术，通过联合优化量化与LoRA（低秩适应）缓解传统QLoRA的性能损失。核心原理是交替执行量化与SVD分解，使低秩残差补偿量化误差，从而在2-4位量化下仍保持接近全精度模型的性能。LLaMA-Factory的实践表明，LoftQ在文本理解、生成等任务中显著优于QLoRA，例如2比特量化时MNLI准确率提升3.3%。该技术尤其适合资源受限场景（如24GB
2025-10-18 16:21:49
172
原创 【LLaMA-Factory】【LLaMA Pro】大模型进化新篇章，专通兼备的智能引擎！
LLaMA Pro通过创新的块扩展技术，在保持原模型参数不变的同时插入新Transformer块，仅训练新增部分学习专业知识。这种"增高不增重"的方法解决了传统模型扩展的灾难性遗忘和高成本问题。实践表明，8.3B参数的LLaMA Pro在编程和数学任务上分别提升118%和57%，推理效率比13B模型更高。该技术已集成到LLaMA-Factory中，支持医疗等专业领域的高效适配，仅需200行代码即可实现性能跃升。
2025-10-18 16:09:27
362
原创 【LLaMA-Factory】干货！数据全解析：从零到一构建高质量训练数据集！
创建"instruction": "生成产品描述","input": "产品：智能手表，功能：健康监测、通知提醒、运动记录","output": "这款智能手表集健康监测、消息提醒和运动记录于一体..."},"instruction": "情感分析","input": "文本：'这个产品太棒了，完全超出我的预期！'","output": "积极情感，用户对产品非常满意。LLaMA-Factory的数据处理系统提供了：✅统一的数据接口- 支持多种格式和来源✅灵活的配置系统。
2025-10-17 11:51:22
68
原创 【LLaMA-Factory】3分钟上手：小白也能玩转大模型微调！（附代码）
摘要： LLaMA-Factory是一个零代码大模型微调框架，支持100+主流模型（如LLaMA3、Qwen等），提供Web UI和配置文件两种操作方式，16GB显存即可微调70B模型。其核心优势包括支持LoRA/QLoRA高效微调、多模态处理及可视化训练流程。文章以医疗问答模型为例，详细演示了数据集准备、配置训练和模型推理的全过程，并对比不同微调方式的性能差异。该工具大幅降低了大模型微调门槛，让开发者无需复杂代码即可实现专业级模型训练。 关键词： LLaMA-Factory、大模型微调、零代码、LoRA、
2025-10-17 11:11:26
401
原创 【Dify(v2.x) 核心源码深入解析】爆肝拆解！工作流引擎的Graph原来如此精妙
Dify工作流引擎采用Graph模块驱动，核心架构包含节点管理（Graph类）、边连接（Edge类）和执行引擎（GraphEngine）。引擎基于队列驱动与事件总线（GraphEvents、NodeEvents），支持多种节点类型（如LLM、Code、IfElse等）。节点执行流程规范化为统一接口，通过事件系统实现状态跟踪。性能优化方面引入工作线程池、异步I/O和结果缓存机制，并采用DAG检测确保无环执行。该设计支持高并发工作流处理，提供模块化扩展能力，是AI应用开发的关键基础设施。 关键
2025-10-13 13:24:11
54
原创 【Dify(v2.x) 核心源码深入解析】Dify Workflow Node模块深度揭秘：从0到1构建AI工作流的魔法工厂
《Dify工作流节点系统深度解析》摘要： 本文深入剖析了Dify平台的核心节点系统架构，通过三层结构实现复杂AI工作流的灵活构建。系统采用类似乐高积木的设计理念，由NodeFactory（节点工厂）、Base Node（基础节点）和Concrete Node（具体实现）组成完整体系。其中，NodeFactory作为智能工厂负责动态创建各类节点，Base Node定义统一生命周期和事件机制，而LLM节点、代码节点等具体实现则完成实际功能。文章通过代码示例和架构图解，展示了Dify如何通过模块化节点实现从简单A
2025-10-11 14:14:05
51
原创 【Dify(v2.x) 核心源码深入解析】Dify工具箱大揭秘：utils如何让你的AI应用开发效率翻倍？
Dify工具的utils子模块为AI开发提供高效工具集，包含配置管理、安全加密、消息转换等核心功能，显著提升开发效率。通过自动脱敏、租户级加密、智能类型转换等特性，帮助开发者快速构建AI应用。该模块支持OpenAPI自动解析、敏感数据保护和标准化输出，是避免重复造轮子的利器。
2025-09-29 15:33:43
185
原创 【Dify(v2.x) 核心源码深入解析】炸裂！我用 Dify 5 大神器，把 AI 变成了万能瑞士军刀！
摘要： 本文深入解析Dify工具的5大黑科技模块（Custom Tool、Plugin Tool、MCP Tool、Workflow Tool、Entities），帮助AI从基础聊天机器人升级为多功能“超级外挂”。通过代码示例和对比表格，详细展示了如何实现API快速集成、本地脚本调用、复杂流程自动化等高级功能，显著提升AI的实用性和效率。
2025-09-29 10:23:24
205
原创 【Dify(v2.x) 核心源码深入解析】工具系统深度解密：base和builtin_tool模块原来这样协同工作！
Dify工具系统解析：两大核心模块揭秘 摘要：Dify工具系统通过base和builtin_tool两大模块实现AI应用的外部交互能力。base模块定义工具规范（Tool基类、ToolProvider管理器和ToolRuntime环境），提供统一接口标准。builtin_tool模块实现具体功能（如网页爬虫、代码执行等），支持动态加载和大模型调用。系统采用分层架构设计，通过YAML配置和Python实现分离，实现灵活可扩展的工具管理。WebScraper等内置工具可自动加载，并支持LLM增强功能（如智能摘要
2025-09-23 16:17:04
74
原创 【Dify(v2.x) 核心源码深入解析】Schema系统如何让AI应用配置像乐高一样灵活？
【摘要】本文深入解析Dify平台的Schema系统架构，揭示其如何通过JSON Schema实现灵活配置管理。核心内容包含：1）Schema定义层的契约式设计，通过版本化JSON文件规范数据结构；2）动态注册表机制实现多版本共存与元数据管理；3）智能解析器自动处理$ref引用，确保验证可靠性。该系统支持零代码扩展，典型应用场景包括文件格式验证和问答结构定制，其配置驱动架构相比传统硬编码方式显著提升灵活性与兼容性。
2025-09-11 13:31:06
77
原创 【Dify(v2.x) 核心源码深入解析】Repository模式如何优雅解决数据持久化难题？
摘要： 本文深入解析Dify框架如何运用Repository设计模式实现高效数据持久化。通过定义标准接口契约（WorkflowExecutionRepository），结合工厂模式动态注入实现（如SQLAlchemy），完美解耦业务逻辑与数据存储细节。关键设计亮点包括：多租户隔离（基于tenant_id）、三级缓存优化、事务安全管理，以及领域模型与数据库模型的高效转换。这种架构不仅提升代码可维护性，还能灵活适配不同存储方案，为AI应用开发提供稳健的数据层支撑。（150字）
2025-09-09 14:33:22
136
原创 【Dify(v1.x) 核心源码深入解析】RAG双引擎：检索+分割如何让AI知识库智商爆表！
文章摘要： Dify的AI知识库处理流程分为两大核心模块：分割模块将文档智能切分为语义完整的小块，支持字符级、Token级和递归式分割策略；检索模块则通过语义搜索、全文搜索和混合搜索精准定位答案，结合智能路由系统自动选择最优知识库。两大模块协同工作，使Dify能高效处理复杂查询，成为AI领域的“最强大脑”。
2025-09-03 15:02:48
202
原创 【Dify(v1.x) 核心源码深入解析】RAG黑科技：一文吃透Models与Rerank模块的底层逻辑
《深入解析Dify RAG：从向量化到精排序的智能优化》一文深度剖析了Dify开源项目中RAG（检索增强生成）技术的两大核心模块。Models模块通过Embedding模型将文档转化为AI可理解的向量，并利用Document模型实现结构化存储，其创新的缓存机制可大幅提升处理效率。Rerank模块则采用双引擎策略（模型重排序+简单排序），通过去重处理、专业模型调用和结果重包装三步骤，从海量初检结果中筛选出最优答案。文章通过清晰的Mermaid流程图和实战代码示例，揭示了AI知识库精准应答的核心技术原理，为开发
2025-09-02 16:56:31
175
原创 【Dify(v1.x) 核心源码深入解析】RAG模块核心揭秘：Index Processor如何让你的AI知识库起飞？
《Dify的Index Processor：打造高效AI知识库的核心引擎》 本文深入解析Dify AI知识库的核心模块Index Processor，揭秘其如何通过智能文档处理技术解决AI知识库"智障"问题。Index Processor采用工厂模式+策略模式架构，提供三大索引策略：Paragraph Index按段落分割，QA Index自动生成问答对，Parent-Child Index构建层次化索引。文章详细剖析了各策略的技术实现与适用场景，并分享了多线程加速等性能优化技巧。通过对
2025-09-02 16:14:28
191
原创 【Dify(v1.x) 核心源码深入解析】揭秘AI应用背后的数据魔法：深入解析RAG模块的extractor子模块
摘要（150字）： Dify平台中的extractor子模块是RAG（检索增强生成）流程的关键组件，负责从多种数据源（如PDF、Excel、网页、Notion等）提取结构化文本。其采用工厂模式设计，核心类ExtractProcessor根据数据类型自动选择对应的提取器（如TextExtractor处理文本编码问题，PdfExtractor实现PDF分页解析与缓存）。通过统一输出Document对象格式，extractor为后续AI处理提供标准化输入，是构建知识型AI应用的"数据预处理中枢"
2025-08-28 11:47:07
123
原创 【Dify(v1.x) 核心源码深入解析】RAG的“数据心脏“：datasource模块深度解析
本文深入解析了Dify RAG架构中的核心数据处理引擎datasource模块。该模块作为RAG系统的"数据心脏"，主要承担数据接入、处理和管理的三大核心任务。文章详细剖析了其核心类结构(BaseVector、AbstractVectorFactory等)、工作流程(数据加载和检索)以及关键代码实现(向量存储创建和搜索)，并对比了多种向量数据库的特点。同时揭秘了混合搜索、智能数据更新等高级特性，以及批量处理、向量缓存等性能优化技巧。该模块通过精心设计的抽象层，为各类向量数据库提供了统一接
2025-08-27 15:56:05
95
原创 【Dify(v1.x) 核心源码深入解析】RAG 模块：Embedding、DocStore 与数据后处理三大黑科技
《大模型AIGC专栏深入解析Dify RAG核心技术》摘要： Dify平台的RAG技术通过三大核心模块实现高效智能检索：1）Embedding引擎采用双重缓存机制，结合数据库和Redis缓存，显著提升文本向量化效率；2）文档存储系统运用分层设计，支持文档主片段和子片段存储，实现精细化内容管理；3）数据后处理器通过重排和奇偶位置重排算法优化检索结果质量。该技术栈通过缓存优化、批量处理和向量归一化等策略，使检索速度提升10倍，吞吐量提高5倍，为LLM应用开发提供强大支持。
2025-08-25 15:05:30
161
原创 【Dify(v1.x) 核心源码深入解析】prompt 模块
摘要（145字）： 本文深入解析Dify框架的Prompt模块设计，涵盖模板解析、多模态消息处理和转换引擎三大核心。通过正则表达式实现变量提取与替换，支持嵌套变量和特殊语法；采用类体系处理文本/图像/音频等多模态输入；针对聊天和补全模式分别优化提示生成流程，提供企业级AI应用开发支持。关键技术包括模板解析器、PromptMessage转换和模式适配引擎，为开发者构建高效Prompt工程提供系统化解决方案。
2025-08-21 16:09:51
164
原创 深入解析 Qwen3 GSPO：一种稳定高效的大语言模型强化学习算法
本文提出GSPO算法，通过序列级重要性采样和长度归一化，解决了GRPO在语言模型强化学习训练中的稳定性问题。GSPO将重要性采样从token级别提升到序列级别，与奖励单位保持一致，显著减少了噪声累积和梯度方差。实验表明，GSPO在训练效率、稳定性方面优于GRPO，特别在处理长序列和混合专家模型时表现突出。该算法已成功应用于Qwen3模型的训练，提升了数学推理、编程和长文本生成能力，简化了RL训练基础设施设计，为大型语言模型强化学习提供了更稳健高效的解决方案。
2025-08-18 17:13:07
240
原创 【Dify(v1.x) 核心源码深入解析】plugin 模块
摘要： Dify插件系统通过模块化架构实现AI应用的扩展能力，支持工具、模型等功能的灵活集成。系统包含插件管理器、工具引擎等核心组件，采用声明文件定义插件元数据（名称、资源需求等）。安装过程由PluginInstaller管理，支持上传包或标识符安装，包含完整状态机机制。工具调用通过PluginToolBackwardsInvocation实现，提供参数传递和消息转换功能。模型插件则通过标准接口集成，开发者可扩展AI能力。该系统通过解耦设计、安全沙箱等机制，为Dify平台提供强大的可扩展性。
2025-08-12 16:19:56
181
原创 图结构知识构造方法详解 ——面向垂直领域的高效知识库构建方案
本文提出了一种基于图结构的知识构造方法，旨在解决当前大语言模型在垂直领域应用中的知识孤岛问题。该方法通过四层处理引擎设计，包含表格智能重构、网页深度提取、文本动态划分和相似问挖掘等关键技术突破。实验表明，相比传统方案，该方法在医疗、金融等领域的知识召回完整度提升33.8%-67.3%。文章还提供了快速集成示例和参数调优指南，帮助开发者快速应用该技术。
2025-07-31 16:13:05
102
SMP2020微博情绪分类技术评测数据集
2022-12-29
Spark机器学习回归模型数据集
2016-06-15
Spark机器学习文本处理数据集
2016-06-20
Spark机器学习推荐模型数据集
2016-06-18
Spark机器学习分类模型的数据集
2016-06-15
jblas-1.2.4-SNAPSHOT
2016-06-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人