茶香奶甜-优快云博客

原创 LangChain从入门到实操全攻略（二）：智能体

LangChain智能体是一个让AI从"只会聊天"升级为"能执行任务"的强大工具。它通过将大语言模型(LLM)作为"大脑"，结合各种功能工具作为"手脚"，实现了自动规划任务、调用工具和处理错误的智能系统。核心组件包括模型(决策大脑)、工具(执行能力)、系统提示(行为准则)和中间件(功能扩展)。文章提供了三个实操案例：从最简单的纯对话智能体，到带天气查询和搜索功能的工具型智能体，再到具备错误处理能力的智能体。还介绍了进阶技巧如动态

2025-12-25 21:35:23 612

原创 LangChain快速入门（一）：打造智能天气助手

本文介绍了使用LangChain和Anthropic构建AI天气代理的全过程。首先说明基础环境配置方法，包括依赖安装和API密钥设置。然后详细演示了从简单到高级的代理开发：基础版本仅包含单一天气查询工具，而高级版本实现了多工具协作、结构化输出、对话记忆等特性，并通过双关语增强交互趣味性。文章提供了完整的代码示例，包括系统提示词定义、工具函数创建、模型参数配置等关键步骤，最后给出了运行结果和优化建议（如持久化存储、错误处理等），为开发者构建生产级AI代理提供了实用指导。

2025-12-25 11:23:39 532

原创 langchain1.0版本学习笔记（还有langchain、langGraph、deepAgents区别）

本文介绍了智能体开发工具LangChain 1.0的学习指南。作者建议先通过本文笔记入门，再查阅官方文档深入学习。文章详细演示了从环境配置到模型部署的全流程，包括Anaconda环境创建、服务器部署等步骤。重点通过"开奶茶店"的比喻，生动阐释了LangChain、LangGraph和DeepAgents三者的区别：LangChain提供基础组件和连接功能，LangGraph负责流程编排，DeepAgents则实现自主决策。本文为开发者提供了实用的技术入门指导，帮助理解不同层级工具在智能体

2025-12-21 12:15:49 778

原创 EvalScope新手笔记：参数全解析+直接能用的实操示例

本文为EvalScope大模型评测工具的新手入门指南。作者以自身经历出发，用通俗语言拆解核心参数：1)模型相关参数(名称/路径/API)；2)推理参数(temperature/max_tokens)；3)数据集参数(名称/数量限制)；4)评测参数(类型/批量大小)。提供两个典型示例：本地模型评测和在线API评测，并给出新手避坑建议：从简单数据集入手、检查模型名称、调整批量大小等。全文强调实操性，建议新手先掌握核心参数再逐步深入，无需死记硬背所有选项。

2025-12-17 15:39:38 1421

原创 verl框架一站式教程（支持新手小白）

VERL是一个专为强化学习设计的开源框架，专注于解决模型微调中的关键挑战。该框架基于HybridFlow论文实现，具有三大核心优势：1）支持灵活扩展各类RL算法；2）可无缝集成主流LLM基础设施（如FSDP、Megatron-LM等）；3）提供高效的设备映射方案，优化资源利用。框架包含PPO算法实现、分布式训练支持（基于Ray）、多模型适配（如Llama、Qwen2）等核心模块，通过DataProto协议实现高效数据传输。VERL特别强调训练性能，采用3D-HybridEngine技术显著降低通信开销，实现

2025-12-17 11:10:46 934

原创实用教程：Dify 工作流无缝转 OpenAI 格式！Dify2OpenAI 部署 + 对接 + 问题排查全攻略

Dify2OpenAI网关解决方案：让Dify工作流完美兼容OpenAI标准本文介绍了Dify2OpenAI网关服务，它能将Dify的API转换为OpenAI标准格式，解决Dify原生API不兼容主流AI客户端的问题。相比官方插件，该方案支持Chat/Completion/Agent/Workflow全类型，具备流式传输功能，且更安全可靠。文章详细讲解了Docker部署步骤、Dify对接配置方法（以CherryStudio为例）以及常见问题排查技巧，包括端口设置、变量匹配、API密钥安全等核心要点。通过这

2025-11-24 11:48:01 965

原创新手小白——docker速成理解（适用于速成dify开发基础）

Docker 是一个解决"在我机器上能跑"问题的工具，通过将应用及其依赖打包成轻量级容器，实现环境一致性。核心概念包括镜像（静态模板）和容器（运行实例），通过常用命令如 docker pull/run/ps 可管理镜像和容器。内网环境下需注意镜像离线传输（save/load）、网络配置（端口映射）和资源控制（CPU/内存限制）。Docker 实现了"一次打包，到处运行"，极大简化了开发和部署流程。

2025-11-13 15:25:57 741

原创超详细！Linux 解决 address already in use ，ss/netstat 命令全流程

Linux系统查看端口占用及释放方法摘要在Ubuntu/Linux系统中，可通过ss（推荐）或netstat命令查看端口占用情况。关键命令：查看所有端口：ss -tuln 或 netstat -tuln 查看进程信息：sudo ss -tulnp 查找特定端口：ss -tulnp | grep 端口号释放端口步骤：查找进程ID：sudo ss -tulnp | grep 端口号终止进程：sudo kill PID（强制终止用-9）验证：再次查询确认端口释放 ss命令比netstat更高效，是现代

2025-08-19 16:34:43 1080

原创 Linux-ubuntu操作教程——适合小白入手的教程，带你从入职开始！（二）

本文是Linux命令教程的第二部分，主要介绍压缩解压命令和文件搜索命令的实战用法。在压缩方面，详细对比了zip和tar两种主流方式的适用场景：zip适合跨平台共享（支持密码保护），而tar更适合系统备份（保留完整元数据）。文章提供了zip/unzip和tar命令的典型用法示例，包括创建加密压缩包、分卷压缩等实用技巧。在搜索方面，重点讲解了grep（内容搜索）和find（文件搜索）这对"搜索双雄"的搭配使用，并结合管道命令展示高级搜索方法。最后介绍了nohup和tail命令的妙用组合，实现

2025-07-17 16:28:21 975

原创 Mcp以及代码编程新手必看：Python文件名避坑指南/处理报错：no moudle named mcp.server

文件命名导致Python模块导入冲突的常见问题：当脚本文件(mcp.py)与导入的包(mcp)同名时，会导致自引用错误。解决方法是将脚本重命名为其他名称(如mymcpwork.py)，避免与导入包重名。这是一个新手容易忽视但非常重要的编程细节，提醒开发者注意文件名与导入包的命名冲突问题。（98字）

2025-07-10 15:31:15 586 1

原创 Linux-ubuntu操作教程——适合小白入手的教程，带你从入职开始！（一）

这里说明一点，在linux当中运行命令如果报错了那就是失败了，如果没有没有报错大多数情况下命令都是有效运行的，这也就是在Linux中“没有坏消息就是好消息”。

2025-07-05 20:22:01 1793

原创 Jupyter Notebook 登录报错 Invalid credentials？端口冲突等深层原因与解决策略

Jupyter端口登录失败通常是端口冲突导致的，在多人共用服务器时尤为常见。当默认8888端口被占用，新启动的Jupyter服务虽能生成tokens却无法响应请求。排查需检查端口占用情况（lsof/netstat命令），解决方案包括：1)指定新端口启动；2)管理员终止冲突进程；3)规划端口分配区间。预防措施建议：绑定具体IP、定期清理僵尸进程、使用SSH隧道替代直接映射。对于长期多人协作环境，部署JupyterHub是更优解。理解这些资源管理要点，能有效从被动排错转向主动预防。

2025-07-02 16:09:58 651

原创三行代码教你远程服务器运行llamafactory

本文摘要：介绍了使用LLaMA-Factory时的显卡配置和远程连接方法。首先通过CUDA_VISIBLE_DEVICES设置使用的显卡（如0,1,2号卡），然后通过SSH命令建立本地与远程服务器的端口转发连接（如7860端口）。最后在激活llamafactory虚拟环境并进入工作目录后，运行llamafactory-cliwebui启动可视化界面。这些步骤确保了多显卡环境下的正确配置和远程访问能力。

2025-06-17 11:34:40 711

langchain-begin.zip（langchain快速入门代码合集）

是langchain快速入门的代码，其中的total.py是总览代码

2025-12-25

GSM8K-zh.json

人工智能数据集

2025-12-17

人工智能基于强化学习的大模型工具集成推理框架：ToRL在数学问题求解中的应用与性能优化研究

内容概要：本文提出了一种名为ToRL（Tool-Integrated Reinforcement Learning）的新框架，旨在通过直接从基础模型出发进行大规模强化学习，训练大语言模型（LLMs）自主集成并利用计算工具解决复杂任务，特别是在数学推理领域。与依赖监督微调（SFT）的传统方法不同，ToRL允许模型在无预设模式限制的情况下自由探索最优的工具使用策略。实验基于Qwen2.5-Math系列基础模型，在AIME等高难度数学基准上显著超越了现有方法，其中ToRL-7B在AIME24上达到43.3%的准确率，比未集成工具的RL模型高出14%，优于最佳TIR模型17%。研究还揭示了多种涌现的认知行为，如战略性调用工具、自我调节无效代码生成以及在计算与分析推理间动态切换，这些能力均通过奖励驱动学习自发形成，而非模仿人类设计模式。作者开源了全部实现、数据集和模型。适合人群：从事大语言模型研究与开发的研究人员、自然语言处理方向的研究生、关注AI推理能力提升及强化学习应用的技术人员。使用场景及目标：① 探索如何通过强化学习增强LLMs对工具（如代码解释器）的自主使用能力；② 理解模型在无监督条件下如何演化出复杂的认知行为（如反思、交叉验证）；③ 构建高性能数学推理系统，推动AGI在复杂问题求解中的发展。阅读建议：建议结合开源代码深入理解ToRL的实现细节，重点关注其奖励机制设计、沙箱环境集成方式以及训练效率优化策略；同时可通过复现实验分析不同超参数（如最大工具调用次数C）对性能的影响。

2025-12-17

CoRTCode-integratedReasoningwithinThinking（阿里文章类似于交大的工作）.pdf人工智能基于提示工程的代码集成推理框架：大规模语言模型数学解题能力优化系统设计

内容概要：本文提出了一种名为CoRT的后训练框架，旨在提升大推理模型（LRMs）在数学复杂运算中的效率与准确性。通过引入“提示工程”（Hint-Engineering）方法，在推理过程中关键位置插入人工设计的提示语，引导模型高效调用代码解释器（CI）进行计算，避免冗余的文字推导和对代码结果的不必要验证。研究基于少量高质量人工标注数据（仅30个样本），结合监督微调（SFT）、拒绝微调（RFT）和强化学习（RL），显著提升了模型性能。实验表明，该方法在多个数学推理基准上取得4%-8%的绝对准确率提升，并减少30%-50%的token消耗，尤其在32B和1.5B参数规模的模型上验证了其有效性与可扩展性。; 适合人群：从事人工智能、自然语言处理或大模型研发的研究人员与工程师，尤其是关注推理能力优化、工具集成、高效微调策略的技术人员；具备一定机器学习基础并希望深入了解大模型与外部工具协同机制的研究生或从业者。; 使用场景及目标：①解决大模型在复杂数学运算中效率低、易出错的问题；②探索如何通过少量高质量数据指导模型有效利用外部工具（如代码解释器）；③优化模型推理过程中的token利用率，降低计算成本；④为构建高效、可靠的数学推理系统提供可复现的技术路径。; 阅读建议：本文技术深度较高，建议读者结合论文中的图示（如图2训练框架、图3对比示例）和附录中的详细实验设置进行精读，重点关注提示工程的设计逻辑、RFT的数据过滤策略以及RL阶段的奖励机制设计。同时，可参考开源代码（GitHub链接见文末）进行实践复现，深入理解各模块的实际效果。

2025-12-17

人工智能基于强化学习的代码集成推理框架：数学复杂任务求解能力增强方法研究

内容概要：本文研究了代码集成推理（Code-Integrated Reasoning），即模型在必要时生成代码并通过代码解释器执行以整合反馈的推理方式。作者提出了一种增强的工具增强型强化学习（RL）训练策略，通过平衡探索与稳定性来提升模型在数学推理任务中的性能。该方法在五个主流数学推理基准上显著优于多个基线模型，并系统分析了代码集成如何扩展模型能力边界、提高推理效率，以及非可执行代码对推理路径的潜在积极作用。此外，文章还探讨了不同问题类型（如代数、几何等）中代码集成效果的差异。所有数据和代码已公开，便于复现与后续研究。; 适合人群：具备自然语言处理与强化学习基础知识的研究人员，尤其是关注大模型推理能力提升、工具调用机制及数学问题求解方向的高校学者与工业界AI工程师。; 使用场景及目标：①用于构建具备代码执行能力的高级推理模型；②研究如何通过外部工具增强提升大模型在复杂任务中的准确性与效率；③分析代码生成与执行在数学推理中的作用机制，优化训练稳定性与推理路径质量。; 阅读建议：此资源强调方法论创新与实证分析的结合，建议读者重点关注其提出的探索-稳定性平衡策略（如渐进式交互预算、KL项移除、精确匹配边界等），并结合实验部分深入理解代码集成对不同问题类型的适应性差异，同时可利用开源资源进行复现实验以加深理解。

2025-12-17

HybridFlow-A-Flexible-and-Efficient-RLHF-Framework.pdf【大模型对齐】基于混合控制流的高效强化学习框架：面向分布式RLHF的数据流优化与执行

内容概要：本文提出了一种灵活且高效的强化学习从人类反馈（RLHF）框架——HybridFlow，旨在解决现有RLHF系统在表达灵活性和执行效率方面的局限。HybridFlow采用混合编程模型，结合单控制器与多控制器范式，通过分层API解耦并封装复杂的分布式计算与数据依赖关系，支持多种RLHF算法的数据流构建。同时，设计了3D-HybridEngine以实现Actor模型训练与生成阶段之间的零内存冗余和低通信开销的参数重分片，并提出了自动映射算法优化GPU资源分配与模型部署。实验表明，HybridFlow在不同模型规模和集群配置下相较主流基线系统实现了1.53倍至20.57倍的吞吐量提升。; 适合人群：从事大语言模型训练、分布式系统或强化学习研究的研发人员，尤其是关注RLHF高效实现的技术工程师和科研学者。; 使用场景及目标：① 构建多样化的RLHF算法数据流（如PPO、ReMax、Safe-RLHF）并实现高效运行；② 在大规模分布式环境下优化模型并行策略、设备放置与通信调度，提升训练吞吐量；③ 研究Actor模型在训练与生成间的高效切换机制及资源利用率优化。; 阅读建议：此资源侧重于系统架构设计与性能优化，建议结合源码（已开源）深入理解HybridFlow的层级API、转移协议设计以及3D-HybridEngine的工作流程，重点关注其如何平衡灵活性与效率，适用于希望提升RLHF工程化能力的研究与实践者。

2025-12-17

CIR-main（基于verl框架的强化学习项目）

人大出品的项目，适合学术研究以及实际测试应用，想学习verl框架和强化学习的朋友可以下载查看

2025-12-17

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人