jane_xing的博客

选择LazyLLM还是Dify，取决于你的具体需求和团队背景：选择LazyLLM追求极致的开发速度和代码的轻量控制。核心需求是构建复杂的多Agent协同应用。需要深度本土化集成（如国内办公软件）。团队技术背景较强，不排斥编写少量代码。选择Dify团队中包含非技术人员，需要无代码图形化界面。希望快速搭建一个功能全面的应用，追求开箱即用。需要利用活跃的社区和丰富的现成模板来加速开发。项目对企业级支持和SLA（服务等级协议）有较高要求。

每次他完成任务后，都会和一位“导师”一起复盘，将成功的经验和失败的教训总结成一条条“作战要点”，记录到这本笔记里。Agentic Context Engineering (ACE) 为我们描绘了一个激动人心的未来：AI系统不再是静态的工具，而是能够通过持续实践，自动积累经验、自我优化的“学习型组织”。未来，最强大的AI或许不是拥有最大参数量的那个，而是配备了最优秀“ACE系统”、能够最快自我迭代的那个。于是，AI的“工作手册”在一次次的实战中变得越来越厚、越来越精，其处理任务的能力也就随之“进化”了。

思维链与规划：LLM 将复杂问题分解为一步一步的推理过程，这是决定是否使用及如何使用工具和知识库的基础。函数调用：LLM 被微调或通过提示工程学会识别何时该调用工具，并能生成结构化的参数（如 JSON）。这是工具调用的核心技术。检索增强生成：这是知识库使用的核心原理。通过在生成答案前，先从外部知识源检索相关信息，并将其作为上下文提供给LLM，从而生成更准确、更具事实性且可追溯的答案，有效缓解了模型的“幻觉”问题。智能体框架。

Model Context Protocol 允许应用程序以标准化的方式为 LLM 提供上下文，将提供上下文的关注点与实际 LLM 交互分离开来。这个 Python SDK 实现了完整的 MCP 规范，使得可以轻松地：我们推荐使用 uv 来管理你的 Python 项目。如果你还没有创建 uv 管理的项目，请先创建一个：然后将 MCP 添加到你的项目依赖中：或者，对于使用 pip 管理依赖的项目：运行独立的 MCP 开发工具要使用 uv 运行 mcp 命令：快速开始让我们创建一个简单的 MCP 服

当城市数字孪生体每日决策超过人类管理者的70%，城市治理将进入“自动驾驶”时代。这场静默的革命，正在重新定义人类与城市的共生关系。（注：本文数据来源于住建部CIM试点评估报告、IEEE智慧城市白皮书及公开招标文件）：布设12万+物联网设备，每日采集数据量相当于300部蓝光电影。：建立数据资产凭证体系，政务数据共享率从12%→78%与工业场景不同，城市级数字孪生需应对。数据层-城市数据底盘。模型层-城市仿真引擎。

智能熔断机制// 基于错误率动态调整switch {case errRate > 0.3: // 高错误率case errRate > 0.1: // 中等错误率return rand.Float32() < 0.5 // 50%概率放行default:持续性能优化使用pprof进行性能分析：关键优化点：减少内存分配（sync.Pool重用对象）避免反射（代码生成替代）并行化CPU密集型操作安全加固// 请求校验// 1. 大小限制（防止OOM攻击）// 2. 内容校验。

如果您没有静态 IP 地址，则必须在您的 hosts 文件中创建一个条目，以便 Label Studio 和您的浏览器都能访问 MinIO 服务器。更详细的说明，请参阅我们关于存储数据的指南。Label Studio 包含各种模板来帮助您标注数据，或者您也可以使用专门设计的配置语言创建自己的模板。您可以将 Label Studio 用作机器学习工作流程中的一个独立部分，也可以将其前端或后端集成到您现有的工具中。您可以在本地运行最新的 Label Studio 版本，而无需从 pypi 安装软件包。

本文为你拆解大模型技术栈，提供可落地的学习路径，涵盖硬件配置到应用部署全流程。

"""识别邮件意图并提取关键信息"""email = dspy.InputField(desc="客户邮件内容")intent = dspy.OutputField(desc="邮件类型", choices=["咨询", "投诉", "下单"])product = dspy.OutputField(desc="涉及产品名", optional=True)urgency = dspy.OutputField(desc="紧急程度1-5", optional=True)

LLaMA Factory 的出现，极大地弥合了尖端大模型技术与普通开发者、研究者乃至业务人员之间的鸿沟。它通过强大的可视化界面、高效的训练技术和灵活的部署选项，让定制专属大语言模型变得前所未有地触手可及。无论你是想探索AI前沿的研究者，还是渴望将AI能力融入产品的开发者，亦或是想用AI提升业务效率的从业者，LLaMA Factory 都为你提供了一把低门槛、高效率的“金钥匙”。别再观望，立即动手，开启你的大模型定制之旅吧！(通常包含在代码库中或 GitHub Wiki)

当配置文件是 Python 文件（.py）而非 YAML 时，我们需要采用不同的加密策略。以下是完整的解决方案，确保配置文件和主程序都能被加密并正常运行：核心解决方案1. 配置加载器实现 ()2. 配置文件示例 ()3. 主程序修改 ()4. 训练脚本适配 ()编译脚本 ()关键加密技术说明1. 配置文件动态加载机制源码模式：直接导入配置模块打包模式：使用 动态执行配置代码安全隔离：在空模块中执行配置代码，避免污染全局命名空间2. 配置文件加密处理在编译脚本中添加预

使用 Cython 实现代码加密是完全可行的，但与 Nuitka 相比有显著差异。下面我将详细分析两种方案，并提供 Cython 的实现方案。

支持自然语言描述定位 text_prompt = "the red sports car parked next to the coffee shop" # 其余代码同上...四、模型微调技巧。

vLLM 是一个专为高效部署大语言模型（LLM）设计的开源推理框架，其核心优势在于显存优化、高吞吐量及云原生支持。安装 vLLM或从源码安装最新功能：Docker 部署：使用官方镜像快速启动服务，适用于容器化环境：依赖环境从 Hugging Face 加载模型vLLM 支持直接加载 Hugging Face 托管的模型，例如：若需加速国内下载，可设置镜像源：本地模型路径若模型已下载至本地，可直接指定路径启动：三、服务启动与 API 调用启动 OpenAI 兼容服务

我们提出了一套自动化、可扩展的文本转SQL数据合成框架（如下图所示），并基于该框架发布了首个百万量级文本转SQL数据集SynSQL-2.5M。该数据集包含超过250万条多样化的高质量数据样本，覆盖16,000余个跨领域数据库。在SynSQL-2.5M基础上，我们推出了OmniSQL系列模型（7B/14B/32B三个版本）。微调过程中还融合了Spider和BIRD提供的人类标注高质量数据。论文链接: https://arxiv.org/abs/2503.02240。

示例：股票查询插件description = "查询实时股票信息"# 调用第三方APIreturn {

""",**kwargs从Weeks到Hours：开发周期数量级缩短从专家到大众：非前端工程师也能构建专业界面从演示到生产：支持从小型Demo到企业级应用行动指南尝试官方教程（30分钟入门）将现有模型转换为Web服务（1小时实践）当AI能力可以像搭积木一样快速组合，我们正站在人工智能普惠化的关键转折点。Gradio这把打开AI服务之门的钥匙，你准备好使用它了吗？

当大模型还在回答问题时，新一代AI Agent已经能自主订机票、管理股票组合、运营跨境电商店铺——这不是科幻电影，而是正在发生的技术革命。本文将深入解析AI Agent的技术本质与商业应用。

想象一个只会做数学题的天才少年，遇到语文作文就束手无策——这就是传统AI模型的真实写照。多模态大模型（Multimodal Large Model）的诞生，打破了这种"偏科"局面，让AI真正成为能看、会听、懂语言的"全能学霸"。技术定义：多模态大模型是指能够同时处理和理解多种数据模态（文本、图像、语音、视频等）的通用人工智能模型，通过深度学习架构实现跨模态信息的对齐、融合与推理。典型代表包括GPT-4V、Google Gemini、Flamingo等。核心突破视觉理解：准确识别图像中的物体、场景、文字。

以下是的定义、核心理解及应用场景的详细说明，帮助你在实际项目中合理选择和应用。

有一种可能，不需要升级cuda版本，直接更新torch版本就可以解决问题。时间原因，不做验证了。

为了了解模型的泛化能力，即判断模型的好坏，我们需要用某个指标来衡量，有了评价指标，就可以对比不同模型的优劣，对模型进行针对性地调参优化。随着机器学习在不同领域中的应用，其评价方式需要和实际业务相结合，通过确定目标来定量设计评价标准。以下总结出不同类别模型的通用评价指标。

如果要快速构建一个算法应用，便于用户在线体验算法推理效果，采用gradio是个不错的选择。然而，要集成到业务程序中，比如要支持java等语言去调用（发送请求，获取到推理结果），此时便需要将算法推理函数封装成Restful API。这里，简单总结下快速封装Restful API的步骤。业务端要做一个演示程序，里面包含一个目标检测算法，算法人员如何将自己跑在GPU服务器上的算法程序交付给业务人员呢？将算法推理函数封装成Restful API；

于是，增加了一块GPU，单个服务用两块GPU，测试后发现仅仅是显存分在两块卡上了，速度并未提升。要实现直接跳转到被分发到的服务的 IP 地址，你可以修改 Nginx 配置，使其将被分发到的服务的 IP 地址包含在 HTTP 响应头中。然后，在客户端收到响应后，可以从响应头中提取被分发到的服务的 IP 地址，并将用户重定向到该地址。最后，用户访问入口，在已有的一个前端页面上建个图标，点击图标触发nginx服务地址请求，用fetch API获取到响应头中被分发到的服务的地址，跳转过去即可。