- 博客(68)
- 收藏
- 关注
RSS订阅原创 Huggingface微调数据集
本文汇总了Huggingface平台上多个垂直领域的指令微调数据集。医疗领域推荐240万条中文医疗数据集和22万条医疗对话数据；金融领域提供12.2万条金融经济指令数据；数学推理包含支持CoT/PoT方法的程序化数据集；角色扮演有7千条中文多轮对话数据；安全对齐包含2万条中英文偏好数据集。但法律、代码辅助、多语言和结构化抽取领域尚未找到合适的公开指令数据集。这些数据集可用于增强大模型在特定领域的表现，涵盖医疗问答、金融分析、数学推理、角色扮演等多样化应用场景。
2026-03-20 18:35:57
574
原创 使用 PyTorch 实现 BERT 实体命名识别
本文展示了一个基于BERT的实体标准化方法，通过语义向量匹配将输入词映射到标准术语。使用中文BERT模型获取文本向量表示，预先计算标准术语及其别名的平均向量作为原型。测试显示，该方法能有效识别"大模型"、"机器学习"等术语的标准化形式，相似度分数在0.68-0.93之间。这种零样本方法无需训练，直接利用BERT的语义表示能力实现实体标准化，适用于处理未见过术语的变体形式。
2026-03-12 16:59:34
47
原创 OpenClaw 永久记忆系统技术解析
OpenClaw（Clawdbot）是一个开源本地化AI助手，采用MIT许可证，核心特性是具备永久记忆系统。与传统云端AI不同，它在用户本地设备运行，确保数据隐私和所有权。系统通过双层存储（每日日志和长期记忆）实现持久化记忆，支持语义和关键词混合搜索。架构上区分临时上下文和永久记忆，采用SQLite向量存储和智能检索机制。提供多代理隔离工作空间，支持独立记忆管理。配置灵活，包括基础设置和高级选项如上下文压缩和修剪策略，适用于不同场景需求。
2026-02-14 04:59:41
2117
原创 Python多进程与协程的混合架构设计
本文提出了一种多进程任务调度的实现方案，建议每个进程应拥有独立的事件循环和资源管理。文章通过项目框架图和代码示例展示了混合任务（IO/CPU密集型）调度器的实现，包含进程池工厂、任务调度器等组件。测试结果显示该系统能有效处理网站监控、数据处理等场景任务，并提供了任务执行统计与性能分析功能，包括任务耗时、HTTP状态码分布等关键指标。
2025-11-18 16:09:42
276
原创 Python并行机制规避策略实践
文章摘要：本文介绍了Python性能分析工具cProfile的核心用法，重点分析了如何通过调用图分析识别性能瓶颈。cProfile可统计函数调用次数、总时间和累计时间，帮助开发者定位热点函数（20%代码贡献80%性能问题），并分析函数调用关系。文中提供了完整的Profiler类实现，支持异步函数分析，可按累计时间排序显示关键函数，并自动生成优化建议（如缓存高频调用函数结果或优化计算密集型操作）。该工具无需重启服务，可在生产环境直接诊断运行中进程的性能问题。
2025-11-18 16:07:02
316
原创 Python同步vs异步性能对比实验-3
本文介绍了多进程执行测试的实现方法，使用Python的multiprocessing和concurrent.futures模块创建了两个并行处理方案：进程池执行(run_with_process_pool)和动态多进程执行(run_dynamic_processes)。这两种方法都通过4个并行进程处理HTTP请求任务，分别采用固定任务数和固定时长(10秒)两种测试模式。代码展示了如何收集请求结果、计算总耗时和平均延迟，并处理可能出现的请求超时情况。示例输出显示了各任务的ID、URL、状态码、耗时等详细信息，
2025-11-13 16:29:54
597
原创 Python同步vs异步性能对比实验-2
本文介绍了一个异步IO测试实现类AsynchronousImplementation，用于并发执行HTTP请求任务。该类提供两种执行模式：1)并发执行固定数量(100个)任务的run_concurrent_tasks方法；2)持续运行指定时长(10秒)的流式任务run_streaming_tasks方法。实现中通过TCPConnector优化aiohttp会话，使用信号量控制并发度(4个)，并包含异常处理和延迟统计功能。测试结果显示任务执行状态、总耗时和平均延迟时间，适用于模拟真实IO负载场景的性能测试。
2025-11-13 16:28:12
389
原创 Python同步vs异步性能对比实验-1
本文比较了同步与异步、多线程与多进程在I/O密集型场景下的性能表现。通过模拟真实HTTP请求负载，使用Python实现了四种测试方案：1)同步请求，2)异步asyncio，3)多线程，4)多进程。性能测试框架测量了执行时间、吞吐量、延迟及资源使用情况（CPU/内存）。关键对比点包括：同步阻塞式I/O的效率瓶颈，异步非阻塞的优势，以及多线程与多进程在并发处理上的不同特性。测试结果显示，异步I/O在高并发场景下吞吐量最高（约3.5倍于同步），而多进程内存开销最大（约400MB）。该实验为选择I/O处理策略提供了
2025-11-13 16:25:59
364
原创 Python多线程与多进程
Python中的GIL（全局解释器锁）会限制多线程执行CPU密集型任务的效率。由于GIL的存在，同一时间只有一个线程能执行Python字节码，导致多线程在CPU密集型任务中无法充分利用多核CPU。示例代码展示了ThreadPoolExecutor和ProcessPoolExecutor的执行差异：对于CPU密集型任务，ProcessPoolExecutor利用多进程避免了GIL限制，性能明显优于线程池。而ThreadPoolExecutor更适合IO密集型任务，因为线程在等待IO时会释放GIL。
2025-11-13 16:15:02
659
原创 Python的asyncio核心组件
本文介绍了asyncio异步编程的三大核心组件：1）Future对象代表未完成的计算结果，通过回调机制处理异步操作；2）Task对象是包装协程的特殊Future，用于协程的调度和执行；3）Executor机制作为同步与异步环境的桥梁，支持CPU密集型任务的并行处理。文中通过代码示例演示了Future的回调机制、Task的并发调度以及Executor处理CPU密集型任务的能力，展示了asyncio框架在I/O和CPU密集型任务中的高效应用。
2025-11-12 16:59:06
362
原创 Python异步编程核心原理：从协程到事件循环
本文介绍了Python异步编程的三大核心组件：协程、事件循环和I/O多路复用。协程通过async/await实现轻量级协作式调度，事件循环作为调度中枢负责管理异步任务，I/O多路复用则通过epoll/kqueue等机制实现高并发。文章通过同步与异步代码示例对比展示了异步编程的性能优势（完成3个耗时任务从6秒降至2秒），并深入解析了事件循环的工作机制和底层I/O多路复用过程，包括selector模块跨平台封装不同系统的I/O复用API。最后通过模拟asyncio.sleep的实现原理，展示了事件循环如何处理定
2025-11-12 16:55:28
1441
原创 基于MCP协议的多AGENT文章自动编写系统
多代理协作文章写作系统 本项目开发了一个基于MCP协议的多代理协作系统，用于完成从研究到成稿的文章写作全流程。系统包含四个专业化代理： 研究代理 - 负责收集和整理主题相关信息 撰写代理 - 根据研究数据生成文章大纲和初稿 审核代理 - 评估内容质量并提供修改建议 润色代理 - 优化语言表达和文章结构 系统接收用户问题（如"写一篇关于AI Agent的文章"）后，各代理依次协作，最终输出完整的文章文档和执行过程记录。技术实现采用MCP框架，代理间通过结构化消息通信，并实时展示协作过程。系
2025-10-16 12:48:45
709
原创 基于Langgraph构建一个小型多轮对话智能客服
本文介绍了一个基于LangChain构建的时间感知智能客服系统。该系统通过多阶段实现：首先搭建基础对话链(Prompt→LLM→OutputParser)，然后集成时间推理能力，使用户提到"昨天"等时间概念时能结合当前时间精确响应。系统包含对话记忆管理、时间上下文提取和自定义输出解析器等功能模块，支持多轮对话并保持10轮历史记录。代码示例展示了系统如何解析用户关于订单时间的查询，并基于当前日期自动计算"昨天"的具体日期，体现了时间推理的实际应用。
2025-10-16 12:46:39
620
原创 LangGraph 集成 MCP Server
FastMCP框架提供了便捷的MCP服务器创建方式。通过FastMCP类可快速搭建服务器，如示例中的"Logistics"物流服务器。该框架支持定义工具函数，如get_package_status可通过快递单号查询包裹状态。整个实现简洁高效，仅需少量代码即可完成功能开发。
2025-10-07 17:08:11
767
原创 MCP 的核心概念和例子
MCP（Model Context Protocol）是一套连接AI工具与数据源的标准化协议，其核心架构包括MCP主机、客户端、服务器三部分。服务器通过Resources（资源）、Tools（工具）和Prompts（提示）三大机制实现功能：Resources提供数据接口，Tools开放可调用API，Prompts定义交互模板。与Function Calling不同，MCP是基础设施协议而非模型能力。协议运行分为实例化、连接握手、请求处理三阶段，采用"接收-校验-分发-执行"流程。实践案例
2025-10-07 17:06:05
537
原创 主流 多Agent 协作框架
本文介绍了当前主流的四种多智能体协作框架：Autogen、CrewAI、LangGraph和多智能体系统提示词工程。Autogen框架基于论文研究，支持智能体间复杂交互；CrewAI提供结构化工作流程管理；LangGraph则专注于图形化协作。最后还探讨了多智能体系统中的提示词工程策略，包括启发式方法、任务分配、工作量调整和专用工具设计。各框架均配有相关技术文档和图示说明，为开发者提供多样化选择。
2025-09-26 11:34:58
322
原创 Autogen的多智能体系统 (MAS)
Autogen框架是一个多智能体协作系统，通过分离通信基础设施与业务逻辑实现高效协作。本文演示了两个Agent（Modifier和Checker）从10倒数到1的案例：Modifier负责数值减1，Checker检查数值是否满足终止条件。框架通过Agent运行时管理消息传递和生命周期，开发者只需关注业务逻辑实现。代码展示了Agent注册、消息传递和运行过程，最终输出验证了协作效果，成功完成倒数任务。该设计体现了核心思想：框架处理通信，Agent专注逻辑。
2025-09-26 11:31:43
1150
原创 CrewAI的多智能体系统 (MAS)
本文介绍了如何使用CrewAI框架生成商业计划概要。首先通过pip安装crewai包，然后创建三个智能体角色：市场研究员、商业策略师和商业计划撰写人。每个智能体分配特定任务：市场研究、策略制定和计划撰写。最终通过Crew协调运行，输出一份包含市场分析要点和主要策略方向的7天商业计划概要。代码示例展示了完整的实现流程，包括智能体配置、任务定义和结果输出。
2025-09-25 11:58:37
979
原创 LangGraph的多智能体系统 (MAS)
本文介绍了一个用于旅行预订的多智能体系统（MAS），通过代理间协作处理综合预订请求。系统采用移交机制（Handoff Pattern）实现代理间的控制流转，无需中央调度器。主要特点包括： 系统包含航班和酒店预订两个代理，可相互移交控制权 每个代理配备专用工具（如book_flight、book_hotel）和移交工具 移交工具通过Command对象实现节点跳转，保留完整对话历史 使用create_react_agent创建智能代理，具备思考(ReAct)能力 案例演示了用户提交包含航班和酒店需求的请求时，f
2025-09-25 11:54:32
725
原创 LangGraph实践之订单查询
本文介绍了基于LangGraph的订单查询系统实现方案。系统通过Agent自动识别用户意图，调用订单查询工具获取订单状态和物流信息，并返回自然语言回复。主要内容包括： 系统需求：支持参数校验、失败重试（最多3次）、查询结果缓存（5分钟）和明确错误提示 架构设计：采用LangGraph构建工作流，包含意图识别、参数提取、缓存检查等核心节点 数据模型：定义了GraphState、OrderInfo等核心数据结构 关键实现：通过状态图管理流程，包括参数验证、缓存管理、错误处理等机制 系统实现了从用户输入到最终响应
2025-09-24 11:11:06
801
原创 LangGraph实践之代码改进助手
本文介绍了基于LangGraph的代码改进助手实现框架，包含数据模型定义和核心节点实现。系统采用有向图工作流设计，包含需求分析、代码生成、验证检查等关键节点。数据模型定义了GraphState等核心数据结构，用于跟踪代码生成过程状态。CodeAssistant类实现了主要功能逻辑，通过条件分支控制流程走向，支持代码生成、静态检查、性能分析等操作。系统利用LLM完成需求分析和代码生成，并根据验证结果动态调整生成策略，通过反思机制实现代码质量迭代优化。整体架构层次清晰，模块化设计便于功能扩展。
2025-09-24 11:10:08
645
原创 LangGraph中的工具调用引擎设计
配置最多重试3次，间隔时间指数增长（1秒、2秒、4秒），避免雪崩效应。使用 watchdog 库监听插件目录变化，检测到代码修改后自动重载。适用于订单查询、商品信息获取等幂等性操作，显著降低后端压力。设置合理超时时间（如10秒），超时后抛出异常并提示用户。对于频繁调用且结果不变的查询类工具，启用缓存以提升性能。使用 tenacity 库实现智能重试机制，防止某个工具长时间阻塞整个对话流程。在网络波动或临时故障时自动恢复。
2025-09-23 10:56:06
509
原创 LangGraph中快照（snapshot）
如果该步骤之前尝试过，它将包含错误信息。如果图在节点内部被动态中断，任务将包含与中断相关的其他数据。借助条件边，增加 Langgraph 的健壮性。:将要在图中执行的下一个节点名称的元组。:包含有关要执行的下一个任务信息的。:与此检查点相关的元数据。:与此检查点相关的配置。: 此时状态通道的值。
2025-09-22 15:32:56
502
原创 LangGraph的RAG实现
本文介绍了基于LangChain构建的RAG(检索增强生成)系统配置流程。首先通过pip安装必要的依赖包，包括LangChain核心组件、社区模型和向量存储工具。然后配置通义千问(Qwen-turbo)作为大语言模型，并设置JSON输出模式。系统实现了文档处理流程：使用WebBaseLoader加载网页内容，通过RecursiveCharacterTextSplitter进行文本分割，并利用NomicEmbeddings生成向量存储。核心功能模块包括：1)路由系统，根据问题类型决定使用向量存储或网络搜索；2
2025-09-22 15:29:01
831
原创 LangGraph 进阶学习
通过组合 Nodes 和 Edges，您可以创建复杂、循环的工作流，使 State 随时间演进。然而，真正的力量来自于 LangGraph 如何管理 State。需要强调的是：Nodes 和 Edges 不过是 Python 函数——它们可以包含一个 LLM，也可以只是普通的 Python 代码。简而言之：节点完成工作，边指示下一步该做什么。
2025-09-18 17:01:23
986
原创 LangGraph 简单入门介绍
LangGraph 是基于 LangChain 生态的智能体框架，采用图架构设计，将智能体的工作流程抽象为由节点和边构成的有向有环图。
2025-09-18 16:58:26
2117
原创 终于成为LlamaIndex的贡献者！
摘要：作者成功成为LlamaIndex贡献者，开发了一个基于PaddleOCR的PDF阅读器，支持图片文字识别。该工具已发布至LlamaHub，提供pip安装方式和简单调用示例。虽然文档尚待完善，但功能已实现，可处理含图文混合的PDF文件。作者欢迎用户反馈，并计划后续分享贡献经验教程。
2025-09-17 11:56:20
361
原创 基于 AutoGen 框架实现 - 电商客服订单处理演示
本文介绍了一个企业级客服系统的框架设计，基于Python实现。系统包含以下核心组件： EnterpriseDataService类：模拟企业数据服务，提供订单、库存和物流信息的查询与更新功能，包含4个核心方法： get_order_info() 查询订单详情 get_inventory_info() 查询库存状态 get_logistics_info() 查询物流信息 update_order_status() 更新订单状态 多角色智能体系统： 客服接待员：负责初步问题分类和信息收集 订单查询专员：处理订单
2025-08-15 16:54:36
1329
原创 利用Python写一个简化版AI Agents
AI Agents是在大语言模型(LLM)基础上增加工具使用、记忆和规划功能的智能实体。本文通过Python代码演示了AI Agents的核心功能：1)工具使用，展示了时间查询和计算器两个工具的实现；2)记忆功能，通过对话历史实现上下文理解；3)规划能力，模拟智能体的决策过程。与单纯LLM相比，AI Agents能主动调用工具、存储记忆并制定计划，更接近真正的智能行为。代码示例采用LangChain框架，展示了如何构建具有工具选择和执行能力的简化版Agent系统。
2025-08-15 16:43:41
1214
原创 OpenManus极速部署指南：从零到AI智能体实战
这是一个简洁的实现方案，使用起来可能会不太稳定，比如说定位本地位置时，经常输错位置，或者找不到位置，然后用默认NewYork代替…虽说山寨Manus, 而且不稳定， 但实践思路很值得我们学习。
2025-03-10 10:04:42
2325
原创 基于Prometheus+Grafana的Deepseek性能监控实战
在/data/sda/deploy/vllm/prometheus 文件夹下面创建 prometheus.yml 文件。传统监控方案难以捕捉LLM服务特性，本文将展示如何构建针对vLLM的定制化监控体系。(这里用http://localhost:3008/login 貌似是有点问题的)访问 http://192.168.0.110:3008/login。连续批处理：动态合并请求，GPU利用率提升至92%+智能警报路由：支持分级通知（企业微信/邮件/短信）Deepseek：大语言模型（可替换本地大模型）
2025-03-07 08:06:14
2973
2
原创 Manus：技术突破还是营销泡沫？一场关于AI Agent的争议风暴
Manus的横空出世，既折射出中国AI团队在应用层的创新能力，也暴露了技术宣传与市场现实的落差。其究竟是AGI里程碑还是泡沫化产物，仍需时间验证。对于普通用户，可将其视为一种“增强型工具”而非革命性突破；对于行业观察者，则需关注其后续技术透明度、用户反馈与商业化落地能力。正如某业内人士所言：“AI的星辰大海需要真金白银的技术，而非自嗨的营销。
2025-03-07 08:02:09
2143
原创 在Ubuntu 20上使用vLLM部署DeepSeek大模型的完整指南
前言随着大语言模型（LLM）的快速发展，如何高效部署和运行这些模型成为开发者关注的重点。本文将演示在Ubuntu 20系统环境下：使用huggingface-cli下载DeepSeek模型通过vLLM实现高性能模型推理创建简单的API服务环境准备系统要求NVIDIA显卡驱动 ≥ 515.48.07CUDA 11.8+基础依赖安装。
2025-02-22 13:02:45
7869
1
原创 Python并发编程实践：asyncio与多进程深度解析
在单核处理器时代，程序性能提升主要依赖时钟频率的提升。但随着摩尔定律逐渐失效（2005年后CPU主频增长停滞），单核性能提升空间收窄至每年约3%。结构化并发：引入类似Trio的nursery概念，确保所有子任务在父任务退出前完成。分布式任务队列：集成Celery与asyncio，支持跨节点任务分发。跨语言互操作：通过PyO3与Rust集成，提升异步任务性能。性能优化：asyncio核心性能提升40%适用场景：GUI事件处理、轻量级IO任务。优势：超高并发密度（可管理10K+任务）
2025-02-22 12:55:19
1288
原创 部署LLM模型到云端
压测实验结果显示，由于本地设备算力有限，本地部署的模型服务无法满足低延迟和高并发的需求。针对这类线上业务，可以考虑云端部署。下面先来看看本地部署和云端部署的特点对比。由上可知，相比本地部署，云端部署提供了高可扩展性、灵活的资源管理以及稳定的服务，从而能够快速适应业务变化。此外，线上模型服务还需要解决模型管理问题，如上线与下线、扩缩容和推理加速策略等，因此，云上部署是更优的选择。下面将介绍四种常见的阿里云部署平台，支持不同的模型部署需求，帮助你快速搭建模型服务。
2025-02-07 23:33:10
1585
原创 通过vLLM部署LLM模型到生产环境中
./output/qwen2_5-1_5b-instruct/v0-202xxxxx-xxxxxx/checkpoint-xxx-merged”：替换为真实的微调模型路径。该服务提供的HTTP接口兼容OpenAI API，可以通过调用HTTP接口，如/v1/chat/completions，让你快速体验大模型的推理能力。然后，在终端窗口执行wrk压测命令，分别设置chat接口的并发量(-c)为1和10，压测时间(-d)均为10s，观察两个实验的压测结果。请注意，关闭终端窗口将会立即终止服务。
2025-02-07 23:20:41
2585
原创 大模型高级工程师实践 - 将课程内容转为视频
当前的大模型文生视频或图生视频方案还不足以直接生成符合我们预期的科普课程视频，因此，我们会采用传统的方案，使用音视频处理工具进行合成。本次课程除了上次课程用到的 moviepy 外，你还将用到以下工具：ffmpeg：一个开源的跨平台音视频处理工具，它提供了强大的音视频编解码功能、转换格式、录制和流媒体功能。FFmpeg 包含了丰富的命令行工具和库，使用户能够灵活地处理各种媒体文件。
2025-02-04 10:35:10
1592
原创 大模型高级工程师实践 - 将课程内容转为音频
除了之前用到的 Qwen-Max， 本次课程你将用到以下模型和工具：CosyVoice：CosyVoice 是通义实验室依托大规模预训练语言模型，深度融合文本理解和语音生成的新一代生成式语音合成大模型，支持文本至语音的实时流式合成。moviepy：一个 Python 库，用于视频编辑和处理。它提供了许多方便的功能，可以帮助开发者创建、修改和合成视频文件。
2025-02-04 10:20:38
1638
360文档布局分析模型，用于文档布局分析
2025-01-16
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人