- 博客(76)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 【大模型系列篇】大模型基建工程：使用 FastAPI 构建 MCP 服务器
FastAPI 基于 Starlette 和 Uvicorn，采用异步编程模型，可轻松处理高并发请求，尤其适合 MCP 场景下大模型与外部系统的实时交互需求，其性能接近 Node.js 和 Go，在数据库查询、文件操作等 I/O 密集型任务中表现卓越。这种架构既保留了 FastAPI 的高效开发体验，又通过 MCP 协议实现了与前沿 AI 技术的无缝对接，同时结合 Docker 和 Kubernetes 实现弹性伸缩部署，可以快速应对大模型调用量的突发增长，是构建下一代智能系统的理想选择。
2025-04-02 14:18:32
474
原创 【大模型系列篇】构建智能体MCP客户端：完成大模型与MCP服务端能力集成与最小闭环验证
上期我们通过fastmcp开发了Python版本的天气预报MCP Server，同时使用了MCP Inspector工具调试了天气预报接口，详见《使用Python开发MCP Server及Inspector工具调试》，本期我们构建MPC客户端来调用上期部署的天气预报MCP服务端，同时接入大模型对话功能。
2025-03-27 16:21:09
937
原创 【大模型系列篇】使用Python开发MCP Server及Inspector工具调试
基于fastmcp开发python版本weather mcp server， 并通过MCP Inspector连接进行调试。MCP Inspector 是专为 Model Context Protocol（MCP）服务器设计的交互式调试工具，支持开发者通过多种方式快速测试与优化服务端功能
2025-03-26 18:15:12
1202
原创 【大模型系列篇】深剖AutoGen多智能体协作框架发展脉络，快速入门简单示例
AutoGen 起初由微软研究院团队开发，最初定位为多智能体协作框架 ，通过多个 AI 智能体（Agent）的对话协作解决复杂任务。提供底层工具链，支持自定义智能体、任务分解、对话编排等，开发者可通过少量代码实现复杂流程。2024年9月，AutoGen 核心团队与微软分道扬镳，创建了原项目的GH分支。最终，在11月，他们成立了新的 AG2 GitHub 组织和新的仓库，同时接管了 PiPy 的autogen和pyautogen包。
2025-03-26 11:16:25
674
原创 【Python编程】使用python-dotenv进行高效的环境变量管理
python-dotenv 是一个 Python 库，用于从 .env 文件中加载环境变量到你的应用程序中。这是管理敏感信息（如数据库凭证、API 密钥和配置参数）的一种安全而灵活的方式，而无需将这些信息硬编码到代码中。
2025-03-25 17:18:41
274
原创 【大模型系列篇】深度解锁MCP模型上下文协议，赋能大模型玩转智能体
MCP（Model Context Protocol）是一个开放协议，用于标准化应用程序向大语言模型提供上下文的方式。可以将 MCP 想象成 AI 应用程序的 USB-C 接口。就像 USB-C 为设备连接各种外设和配件提供了标准化方式一样，MCP 为 AI 模型连接不同的数据源和工具提供了标准化方式。该协议用于将AI助手连接到数据所在系统，包括内容库、业务工具和开发环境。其目的是帮助前沿模型生成更好、更相关的响应。
2025-03-20 17:44:42
1143
原创 【大模型系列篇】硅基智能开源数字人模型HeyGem.ai，开启数字人时刻
Heygem是一款专为Windows系统设计的全离线视频合成工具，它能够精确克隆您的外貌和声音，让您的形象数字化。您可以通过文字和语音驱动虚拟形象，进行视频制作。无需联网，保护隐私的同时，也能享受到便捷和高效的数字体验。核心功能精确外貌与声音克隆：运用先进的 AI 算法，高精度捕捉真人外貌特征，包括五官形状、面部轮廓等，构建逼真虚拟模型。同时，能精准克隆声音，捕捉并还原人声的细微特征，支持多种声音参数设置，可创造与原声高度相似的克隆效果。
2025-03-19 16:19:20
1353
原创 【大模型系列篇】Claude (Anthropic) 高效智能体构建指南
智能体（Agent）可以从多个角度进行定义。一些客户将智能体定义为完全自主的系统，这些系统能够在较长时间内独立运行，并使用各种工具来完成复杂任务。另一些客户则用这一术语来描述遵循预定义工作流程的规范性实现。在大语言模型（LLMs）领域取得成功，并不是要构建最复杂的系统，而是要构建适合需求的系统。从简单的提示开始，通过全面评估进行优化，只有在简单解决方案不足时，才考虑添加多步骤的智能体系统。
2025-03-12 17:23:15
1023
原创 【大模型系列篇】解锁谷歌AI Agent智能体技术白皮书，跨入智能体时代
智能体是一种应用程序，它能通过观察周围世界，并利用其可支配的工具来实现特定目标。智能体具备自主性，能够在没有人类干预的情况下独立行动，甚至在没有明确的人类指令集时，也能主动推理下一步如何实现最终目标。智能体是有自主能力的，只要提供了合适的目标，它们就能独立行动，无需人类干预；即使是模糊的人类指令，智能体 也可以推理出它接下来应该做什么，并采取行动，最终实现其目标。
2025-03-12 13:57:20
902
原创 【大模型系列篇】GRPO算法实战-复现Qwen2.5-1.5B-Instruct的DeepSeek-R1顿悟时刻
本文将快速上手实践DeepSeek提出的GRPO算法，并手动复现DeepSeek R1论文中的模型顿悟时刻，即通过GRPO训练，让模型诞生思考链。这也是整个DeepSeek R1模型训练的至关重要的环节，也是DeepSeek R1模型为大模型技术做出的卓越贡献。不同于传统的强化学习训练算法，或者常用的PPO算法，GRPO算法更加省时高效，通过暴力枚举策略、以及自我策略对比的方法快速提升模型在推理问题上制定策略的能力。这也是目前强化学习领域、被验证的最有效的提升大模型推理能力的方法。
2025-03-06 14:41:20
1717
1
原创 【Python编程】Python交互式应用框架巅峰对决 —— Streamlit vs Gradio
Streamlit 和 Gradio 都是非常受欢迎的 Python 交互式应用框架, 但在构建 Python 交互式 Web 应用时该如何选择？Gradio 专注于为机器学习模型与数据科学应用打造交互界面。其核心优势在于能用极简代码快速创建用户友好型 AI 演示系统，因此深受 ML 研究者及从业者青睐。Streamlit 是一款开源 Python 库，旨在帮助开发者快速构建交互式数据驱动型 Web 应用。它以极简主义设计为核心，仅需数行代码即可搭建功能完整的仪表盘。
2025-03-05 15:37:54
1051
原创 【Python编程】高性能Python Web服务部署架构解析
Uvicorn是一个ASGI服务器，专为异步Web应用设计。Gunicorn是一个WSGI（Web Server Gateway Interface）服务器，适用于同步的Web应用。FastAPI + Uvicorn/Gunicorn：现代异步应用的黄金组合，兼顾开发效率和生产稳定性。Flask + Gunicorn：传统同步应用的标准选择，简单可靠但无法发挥异步性能。
2025-03-05 14:12:41
1006
原创 大模型从零开始——大型语言模型简史
「语言模型」是一种「人工智能系统」，旨在处理、理解和生成类似人类的语言。它们从大型数据集中学习模式和结构，使得能够产生连贯且上下文相关的文本，应用于翻译、摘要、聊天机器人和内容生成等领域。
2025-03-04 17:23:24
658
原创 【大模型系列篇】国产开源大模型DeepSeek-V3技术报告解析
DeepSeek-V3是一款强大的混合专家（MoE）语言模型，总参数量为671B，每个Token激活37B参数。为了实现高效的推理和成本效益高的训练，DeepSeek-V3采用了多头潜在注意力(MLA)和DeepSeekMoE混合专家模型架构，这些架构已经在DeepSeek-V2中得到了充分验证。开创了无辅助损失的负载均衡策略，并设定了多Token预测训练目标(MTP)以增强性能。
2025-03-04 15:37:37
1030
原创 【大模型系列篇】DeepSeek开源周，解锁AI黑科技
DeepSeek开源周，解锁AI黑科技。day1：FlashMLA —— GPU推理加速器，day2：DeepEP —— 专家模型通信枢纽，day3：DeepGEMM —— 矩阵运算新标杆，day4：DualPipe & EPLB —— 并行计算的交响指挥，day5：3FS & Smallpond —— 数据洪流的超导管道。
2025-02-28 15:54:20
818
原创 【大模型系列篇】初探Unsloth微调DeepSeek-R1蒸馏模型
🔥🔥🔥 本文初探使用Unsloth微调DeepSeek-R1蒸馏模型DeepSeek-R1-Distill-Qwen-7B，使用了COT思维链数据进行Lora微调，微调后模型合并权重导出，并使用llama.cpp进行gguf格式转换和量化，通过ollama创建并加载模型，进行部署。
2025-02-27 17:48:51
1837
原创 【大模型系列篇】大模型微调工具 LLama-Factory、Unsloth、ms-SWIFT
入手学习大模型微调，首先推荐功能层次封装层次较高的微调三剑客：Unsloth、 Llama-Factory和ms-SWIFT。除此之外，也可以借助更加底层的库，如peft、 LoRA、 transformer等实现高效微调。
2025-02-26 14:49:13
1738
原创 【大模型系列篇】DeepSeek团队最新研究成果——原生稀疏注意力(NSA)
长上下文建模对于下一代语言模型至关重要，然而标准注意力机制的高计算成本带来了巨大的计算挑战。稀疏注意力为在保持模型能力的同时提高效率提供了一个有前景的方向。DeepSeek团队发布的最新研究成果——原生稀疏注意力(NSA)给出了答案。DeepSeek NSA 采用动态分层稀疏策略，将粗粒度的标记压缩与细粒度的标记选择相结合，以兼顾全局上下文感知和局部精度。NSA技术能够在不依赖堆算力的情况下，让大模型在处理长上下文、推理以及模型训练时，表现出高效率和高性能。
2025-02-25 11:53:23
883
原创 【大模型系列篇】如何解决DeepSeek-R1结构化输出问题，使用PydanticAl和DeepSeek构建结构化Agent
deepseek官方明确表示deepseek-r1目前不支持json输出/function call，可点击跳转至查看。从deepseek-r1论文末尾对未来工作的展望中，我们知道deepseek团队将在deepseek-r1的通用能力上继续探索加强，包括函数调用、多轮对话、复杂角色扮演和json输出等任务上的能力。如何解决DeepSeek-R1结构化输出问题，本文将使用PydanticAl和DeepSeek构建结构化Agent。
2025-02-24 16:27:25
1171
原创 【大模型系列篇】DeepSeek-R1如何通过强化学习有效提升大型语言模型的推理能力？
DeepSeek-R1-Zero：纯强化学习，直接在基础模型上应用强化学习，不使用任何 SFT 数据。探索 LLM 在纯 RL 环境下的自演化过程，使其自主发展推理能力。DeepSeek-R1：冷启动 + 多阶段训练使用少量高质量长链思维(CoT)数据进行冷启动，预热模型。进行面向推理的强化学习，提升模型在推理任务上的性能。使用拒绝采样和监督微调，进一步提升模型的综合能力。再次进行强化学习，使模型在所有场景下都表现良好。知识蒸馏：将 DeepSeek-R1 的推理能力蒸馏到更小的模型。
2025-02-20 17:29:34
880
原创 大模型从零开始——Transformer代码解读
Transformer代码解读 - 来自哈佛大学NLP实验室关于Transformer的一篇开源博客The Annotated Transformer。由编码器和解码器组成，每个编码器层由两个子层连接结构组成：第一个子层包括一个多头自注意力层；第二个子层包括一个逐位前馈全连接层；每两个子层的前后都采用了残差连接，然后进行层归一化；每个解码器层由三个子层连接结构组成，第一个子层连接结构包括一个掩码多头自注意力子层，第二个子层连接结构包括一个多头注意力子层，第三个子层连接结构包括一个逐位前馈全连接子层。
2025-02-18 14:03:24
1245
原创 【大模型系列篇】动手实践基于DeepSeek-R1和Ollama的RAG系统
本篇我们一起聊一下如何借助当下最热的开源推理模型 DeepSeek R1 和轻量级本地 AI 模型运行框架 Ollama，构建功能强大的 RAG 系统。比较早之前我们整理过一篇关于通过部署Ollama和Open WebUI来搭建本地的问答系统，后续也基于Ollama、Dify来复刻一套私有化部署的智能问答系统。Ollama 作为一款轻量级开源框架，为在本地运行 AI 模型提供了便捷高效的解决方案，是构建本地 RAG 系统的关键一环。DeepSeek R1 在 RAG 系统构建领域脱颖而出。
2025-02-18 10:26:36
891
原创 大模型从零开始——提示工程 Prompt
Prompt 的四个基本元素——任务说明、上下文、问题和输出格式，对于大语言模型生成的效果具有显著影响。这些元素的精心设计和组合构成了 Prompt 工程的核心。在此基础上，Prompt 工程包括多种技巧和技术，如上下文学习（In-Context Learning）和思维链（Chain of Thought）等。这些技巧和技术的结合使用，可以显著提升 Prompt 的质量，进而有效地引导模型生成更符合特定任务需求的输出。
2025-01-22 16:14:10
1293
原创 【大模型系列篇】数字人音唇同步模型——腾讯开源MuseTalk
之前有一期我们体验了阿里开源的半身数字人项目EchoMimicV2，感兴趣的小伙伴可跳转至《AI半身数字人开箱体验——开源项目EchoMimicV2》，今天带大家来体验腾讯开源的数字人音唇同步模型MuseTalk。MuseTalk是一个实时高品质音频驱动的唇形同步模型，是在ft-mse-vae的潜在空间中进行训练，该模型：能够根据输入的音频修改未知的面部动作，面部区域大小为256 x 256。支持中文、英文和日文等多种语言的音频。
2025-01-14 11:14:32
2025
1
原创 大模型从零开始——高效训练技术与Megatron-Deepspeed框架预训练GPT-2模型
随着模型参数规模与数据规模的不断扩展，如何在有限的计算资源下高效地训练模型已经成为制约大语言模型研发的关键技术挑战。其中，主要面临着两个技术问题：一是如何提高训练效率；二是如何将庞大的模型有效地加载到不同的处理器中。本文我们将介绍几种常见的高效训练技术，包括 3D 并行训练、激活重计算和混合精度训练。
2025-01-02 16:05:10
1188
原创 大模型从零开始——预训练之分词 Tokenization
词元化（Tokenization）是数据预处理中的一个关键步骤，旨在将原始文本分割成模型可识别和建模的词元序列，作为大语言模型的输入数据。传统自然语言处理研究主要使用基于词汇的分词方法（Word-based Tokenizer），一些语言模型开始采用字符作为最小单位来分词（Character-而基于 Transformer 的语言模型则广泛采用子词分词器（Subword-based Tokenizer）包括BPE 分词、WordPiece 分词和 Unigram 分词。
2024-12-31 18:03:10
1614
原创 大模型从零开始——模型参数量计算
本篇我们将介绍如何计算基于Transformer架构的大语言模型的参数数量。由于当前主流的大模型普遍采用因果解码器（CausalDecoder）架构，因此下面以LLaMA2模型为范例，深入剖析其参数数量计算方式。对于其他模型，其参数量计算算法可参照此方法计算。
2024-12-31 16:45:42
2692
1
原创 【大模型系列篇】ComfyUI一键安装部署教程
如何安装ComfyUI是不是难倒了一众想体验的玩家，当然使用官方提供的整合包或者使用秋叶的一键启动器也是非常简单的。但是这次我们来体验下Docker一键安装部署的快感。当然首先我们需要在宿主机上安装好Docker以及需要让容器能访问到宿主机的GPU资源，大家可以参考之前整理的《GPU资源容器化访问使用指南》一步一步操作。
2024-12-23 11:05:32
2377
3
原创 【大模型系列篇】Xinference：让模型推理轻而易举
上篇我们通过Ollama和Dify复刻一套私有化部署的智能问答系统《构建企业级智能问答系统：Ollama + Dify + RAG 的完美组合》，我们在优化知识库需要配置Rerank模型时，发现了一个性能强大且功能全面的分布式推理框架Xorbits Inference（Xinference）。Xinference由国人开发的推理框架，可用于大语言模型（LLM），语音识别模型，多模态模型等各种模型的推理。通过 Xinference，你可以轻松地一键部署你自己的模型或内置的前沿开源模型。
2024-12-16 16:33:19
1948
原创 【大模型系列篇】Ollama、Dify和RAG：企业智能问答系统的黄金配方
比较早之前我们整理过一篇关于通过部署Ollama和Open WebUI来搭建本地的问答系统，大家可以再跳转《本地问答系统-部署Ollama、Open WebUI》来阅读内容，今天我们通过上篇介绍的Dify 《加速AI应用开发：Dify——从构思到生产的一站式解决方案》，来复刻一套私有化部署的智能问答系统。
2024-12-13 17:32:06
742
原创 【大模型系列篇】加速AI应用开发：Dify——从构思到生产的一站式解决方案
Dify 是一款开源的大语言模型(LLM) 应用开发平台，它融合了后端即服务（Backend as a Service, BaaS）和大语言模型运维（LLMOps）的理念，旨在使开发者能够快速搭建生产级的生成式AI应用。Dify 通过提供一系列工具和服务，简化了从概念到部署的整个过程，让即使是非技术人员也能参与到AI应用的定义和数据运营过程中。
2024-12-13 12:09:54
2264
原创 【大模型系列篇】AI半身数字人开箱体验——开源项目EchoMimicV2
EchoMimicV2是阿里蚂蚁集团推出的半身人体AI数字人项目，基于参考图片、音频剪辑和手部姿势序列生成高质量动画视频，确保音频内容与半身动作的一致性。EchoMimicV2在前代EchoMimicV1生成逼真人头动画的基础上，效果得到进一步提升，现在能生成完整的数字人半身动画，实现从中英文语音到动作的无缝转换。该项目采用音频-姿势动态协调策略，包括姿势采样和音频扩散，增强细节表现力并减少条件冗余。并使用头部局部注意力技术整合头部数据，设计特定阶段去噪损失优化动画质量。
2024-12-11 16:10:48
1953
原创 【大模型系列篇】LLaMA-Factory大模型微调实践 - 从零开始
前一次我们使用了NVIDIA TensorRT-LLM 大模型推理框架对智谱chatglm3-6b模型格式进行了转换和量化压缩，并成功部署了推理服务。今天我们来实践如何通过LLaMA-Factory对大模型进行Lora微调。首先我们来认识一下，它是一个在 GitHub 上开源的项目，为大语言模型（LLM）的训练、微调和部署提供了一个简便且高效的框架。该项目旨在简化和加速 LLaMA以及其他多种大型语言模型的微调过程，使得即使是非专业用户也能轻松上手。功能介绍。
2024-12-09 18:05:02
1734
2
原创 【大模型系列篇】GPU资源容器化访问使用指南
在当今的高性能计算和机器学习领域，GPU（图形处理单元）因其卓越的并行计算能力而扮演着至关重要的角色。随着容器化技术如 Docker 的普及，越来越多的数据科学家和开发者选择将他们的应用和工作负载封装到 Docker 容器中，以实现更便捷的开发、测试和部署流程。然而，默认情况下，Docker 容器是无法自动识别或利用宿主机上的 NVIDIA GPU 资源的。这一限制可能会导致那些依赖于 GPU 加速的工作负载性能大幅下降，甚至完全无法运行。
2024-12-09 16:04:57
1164
原创 全同态软硬件加速研究
主流的全同态加密方案基于容错学习问题(Learning With Errors, LWE)及其代数变体环容错学习问题 (Ring Learning With Errors, RLWE)，包括 BFV[7]、BGV[8]、CKKS[9]、GSW[10]和TFHE[11]等。这些方案各自具有优点和局限性。BGV和BFV方案适用于有限域上的计算，并具备高效的打包功能，但其不适用于具有大型乘法深度的电路或需要实现非线性函数的电路；CKKS方案可以处理实数域上的计算，但是对于整数域上的精确计算存在局限性；
2024-12-02 18:56:12
1386
原创 全同态矩阵乘法优化进展跟踪 - 从Cheetah到Rhombus
关于全同态矩阵乘法优化专题文章，内容包括Cheetah的二维卷积、Iron的矩阵乘法、BumbleBee的矩阵乘法加速、以及最新分享的安全两方隐私推理中的快速同态矩阵向量乘法 Rhombus。
2024-12-02 16:50:11
1150
原创 新一代视觉追踪模型 - SAMURAI
近日，华盛顿大学的研究团队发布了一个名为 SAMURAI 的新型视觉追踪模型。该模型基于沿的 Segment Anything Model2（SAM2），旨在解决在复杂场景中进行视觉对象追踪时所遇到的挑战，尤其是在处理快速移动和自遮挡物体时。关键是这篇文章的核心思想竟然是经典的“卡尔曼滤波”！前谷歌产品经理Bilawal Sidhu在看完论文后直呼“优雅”。
2024-11-28 17:11:48
2523
1
原创 【大模型系列篇】NVIDIA TensorRT-LLM 大模型推理框架实践
TensorRT-LLM是NVIDIA推出的一个开源库，用于定义、优化和执行大型语言模型（LLM）在生产环境的推理。该库是基于 TensorRT 深度学习编译框架来构建、编译并执行计算图，并借鉴了许多 FastTransformer 中高效的 Kernels 实现，然后利用 NCCL 完成设备之间的通讯。
2024-11-28 15:44:24
4011
原创 传说中的傅里叶变换是什么？
傅里叶变换是一种数学技术，也是整个通信行业的基石。在各个科学和工程领域都发挥着关键作用，其应用范围从信号处理到量子力学。广泛应用在图像处理、音视频处理、统计学、密码学等行业。本篇就来学习学习这个傅里叶变换。傅里叶变换以法国数学家和物理学家 Jean-Baptiste Joseph Fourier 的名字命名，是一种将信号分解为其组成频率分量的数学运算。它使我们能够分析信号的频率内容并在频域中表示它。这种转换在处理复杂信号时特别有用，因为它简化了对其基础模式的分析。
2024-11-21 14:17:48
795
原创 CKKS编码深入浅出
CKKS是将N/2个复数消息m编码到一个明文多项式，然后使用公钥进行加密，并在密文上进行同态计算。一旦消息被加密为c（一对多项式），CKKS就提供了几个可以对其执行的操作，例如加法、乘法和旋转。如果我们用表示函数f，是同态运算（加法和乘法）的组合，那么用私钥去解密，然后解码，我们将得到m。
2024-11-12 16:17:36
1117
CKKS全同态加密技术《Introduction to CKKS》
2024-10-24
大语言模型综述中文版《A Survey of Large Language Models》
2024-08-12
不经意传输协议研究综述-软件学报2023
2024-07-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人