- 博客(54)
- 收藏
- 关注
RSS订阅原创 Agno Infra 源码解读报告
Agno Infra 是一个轻量级框架和 CLI 工具，用于以声明式 Python 代码定义、创建、更新和销毁跨 AWS/Docker 平台的 AI Agent 基础设施。# 调用父类获取基础资源 (Network + Container)# 添加自定义资源。
2026-07-31 18:37:57
184
原创 微调数据集（主流开源模型）
要点说明格式收敛ChatML (Messages) 正成为事实标准，Alpaca 和 ShareGPT 可转换为此格式手动准备的核心标准化 → 应用 Chat Template → 掩码非 Assistant 部分 → 构建 Dataset模型适配不同模型有不同特殊 token，务必使用其 Instruct 版 Tokenizer 的测试数据集使用no_robots（Alpaca）、（切片）、（DPO）快速验证商业智慧质量>数量，脱敏不可少，数据飞轮持续迭代，RAG 与微调各司其职。
2026-07-21 15:40:25
224
原创 新的记录开始
AI 时代，博客 的阅读性已经大大降低了；但记录 对于我这样的一线员工还是重要的。我希望在这里记录自己学习成长，点点滴滴，能日更最好。
2026-07-21 14:50:41
166
原创 ShareGPT 数据集格式
ShareGPT 格式以其极简性和高适应性成为开源社区对话微调数据的首选结构（Alpaca、Vicuna、UltraChat 等均受其影响）。对话列表是灵魂。角色字段from定身份，value定内容。模板转换：加载后适配目标模型的 chat template 再送入训练。2026-07-21（二）
2026-07-21 14:08:24
233
原创 modelscope - 使用 GPU 资源（Notebook）
进入我的Notebook 页面，即可看到免费试用的 CPU 和 GPU，GPU 是有额度的。2026-03-24（二）
2026-03-24 20:10:31
99
原创 Triton - 官方文档介绍
教程向量加法计算内核性能基准测试融合Softmax动机计算内核单元测试基准测试矩阵乘法动机计算内核指针运算L2缓存优化最终结果单元测试基准测试方阵性能测试低内存消耗的Dropout实现基准实现种子化随机丢弃练习参考文献层归一化动机反向传播基准测试参考文献融合注意力机制Libdevice (tl.extra.libdevice) 功能asin 内核使用默认的 libdevice 库路径自定义 libdevice 库路径分组GEMM持久化矩阵乘
2026-03-24 14:44:00
414
原创 Triton 教程示例
教程向量加法计算内核性能基准测试融合Softmax动机计算内核单元测试基准测试矩阵乘法动机计算内核指针运算L2缓存优化最终结果单元测试基准测试方阵性能测试低内存消耗的Dropout实现基准实现种子化随机丢弃练习参考文献层归一化动机反向传播基准测试参考文献融合注意力机制Libdevice (tl.extra.libdevice) 功能asin 内核使用默认的 libdevice 库路径自定义 libdevice 库路径分组GEMM持久化矩阵乘
2026-03-24 14:20:33
448
原创 LangGraph 1 - 使用 create_react_agent 创建 Agent
3、大模型根据结果，总结，返回给用户。1、走到大模型，选择工具、生成参数。2025-06-13（五）2、运行工具，返回结果。
2025-06-13 12:27:15
740
原创 SWIFT - 轻量级微调模型框架 [魔搭]
🍲 ms-swift是魔搭社区提供的大模型与多模态大模型微调部署框架，现已支持450+大模型与150+多模态大模型的训练（预训练、微调、人类对齐）、推理、评测、量化与部署。其中大模型包括：Qwen2.5、InternLM3、GLM4、Llama3.3、Mistral、DeepSeek-R1、Yi1.5、TeleChat2、Baichuan2、Gemma2等模型；
2025-04-06 10:06:29
6962
原创 DualPipe - 双向管道并行算法
它实现了正向和反向计算-通信阶段的完全重叠，同时也减少了管道气泡。有关计算-通信重叠的详细信息，请参阅。我们省略了它们的批次ID以简化说明。两个由共享的黑边包围的单元格。示例：针对8个PP排名和20个微批次的两个方向的双向管道调度。DualPipe 是一种创新的双向管道并行算法，在。注意：对于实际应用，您需要实现一个定制的。方法，该方法针对您的特定模块进行定制。微批次的反向与正向是对称的，所以。2025-03-02（日）已有相互重叠的计算和通信。
2025-03-02 12:58:12
514
原创 DeepEP - 针对混合专家（MoE）和专家并行（EP）的通信库
一、关于 DeepEP二、性能1、带有 NVLink 和 RDMA 转发的常规内核2、低延迟内核，纯RDMA三、快速开始1、需要2、下载并安装 NVSHMEM 依赖3、开发4、安装四、网络配置1、交通隔离2、自适应路由3、拥塞控制五、接口和示例1、在模型训练或推理预填充中的示例用途2、在推理解码中的示例使用六、通知未定义行为的 PTX 使用自动调优您的集群
2025-03-02 12:51:25
1584
原创 DeepGEMM - FP8 通用矩阵乘法
一、关于 DeepGEMM二、性能正常的 GEMMs 用于密集模型分组 GEMMs 用于 MoE 模型（连续布局）分组 GEMMs 用于 MoE 模型（掩码布局）三、快速开始1、需求2、开发3、安装四、接口1、通知2、正常的密集 GEMMs（非分组）3、分组 GEMMs（连续布局）4、分组 GEMMs（掩码布局）5、工具五、优化1、持久 warp 特殊化2、Hopper TMA 功能3、常见细节优化4、一个统一且优化的块调度器5、完全 JIT 设计 🐳6、不对齐的
2025-03-02 12:09:39
1435
原创 Fire-Flyer 文件系统
一、关于 Fire-Flyer 文件系统二、性能1. 峰值吞吐量2. 灰色排序3. KVCache三、查看源代码四、安装依赖项五、构建 3FS六、运行一个测试集群
2025-03-02 11:58:55
1048
原创 FlashMLA - 针对 Hopper GPU 的高效 MLA 解码内核
实现H800 SXM5上内存受限配置高达3000 GB/s和计算受限配置高达580 TFLOPS，使用CUDA 12.8。FlashMLA 是一个针对 Hopper GPU 的高效 MLA 解码内核，针对变长序列服务进行了优化。FlashMLA 受到。
2025-03-02 11:53:59
942
原创 HuggingFace 实战
准备环境词编码工具数据集的基本操作加载本地数据集创建模型分类任务实战填空任务实战句子关系推断任务实战使用Trainer执行训练
2024-12-21 21:16:30
344
原创 HuggingFace Transformers - NLP 任务
文本分类加载 IMDb 数据集预处理评估训练推理Token 分类加载 WNUT 17 数据集预处理评估推理问答加载SQuAD数据集预处理训练评估推理Causal language 建模加载 ELI5 数据集预处理训练推理Mask 语言建模加载 ELI5 数据集预处理训练推理翻译加载 OPUS Books 数据集预处理评估训练推理总结加载 BillSum 数据集预处理评估训练推理多选加载 SWAG 数据集预处理评估训练推理
2024-12-21 20:47:17
1386
原创 Transformers 核心概念
Transformers 的设计理念主要概念术语表Aattention mask 注意力掩码autoencoding models 自动编码模型autoregressive models 自回归模型BbackboneCcausal language modelingchannel 通道连接主义时序分类 (CTC)convolution 卷积DDataParallel (DP)decoder input IDsdecoder models 解码器模型深度学习 (DL)E
2024-12-21 20:46:08
1525
原创 ComfyUI - 客户端、服务端
如上所述，在客户端，只需注册为唯一消息类型名称的侦听器即可添加自定义消息类型。如果您想在执行期间从客户端向服务器发送消息，您将需要添加到服务器的自定义路由。对于任何复杂的事情，您都需要深入了解aiohttp框架文档除非你知道你在做什么，否则不要试图在类中定义。装饰器做了很多工作！相反，定义上面的函数，然后调用类方法。如果不更改任何内容，也可以定义。客户端可以通过发送带有类似代码的FormData对象来使用这个新路由，这将导致the_data，在上面的代码中，包含message和node_id。
2024-12-04 22:34:54
1723
原创 ComfyUI - 使用 torch.Tensor
表示一个张量，它是向量或矩阵的数学推广，可以推广到任意数量的维度。张量的秩是它具有的维度数（因此向量具有秩1，矩阵秩2）；它的形状描述了每个维度的尺寸。因此，一个 RGB 图像（高度为 H，宽度为 W）可以被视为三个数组（每个颜色通道一个），每个数组测量 H x W，可以用具有形状[H,W,3]的张量来表示。在 Comfy 图像几乎总是以批量的形式出现（即使批量中只包含一张图像）。torch总是将批量维度放在第一位，因此 Comfy 图像的形状为[B,H,W,3]，通常写作。
2024-12-04 22:33:16
1462
原创 ComfyUI - 数据列表
中的每个元素都被单独包裹在一个长度为 1 的列表中；为了告诉 Comfy 返回的列表不应被包裹，而应被视为用于顺序处理的数据序列，节点应提供一个类属性。在某些情况下，单个工作流中会处理多个数据实例，在这种情况下，内部数据将是一个包含数据实例的列表。这种情况的一个例子可能是逐个处理一系列图像以避免耗尽 VRAM，或处理不同大小的图像。在内部，Comfy 服务器将一个节点流向下一个节点的数据表示为一个 Python。然而，由于 Comfy 将节点输出包裹成一个长度为 1 的。，如果一个自定义节点返回的。
2024-12-04 22:30:02
1224
原创 ComfyUI - 节点扩展
通常，当一个节点执行时，该执行函数会立即返回该节点的输出结果。“节点扩展”是一种相对高级的技术，允许节点返回一个应该在其位置替代的节点子图。虽然你可以将非字面量输入传递给子图内的节点（如torch张量），但这可能会妨碍子图内的缓存。虽然这个节点之前可以通过手动调用ComfyUI内部实现，但使用扩展意味着每个子节点将被单独缓存（因此如果你更改。来实际构建图（例如，因为你正在从文件中加载图的原始json），你也可以使用。这不是强制性的，但它可以防止你犯许多简单的错误。，以轻松完成此操作。
2024-12-04 22:28:21
1286
原创 ComfyUI - 懒评估
声明一个输入是惰性的，只需在输入的选项字典中添加一个lazy: True键值对即可。return {},在这个例子中，image1和image2都被标记为懒输入，但mask将始终被评估。如果存在一个或多个尚未可用的懒输入，则会调用方法。此方法接收与标准执行函数相同的参数。所有可用的输入都通过它们的最终值传递，而不可用的懒输入的值为None。函数的责任是返回一个包含所需进行下一步的任何懒输入名称的列表。如果所有懒输入都可用，则函数应返回一个空列表。请注意，可能会被多次调用。
2024-12-04 22:26:44
938
原创 ComfyUI - 隐藏和灵活的输入
如果您想在自定义节点之间传递数据，定义一个自定义数据类型可能很有帮助。这（几乎）和为数据类型选择一个名称一样简单，该名称应该是大写字母的唯一字符串，例如CHEESE。然后您可以在节点的和中使用CHEESE，Comfy 客户端将只允许CHEESE输出连接到CHEESE输入。CHEESE可以是任何 Python 对象。唯一需要注意的一点是，因为 Comfy 客户端不了解CHEESE（除非您为CHEESE。
2024-12-04 22:25:06
1201
原创 ComfyUI - 图片、Latents 和掩码
当与这些数据类型一起工作时，你需要了解类。完整文档，或者 Comfy中所需的关键概念的介绍。如果你的节点有一个单个输出，且该输出是一个张量，请记住返回(image,)而不是(image)下面的大部分概念都在中得到了说明。一个是一个形状为[B,H,W,C]的，其中C=3。如果你打算保存或加载图片，你需要将其转换为PIL.Image格式，或从该格式转换回来 - 以下是一些代码片段！请注意，一些pytorch操作提供（或期望）[B,C,H,W]，称为‘通道优先’，这是出于计算效率的考虑。只要小心即可。
2024-12-04 22:23:29
1101
原创 ComfyUI - 数据类型
NOISE数据类型表示一个源（而不是实际的噪声本身）。它可以由任何提供方法的 Python 对象表示，该方法的签名包含一个属性，。seed被传递到中的sample指引器，但似乎在所有标准指引器中都没有被使用。它是可选的，所以你通常可以将其设置为 None。当需要添加噪声时，将潜在变量传递到该方法，该方法应返回一个形状相同且包含噪声的Tensor。查看噪声混合示例。
2024-12-04 22:21:52
1383
原创 ComfyUI - 安装自定义节点
当 Comfy 启动时，它会扫描目录中的 Python 模块，并尝试加载它们。如果模块导出，它将被视为自定义节点。一个 Python 模块是一个包含文件的目录。该模块导出在中定义的__all__属性中列出的任何内容。
2024-12-04 22:20:15
6403
原创 ComfyUI - 游览
这个页面将逐步指导你创建一个自定义节点的过程，该节点接收一批图像并返回其中的一张。最初，该节点将返回平均颜色最浅的图像；然后我们将扩展它以拥有一系列选择标准，最后添加一些客户端代码。这个页面假设你对Python或JavaScript的了解非常有限。在这个教程之后，深入了解，或。
2024-12-04 22:12:34
1119
原创 ComfyUI - 入门
Comfy 的一个强大之处在于其基于节点的架构允许你通过以不同的方式连接提供的节点来开发新的工作流程。内置的节点提供了一系列的功能，但你可能会发现你需要一个核心节点没有提供的功能。自定义节点允许你实现新功能，并与更广泛的社区分享。自定义节点，就像任何 Comfy 节点一样，本质上接收输入，对其进行一些操作，然后产生输出。虽然一些自定义节点执行高度复杂的任务，但许多只是做一件事情。这里有一个简单节点的例子，它接收一个图像并将其反转。
2024-12-04 22:09:29
1514
原创 ComfyUI - 入门
Comfy 的一个强大之处在于其基于节点的架构允许你通过以不同的方式连接提供的节点来开发新的工作流程。内置的节点提供了一系列的功能，但你可能会发现你需要一个核心节点没有提供的功能。自定义节点允许你实现新功能，并与更广泛的社区分享。自定义节点，就像任何 Comfy 节点一样，本质上接收输入，对其进行一些操作，然后产生输出。虽然一些自定义节点执行高度复杂的任务，但许多只是做一件事情。这里有一个简单节点的例子，它接收一个图像并将其反转。
2024-12-04 22:08:04
1129
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人