- 博客(37)
- 收藏
- 关注
RSS订阅翻译 【量子计算与人工智能】量子自然语言处理（QNLP）研究进展
当时，研究人员开发了单词的向量表示，使用的框架包括Word2Vec和GloVe（Global Vectors for Word Representation，词表示的全局向量）。经典的大型语言模型（LLM，Large Language Models）是计算领域的巨兽，训练成本高昂、规模庞大，而且容易出错，这损害了它们的可靠性。随着量子计算成熟，它与AI的融合可能解锁全新方法。在最近的研究中，团队将Quixer应用于一个真实的语言建模任务，取得了与相同数据训练的经典Transformer模型相竞争的结果。
2025-04-02 02:31:06
13
原创 【MCP协议】MCP服务器开发指南——「小白也能看」模型上下文协议&Agent生态构建
MCP代表了AI与外部世界交互的新范式。通过创建自己的MCP服务器，你不仅扩展了AI的能力，还参与塑造了AI与人类协作的未来。就像是给AI提供了新的感官和能力，让它能够以更加有用和安全的方式融入我们的日常生活和工作。希望这篇指南对你有所帮助！
2025-03-23 18:45:08
1161
原创 【MCP协议】AI应用开发的标准化革命——「官方解读」模型上下文协议&Agent生态构建
模型上下文协议(MCP)是由Anthropic开发的开放标准，旨在解决AI系统构建中的碎片化问题。MCP通过工具、资源和提示三大核心接口，标准化了AI应用与外部系统的交互方式。本文深入探讨MCP的设计理念、技术架构和关键应用场景，剖析其如何通过标准化的接口提升AI应用的上下文感知能力，实现无缝集成。同时介绍MCP在Agent开发中的核心价值，以及注册表、远程服务器授权等最新发展，展望MCP生态系统的未来演进方向。
2025-03-23 13:33:14
690
翻译 Swin Transformer：使用移位窗口的层次化视觉Transformer
本文提出了一种新的视觉Transformer，称为Swin Transformer，它能够作为计算机视觉的通用骨干网络。从语言领域到视觉领域的Transformer适配面临诸多挑战，这些挑战源于两个领域之间的差异，例如视觉实体的尺度变化较大，以及图像中像素分辨率远高于文本中的单词。为了解决这些问题，我们提出了一个层次化的Transformer，其表示通过移位窗口（Shifted Windows）计算。
2025-03-20 12:54:22
49
原创 读 DeepSeek-R1 论文笔记
我们推出第一代推理模型DeepSeek-R1-Zero和DeepSeek-R1。DeepSeek-R1-Zero作为无需监督微调(SFT)预训练阶段、直接通过大规模强化学习(RL)训练的基础模型，展现出卓越的推理能力。通过RL训练，该模型自然涌现出大量强大且有趣的推理行为，但也面临可读性差、语言混杂等问题。为解决这些问题并进一步提升推理性能，我们引入DeepSeek-R1模型，该模型在RL训练前融合了多阶段训练和冷启动数据策略。
2025-02-11 18:35:15
948
1
原创 【解惑】Steps、Epochs、Batchsize？梯度累计步数、样本数？他们有什么关系？
通过本文的详细解析，您应该能够更好地理解和应用大模型训练中的关键参数，优化训练流程，提升模型性能。希望这些内容对您有所帮助！通过以上优化，博客内容更加清晰易懂，帮助读者更好地理解和应用这些关键参数，优化大模型的训练过程。
2025-02-11 00:30:35
592
原创 【强化学习】如何设计一个好的奖励函数？
例如，在一个训练跳跃高度的任务中，我们可以监控智能体的跳跃高度与其实际动作之间的关系。例如，一个复杂的任务可能需要分解为多个子任务，但每个子任务的奖励设计可能会对整体任务的完成效果产生深远影响。例如，在一个训练抓取物体的任务中，我们可以分类特征为“无害特征”（如物体的形状）和“破坏性特征”（如遮挡摄像头），并优化奖励函数以减少对破坏性特征的依赖。如果奖励函数仅关注“移动到终点”，而忽略了“避免碰撞”的重要性，机器人可能会选择穿过障碍物甚至撞毁环境以达到终点，从而实现高奖励但破坏任务的实际目标。
2025-02-09 18:21:16
1089
2
翻译 【Lilian Weng’s blog】强化学习中的奖励黑客（奖励劫持）问题
在强化学习（RL）中，奖励塑形（Reward Shaping）具有挑战性。奖励黑客发生在RL智能体利用奖励函数中的漏洞或模糊性来获取高额奖励，而并未真正学习到预期行为或完成任务。奖励黑客（奖励腐败（奖励篡改（规范博弈（目标鲁棒性（目标泛化错误（奖励错误指定（这一概念起源于Amodei et al. (2016)，他们在开创性论文《AI安全中的具体问题》中提出了一系列关于AI安全的开放研究问题，并将奖励黑客列为关键AI安全问题之一。
2025-02-09 13:37:17
197
原创 【W&B 深度学习实验管理】利用 Hugging Face 实现高效的自然语言处理实验跟踪与可视化
在自然语言处理领域，使用Hugging Face的Transformers库进行模型训练已经成为主流。然而，随着模型复杂度的增加和实验次数的增多，如何高效地跟踪和管理每一次实验的结果变得尤为重要。传统的日志记录方法往往繁琐且不够直观，难以满足快速迭代的需求。幸运的是，Weights & Biases（W&B）提供了一种轻量级的解决方案，能够无缝集成到Hugging Face的工作流程中，帮助开发者自动跟踪实验数据、可视化模型性能，并轻松比较不同架构和超参数设置的效果。本文将详细介绍如何利用这一强大组合，让每
2025-02-08 18:29:44
1061
原创 【W&B 深度学习实验管理】使用 PyTorch Lightning 实现高效的图像分类实验跟踪
在机器学习项目中，实验跟踪和结果可视化是至关重要的环节。无论是调整超参数、优化模型架构，还是监控训练过程中的性能变化，清晰的记录和直观的可视化都能显著提升开发效率。然而，许多开发者在实际操作中往往忽视了这一点，导致实验结果难以复现，或者在项目协作中出现混乱。今天，笔者将介绍如何利用 PyTorch Lightning 和 Weights & Biases 这一强大的工具组合，轻松构建和训练一个图像分类模型。通过本文，你将学会如何高效地组织数据管道、定义模型架构，并利用 W&B 实现实验跟踪和结果可视化，让每
2025-02-08 18:26:55
1175
原创 【W&B 深度学习实验管理】与 PyTorch 的深度集成：轻松实现高效实验跟踪
在机器学习项目的开发过程中，实验跟踪和结果可视化是至关重要的环节。无论是调整超参数、优化模型架构，还是监控训练过程中的性能变化，清晰的记录和直观的可视化都能显著提升开发效率。然而，许多开发者在实际操作中往往忽视了这一点，导致实验结果难以复现，或者在项目协作中出现混乱。今天，我们将介绍如何利用 Weights & Biases 这一强大的工具，与 PyTorch 深度集成，轻松实现实验跟踪、数据版本控制和团队协作。通过本文，你将学会如何在自己的项目中快速添加这一功能，让每一次实验都清晰可溯，每一次优化都有据可
2025-02-08 18:23:24
868
原创 深入浅出：旋转变位编码（RoPE）在现代大语言模型中的应用
旋转变位编码（RoPE）作为一种创新的位置编码方法，近年来在这些模型中得到了广泛应用。RoPE 是一种创新的位置编码方法，通过旋转来捕捉序列中元素的相对位置关系。位置编码将每个位置映射为一个向量，然后将其添加到词嵌入中，从而为模型提供位置信息。具体来说，RoPE 将词嵌入向量视为高维空间中的点，然后通过旋转来捕捉不同位置之间的关系。为了将 RoPE 推广到高维空间，作者将高维空间划分为多个 2D 子空间，然后在每个子空间中独立地进行旋转。
2025-02-04 18:45:34
1002
原创 深入浅出：频谱掩码 Spectral Masking —— 噪音消除利器
在语音处理领域，噪声是一个常见的敌人。无论是语音通话、语音识别，还是语音合成，噪声都会大大降低语音的质量和可理解性。它最初是为图像分割设计的，但由于其强大的特征提取能力，很快被引入到语音处理领域。Spectral Masking 是一种非常强大的语音增强技术，它通过从带噪信号的频谱中估计掩码，从而分离出干净语音。因为 UNet 的编码器-解码器结构可以有效地提取和恢复频谱的细节信息，而跳跃连接则帮助保留低频特征，确保生成的掩码更加准确。的任务是通过神经网络，从带噪语音的幅度谱中估计出一个掩码。
2025-02-04 02:30:12
865
原创 TVM调度原语完全指南：从入门到微架构级优化
在TVM的世界里，每一个调度原语都是时空的雕塑工具。微观直觉：理解每个原语在硬件底层的映射宏观视野：把握多个原语之间的相互作用艺术感知：在约束条件下找到优雅的优化路径最优性能∫硬件空间∏原语fxdx\text{最优性能} = \int_{\text{硬件空间}} \prod_{\text{原语}} f(x) \, dx最优性能∫硬件空间原语∏fxdx愿每一位读者都能在TVM的调度世界中，找到属于自己的优化之美。
2025-02-01 22:48:29
1252
原创 当卷积神经网络遇上AI编译器：TVM自动调优深度解析
优化卷积层的历程，就像在迷宫中寻找隐藏的通道。每次性能的提升，都是对计算机体系结构本质的更深理解。当看到自己的配置使推理速度提升10倍时，那种喜悦，大概就是工程师的"多巴胺时刻"吧。
2025-02-01 21:27:38
1322
原创 深度学习编译器的演进：从计算图到跨硬件部署的自动化之路
"""NCHW布局的卷积计算定义Args:data: 输入张量，形状[N,C,H,W]kernel: 卷积核，形状[O,C,Kh,Kw]stride: 步长padding: 填充"""# 计算输出尺寸# 定义规约轴# 填充计算0.0,),# 卷积计算),TVM通过分层优化体系实现自动化编译：fill:#333;color:#333;color:#333;fill:none;计算图优化全局内存优化算子融合张量表达式调度优化自动调优高性能代码关键创新点。
2025-01-31 19:13:49
1120
原创 AI编译器之——为什么大模型需要Relax？
深度学习模型（比如 ChatGPT这种大模型）在运行时经常遇到“输入尺寸不固定”的情况。比如你问它一个问题，这次输入是10个字，下次可能是100个字。传统编译器处理这种“变来变去”的尺寸很笨——要么只能按固定尺寸优化（导致变尺寸时性能暴跌），要么每次都要重新编译（慢到没法用）……
2025-01-29 22:46:21
1130
原创 Apple M1 ARM MacBook 安装 Apache TVM
（Python 3.8 为示例；本文以 Apple M1/M2 为例，M3 及后续版本同理。若能正常输出 TVM 版本号，说明安装成功。macOS 上的包管理器，可前往。
2025-01-29 18:33:04
1824
原创 实战LLM强化学习——使用GRPO（DeepSeek R1出圈算法）
使用Unsloth库、LoRa微调及GRPO Trainer自定义奖励函数实现大模型的强化学习微调，实战案例。
2025-01-29 01:01:51
5362
1
原创 【DeepSeek】复现DeepSeek R1？快来看这个Open R1项目实践指南~
虽然我们重点要谈 GRPO 和相关训练，但在那之前，还是得对 Open R1 项目的基本结构和运行方式做一个大致了解。项目内多处文件都提示，若想顺利运行，需要提前满足一些环境依赖。从以上可以看到，Open R1 给出了两个“示例奖励函数”——和。：对比回答与 gold solution 是否一致，用 parser 做一些 LaTeX 公式提取，然后判断是否相符。：纯粹检查字符串是否匹配某种模板，比如。在实际项目中，我们可能换成别的，比如针对对话安全性、对话流畅性或其他指标的打分模型，也可能是。
2025-01-28 17:51:52
2776
原创 【DeepSeek】LLM强化学习GRPO Trainer详解
GRPO Trainer 能用强化学习算法，低成本高效率地训练LLM。支持使用自定义奖励函数来代替密集奖励模型。输入参数prompts（包含提示），（包含生成的补全），数据集可能包含的所有列名（但prompt除外）。例如，如果数据集包含名为的列，则将使用作为关键字参数调用该函数。满足此要求的最简单方法是在函数签名中使用**kwargs。对于标准格式prompts和将是字符串列表。对于对话格式prompts和将是消息字典列表。返回值：函数必须返回一个浮点数列表。每个浮点数代表对应于单个补全的奖励。
2025-01-28 16:55:33
3127
1
原创 【DeepSeek】大模型强化学习训练GRPO算法，你学会了吗？
GRPO，一种新的强化学习方法，是DeepSeek R1使用到的训练方法。今天的这篇博客文章，笔者会从零开始，层层递进地为各位介绍一种在强化学习中极具实用价值的技术——**GRPO（Group Relative Policy Optimization）**。如果你是第一次听说这个概念，也不必慌张，笔者会带领你从最基础的强化学习背景知识讲起，一步步剖析其来龙去脉，然后再结合实例讲解 GRPO 在实际应用中的思路和操作示例，最后再和其他近似方法对比，看看它和当下主流的 PPO（近端策略优化）等方法究竟有何区
2025-01-28 04:18:03
4323
原创 【DeepSeek】一文详解GRPO算法——为什么能减少大模型训练资源？
GRPO，一种新的强化学习方法，是DeepSeek R1使用到的训练方法。今天的这篇博客文章，笔者会从零开始，层层递进地为各位介绍一种在强化学习中极具实用价值的技术——**GRPO（Group Relative Policy Optimization）**。如果你是第一次听说这个概念，也不必慌张，笔者会带领你从最基础的强化学习背景知识讲起，一步步剖析其来龙去脉，然后再结合实例讲解 GRPO 在实际应用中的思路和操作示例，最后再和其他近似方法对比，看看它和当下主流的 PPO（近端策略优化）等方法究竟有何区
2025-01-28 03:55:57
28687
6
翻译 【DeepSeek】GRPO论文译文 - DeepSeekMath: 推动开放语言模型在数学推理能力上的极限
我们引入了 Group Relative Policy Optimization (GRPO)（分组相对策略优化），它是 Proximal Policy Optimization (PPO)（近端策略优化）的一种变体，它在提升数学推理能力的同时，还能优化 PPO 的内存使用。
2025-01-28 03:24:29
2739
原创 从“强化学习”到“PPO训练算法”【LLM大语言模型】
本篇博客从基础强化学习概念的介绍，到PPO原理，再到如何用HuggingFaceTRL在大模型上跑PPO，然后结合一个“生成更高效Python代码”的场景示例，还穿插了各种落地细节与踩坑心得。
2025-01-18 01:47:46
929
原创 一文详解PPO（Proximal Policy Optimization, 近端策略优化算法）
本篇博客将从最基础的强化学习概念讲起，层层引入策略梯度、信任域策略优化（TRPO），最终剖析PPO的创新点与实现细节。然后再结合论文原文内容及一些示例代码，讨论PPO在大模型训练及实际应用（例如机器人控制、游戏、代码生成）的方式和优点。全文采用“先理论后实践”的结构，同时辅以必要的图示和代码，让读者能更清晰地把PPO的原理和实现对接起来。
2025-01-17 21:44:12
2480
原创 大型语言模型训练的三个阶段：从预训练到RLHF
大型语言模型的训练可分为三个阶段：预训练、指令微调和基于人类反馈的强化学习（RLHF）。预训练利用大规模文本数据，通过自监督学习，让模型掌握语法、语义等通用语言规律，形成基础模型。指令微调通过人工标注的指令-回答数据，让模型学会执行特定任务，如翻译、问答等。这一阶段采用监督学习提升模型任务能力。RLHF通过用户反馈优化模型，使其生成更符合人类偏好的答案。它借助回馈模型（RewardModel）对答案评分，并通过强化学习方法（如PPO）调整生成策略，提升用户满意度。
2025-01-17 21:19:59
954
原创 用大型语言模型打造 AI Agent
探讨如何利用大型语言模型构建AIAgent，从简单任务到多步规划，AIAgent的核心能力包括感知、计划、执行、反思和工具使用。文章详细介绍了AIAgent的运行机制，并通过冒险助手的案例，展示了AIAgent如何动态应对复杂任务。未来，结合强化学习和长期记忆，AIAgent将在推动通用人工智能（AGI）发展中扮演关键角色。
2025-01-17 21:18:16
920
原创 【大模型LoRa微调】Qwen2.5 Coder 指令微调【代码已开源】
本文从零开始介绍了如何对“Qwen2.5Coder32B”模型进行LoRA指令微调，详细展示了环境准备、数据处理、微调步骤、推理与模型保存等流程。通过LoRA微调技术，我们可以在有限的硬件资源下针对特定指令场景（例如代码类问答、代码生成等）快速得到一个表现良好的大模型，而无需修改或更新海量的原始权重。
2025-01-17 21:18:02
2310
原创 【期末向】嵌入式 Linux 常用命令·期末必备《嵌入式Linux操作系统原理与应用 第4版》
此文基于文全刚主编的《嵌入式 Linux 操作系统原理与应用（第4版）》教材，笔者精心整理了嵌入式 Linux 开发中常用的 Shell 命令。从基本的文件目录操作（如 ls, cd, mkdir, rm），到磁盘管理维护 (fdisk, mount)，再到系统管理和设置 (shutdown, ps, kill)，以及网络相关命令 (ifconfig, ping, netstat)，最后是备份压缩操作 (tar, gzip)，所有命令都附有简洁的用法示例和详细的释义，帮助你快速掌握 Linux 命令行操作。
2025-01-04 13:14:49
874
原创 从“无人机飞控系统”深入浅出学《现代控制理论》
《现代控制理论》这门课，听着高深，但用无人机来理解，就变得有趣多了。想想看，无人机的位置、速度、姿态，就像它的“内在状态”，而控制电机就像我们给它下“指令”。这套理论能帮我们“预见”无人机的未来轨迹，判断它是不是“听话”，甚至让它飞得又快又省电。别怕公式，也别觉得遥远。这篇文章就用大白话，结合无人机的例子，把那些复杂的概念讲清楚。目标只有一个：让你也能轻松入门《现代控制理论》，不再对着课本发愁。一起用无人机，解锁控制理论的奥秘吧！
2025-01-01 12:51:01
699
原创 【不墨迹】OpenCV畸变校准教程：校准参数生成及去畸变处理
本文介绍如何使用OpenCV和Python进行相机校准与图像去畸变。教程分为安装库、拍摄棋盘格图片、编写校准脚本、生成校准参数以及使用这些参数进行图像去畸变等步骤，提供了完整的代码示例和操作指导，帮助用户快速掌握相机校准的流程，并提升图像处理的准确性。
2024-10-18 01:29:07
3329
8
原创 CubeIDE C/C++混合编译 全网最简单教程 CubeMX
文章介绍了如何在STM32CubeIDE中实现C/C++混合编译，主要是为了将一个使用C++面向对象的Arduino库移植到STM32中。在操作过程中，涉及到多个C文件需要改写为C++文件（后缀从.c改为.cpp），以便与C++编译器兼容。文章详细分析了文件调用关系，指出了可能遇到的问题和解决方法，如class报错的问题是由于某些文件没有改写为.cpp所致。
2024-09-25 19:01:31
1852
1
原创 使用VirtualBox 7运行Ubuntu 24.04虚拟机《嵌入式Linux》实验课
使用VirtualBox 7运行Ubuntu 24.04虚拟机使用VirtualBox 7运行Ubuntu 24.04虚拟机下载Ubuntu镜像从下载Ubuntu镜像。下载并安装VirtualBox从下载VirtualBox。
2024-09-01 20:32:28
911
原创 MATLAB 各个工具箱 功能说明
想必大家或多或少会疑惑应该安装MATLAB的哪些工具箱。只安装MATLAB主程序——用的时候却发现没有安装；全选安装，嗯……占用了20多个G。
2024-06-07 11:16:18
13234
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人