(AAAI-2026)KnowLP:GraphRAG 诱导双知识结构图,实现个性化学习路径推荐

深度学习之LoRA(低秩适配)原理与实战 【代码】深度学习之LoRA(低秩适配)原理与实战。 阅读详情

主要内容: 本文聚焦个性化学习路径推荐(Learning Path Recommendation, LPR)中的两个核心痛点:一是知识点之间的先修关系难以获取,依赖专家标注成本高;二是传统方法大多只沿着先修链条推荐,一旦学生在某个易混淆知识点上卡住,就会出现后续学习被阻断的现象。论文提出 KnowLP 框架,用 EDU-GraphRAG 自动构建知识点之间的先修关系图和相似关系图,再通过 DLRL(Discrimination Learning-driven Reinforcement Learning) 在学习路径生成过程中动态切换“先修学习”和“相似概念辨别学习”,从而缓解 blocked learning,提高长路径推荐效果。

论文名称: GraphRAG-Induced Dual Knowledge Structure Graphs for Personalized Learning Path Recommendation
会议: AAAI 2026
论文链接: arXiv 2506.22303
代码链接: https://github.com/chanllon/KnowLP
关键词: 个性化学习路径推荐、GraphRAG、知识结构图、强化学习、知识追踪、辨别学习


一、引言

1.1 个性化学习路径推荐:在线教育中的核心问题

在在线教育平台中,学生面对的学习资源通常非常庞大:知识点、视频、练习题、课程章节之间既存在先后依赖,也存在难度差异和语义相似性。学习路径推荐(LPR) 的目标,就是根据学生当前的知识状态和学习目标,为其推荐一条有顺序、有针对性的学习资源序列。

简单来说,LPR 不是只回答“下一题推荐什么”,而是要回答:

为了让学生掌握目标知识点,系统应该按什么顺序推荐一串练习或知识点?

这类任务的难点在于,它既要考虑教育认知规律,也要考虑学生个体差异。例如,一个学生想学习“内存重定位”,可能需要先掌握“分段”“分页”“地址映射”等前置概念;但如果学生把“逻辑地址”和“虚拟地址”混淆了,单纯沿着先修链条继续推荐,很可能并不能解决真正的问题。

1.2 传统方法的两大痛点:先修关系难获取 + 学习阻塞

现有很多学习路径推荐方法都会依赖知识点先修关系图。这种思路很符合教育直觉:先学基础知识,再学复杂知识,路径更容易解释,也更符合人类认知过程。

但论文指出,这类方法存在两个明显问题:

  1. 先修关系图难以获得。
    高质量的知识点先修关系往往依赖专家人工标注,不同数据集之间知识点体系也不统一。因此,一旦数据集中没有现成的知识结构图,很多基于先修图的方法就很难直接应用。

  2. 只依赖先修关系容易造成 blocked learning。
    学生在学习某个知识点时,失败原因不一定是“前置知识没学会”,也可能是被某些相似概念混淆了。此时如果系统仍然只沿着先修边往后走,学生可能会在一个概念上反复卡住,后续路径也会受到影响。
    在这里插入图片描述

图1 传统先修路径方法与 KnowLP 的对比:上半部分展示 blocked learning,下半部分展示 KnowLP 通过相似知识点进行辨别学习。
上图很好地说明了论文的核心动机:传统方法主要沿着先修关系前进,一旦学生在某个知识点上受相似概念干扰,学习路径就容易中断;而 KnowLP 会引入相似知识点,帮助学生进行辨别学习(discrimination learning),先把容易混淆的概念区分清楚,再继续向目标知识点推进。

1.3 KnowLP 的破局思路:双知识结构图 + 强化学习路径生成

为了同时解决“图难构建”和“学习阻塞”两个问题,论文提出了 KnowLP(GraphRAG-Induced Dual Knowledge Structure Graphs for Personalized Learning Path Recommendation)。

它的核心思想可以概括为两句话:

  • 用 EDU-GraphRAG 从知识点名称和文本解释中自动生成知识结构图,降低对人工先修图的依赖;
  • 用 先修关系图 + 相似关系图 共同指导路径生成,当先修学习推进受阻时,切换到相似概念辨别学习。

这使得 KnowLP 不只是一个“沿着知识图谱找路径”的模型,而是一个能够根据学生学习状态动态调整推荐策略的个性化学习路径推荐框架。


二、模型架构:从知识结构生成到学习路径推荐

2.1 整体框架:两大模块协同工作

KnowLP 的整体框架可以分成两个主要部分:

  1. 知识结构图生成模块:
    先利用 TextGrad 生成更准确、更具区分度的知识点解释,再通过 EDU-GraphRAG 自动构建知识点之间的先修关系图和相似关系图。

  2. 学习路径生成模块:
    基于生成的双知识结构图,使用 DLRL 模块模拟学生学习过程,并通过三个智能体协同生成个性化学习路径。
    在这里插入图片描述
    图2 KnowLP 整体框架:左侧为知识结构图生成模块,右侧为学习路径生成模块。

从图中可以看到,左侧负责“生成图”,右侧负责“用图推荐路径”。这也是本文最关键的设计:先把知识点关系结构化,再让推荐模型在结构约束下进行序列决策。

2.2 知识点解释生成:用 TextGrad 提升概念描述质量

EDU-GraphRAG 的输入并不是原始题目数据,而是知识点的文本解释。因此,知识点解释质量会直接影响后续图结构生成效果。

论文采用了 TextGrad 的思想,对知识点解释进行“生成—评价—修改”的迭代优化:

  1. 主 LLM 根据知识点名称生成初始解释;
  2. 辅助 LLM 对解释进行评价,指出不准确、不清晰或容易混淆的地方;
  3. 主 LLM 根据反馈重写解释;
  4. 重复上述过程,直到解释质量达到要求或达到最大迭代次数。

这一步的价值在于:很多知识点名称本身很短,如果直接让 LLM 判断知识点之间的关系,很容易产生模糊甚至错误的推断。通过 TextGrad 先把知识点解释补全,能够让后续 GraphRAG 有更可靠的文本基础。

论文中的案例也很直观:对于 “logical address” 和 “virtual address” 这两个容易混淆的概念,普通 LLM 可能会直接把二者解释成同义概念;加入 TextGrad 后,模型能够更准确地区分二者的语义差异。

图5 TextGrad 优化前后对知识点解释的影响:优化后能够更好地区分 logical address 与 virtual address。

2.3 EDU-GraphRAG:自动构建先修图与相似图

在得到高质量知识点解释后,KnowLP 使用 EDU-GraphRAG 构建知识结构图。其流程大致如下:

  1. 将所有知识点解释拼接成一个统一文档;
  2. 按 chunk size 对文档进行切分;
  3. 使用 LLM 从每个 chunk 中抽取实体和关系;
  4. 将局部图合并成全局知识图;
  5. 在查询阶段,让 LLM 基于结构化图索引生成目标知识结构图。

最终得到的图可以表示为:

G_A = (C, P, S)

其中:

  • C 表示知识点集合;
  • P 表示知识点之间的先修关系;
  • S 表示知识点之间的相似关系。

这里最值得关注的是:论文不再只生成先修关系,而是同时生成相似关系。这相当于为学习路径推荐提供了两套结构视角:

  • 先修图: 回答“学习目标之前应该先学什么”;
  • 相似图: 回答“当前知识点容易和哪些知识点混淆”。

2.4 DLRL:用辨别学习驱动强化学习推荐路径

有了双知识结构图之后,KnowLP 使用 DLRL(Discrimination Learning-driven Reinforcement Learning) 进行路径生成。

DLRL 的核心不是简单地把两个图拼起来,而是通过三个智能体进行协作:

  1. Prerequisite Agent(P-Agent)
    负责沿着先修关系选择下一个知识点,保证路径符合由浅入深的认知顺序。

  2. Similarity Agent(S-Agent)
    当学生在某个知识点上的掌握提升不足时,说明可能出现 blocked learning,此时 S-Agent 会被激活,从相似关系图中选择容易混淆的知识点,帮助学生进行辨别学习。

  3. Difficulty Agent(D-Agent)
    在确定推荐知识点后,进一步选择难度合适的练习题,避免题目太简单导致收益不足,也避免题目太难导致挫败感。

这三个智能体的分工非常清晰:P-Agent 管学习顺序,S-Agent 管概念混淆,D-Agent 管题目难度。

2.5 智能体切换机制:什么时候引入相似知识点?

KnowLP 的一个关键细节是:相似知识点并不是一直加入路径,而是在先修学习推进不顺利时作为“备用策略”引入。

论文通过学生知识状态的变化来判断是否发生阻塞。如果某一步学习后,学生对当前知识点的掌握提升低于阈值 τ,说明继续沿着先修路径可能效果不好,于是模型切换到 S-Agent,引入相似知识点进行辨别学习。

这个机制非常符合真实教学场景:

学生不是永远需要补前置知识,有时候更需要把几个相似概念放在一起对比,搞清楚它们到底差在哪里。

这也是 KnowLP 相比传统先修路径推荐方法的重要创新点。

2.6 难度匹配:让推荐题目贴合学生当前水平

论文还引入了知识追踪模型 DIMKT 来建模学生动态知识状态。与普通知识追踪不同,DIMKT 会考虑题目难度对学生认知状态变化的影响。

在推荐练习时,D-Agent 会选择与学生当前掌握水平最接近的题目。其思想可以理解为:

选择 |题目难度 - 学生掌握水平| 最小的练习

这样做的好处是,推荐路径不只是知识点顺序合理,具体落到练习题时也能更贴合学生当前能力。


三、实验结果与分析

3.1 实验设置:三个典型教育数据集

论文在三个公开教育数据集上进行了实验:

数据集知识点数量学生数量交互记录数量特点
Junyi835525,06121,460,249有较完整的先修关系图
MOOCCubeX44362917,447先修图不完整
ASSISTments20091674,217346,860缺少显式知识结构图

这三个数据集的设置很有代表性:有的图较完整,有的图不完整,有的完全没有图。正好可以验证 EDU-GraphRAG 是否真的能提升模型在不同教育数据集上的适用性。

对比方法包括 KNN、GRU4Rec、Actor-Critic、RL-Tutor、CSEAL、SRC、GEHRL、DLPR 等经典或较新的学习路径推荐方法。

3.2 整体性能:KnowLP 在所有设置下取得最优

论文在不同推荐步长(5、10、15、20)下比较了各方法的学习效果。结果显示,KnowLP 在 Junyi、MOOCCubeX 和 ASSISTments2009 三个数据集上都取得了最优表现。

下面整理部分关键结果:

数据集步长最强基线KnowLP
Junyi50.20860.2406
Junyi100.22930.2431
Junyi150.21810.2295
Junyi200.23580.2758
MCX50.26860.3194
MCX100.22030.3508
MCX150.29330.3205
MCX200.27810.3589
ASS0950.12450.1268
ASS09100.10240.1174
ASS09150.12730.1281
ASS09200.14340.1455

可以看到,KnowLP 的优势在 MCX 数据集上尤其明显。这个数据集原始知识结构图不完整,说明 EDU-GraphRAG 自动生成知识结构图确实能够缓解图结构缺失的问题。

更有意思的是,很多基线方法在路径变长后性能会下降,而 KnowLP 在 20 步推荐时仍然表现较好。这说明相似关系引入后,模型更适合生成长学习路径,不容易因为某个知识点卡住而导致整条路径失效。

3.3 消融实验:相似关系不是锦上添花,而是关键组件

为了验证 S-Agent 的作用,论文移除了相似智能体,只保留先修关系推荐。结果显示,去掉相似关系后,三个数据集上的性能都明显下降。

数据集/设置5步10步15步20步
Junyi w/o S0.19320.20510.18510.2232
Junyi w S0.24060.24310.22950.2758
MCX w/o S0.21480.19280.22580.1517
MCX w S0.31940.35080.32050.3589
ASS09 w/o S0.07370.10070.11900.1264
ASS09 w S0.12680.11740.12810.1455

这组实验说明:相似知识点并不是一个简单的补充特征,而是缓解 blocked learning 的核心机制。尤其在长路径推荐中,S-Agent 能帮助模型绕开“某个概念学不动,后面全卡住”的问题。

3.4 知识结构图生成:EDU-GraphRAG 能补全缺失关系

论文还对生成的知识结构图进行了可视化比较。

图3 原始知识结构图与 KnowLP 生成图对比:Junyi 与 MCX 数据集上的结构覆盖和关系数量对比。

在 Junyi 数据集中,KnowLP 生成的先修关系数量更多,能够捕捉到更复杂的知识点依赖;在 MCX 数据集中,原始图只覆盖了 46 个知识点,而 KnowLP 生成图覆盖了全部 443 个知识点,显著增强了知识结构覆盖范围。

论文进一步比较了使用原始先修图和使用 KnowLP 生成图的推荐效果。

=

图4 使用原始图与 KnowLP 生成图时的推荐效果对比。

从结果看,KnowLP 生成图的效果接近人工构建的原始图。这一点非常重要:如果自动生成的图能达到接近专家图的效果,那么学习路径推荐方法就能更容易迁移到没有高质量知识结构标注的新数据集。

3.5 可解释性:不仅推荐路径,还能解释为什么这样推荐

EDU-GraphRAG 在构建图的过程中会生成社区摘要、实体关系和相关 claim,因此 KnowLP 不仅能给出学习路径,还能对推荐顺序进行解释。

在这里插入图片描述

图6 学习路径解释示例:EDU-GraphRAG 能够给出推荐路径中各知识点的顺序依据。

例如,对于目标知识点 “Relocation”,系统推荐路径中包含 “Segmentation、Paging、Addressing、System Control、External Fragmentation” 等知识点。EDU-GraphRAG 可以解释这些知识点为什么应该以这样的顺序出现,例如先学习 Segmentation 有助于理解内存分段管理,再学习 Paging 可以进一步理解地址映射和内存管理机制。

这类解释对教育推荐非常关键,因为学习路径推荐不是普通商品推荐。学生和教师往往都需要知道:为什么我应该先学这个,再学那个?

3.6 模拟实验与运行效率

由于真实教育数据通常是静态日志,无法直接验证学生在新推荐路径下的动态学习过程,论文使用基于知识演化的模拟器 KES-Junyi 进行实验。结果显示,KnowLP 在模拟环境中也优于 SRC、GEHRL 和 DLPR。

在这里插入图片描述

图7 模拟实验结果:KnowLP 在动态模拟学习场景下相比多种基线方法表现更优。

在效率方面,EDU-GraphRAG 构图耗时在分钟级;DLRL 模块训练耗时略高于 DLPR,但论文认为这一额外成本能够被性能提升所抵消。

四、总结与展望

4.1 工作总结

本文介绍的 KnowLP 是一个面向个性化学习路径推荐的双知识结构框架。它的核心创新可以概括为三点:

  1. EDU-GraphRAG 自动构建知识结构图。
    通过 TextGrad 生成高质量知识点解释,再用 GraphRAG 构建先修关系和相似关系,降低了对人工知识图谱的依赖。

  2. 引入相似关系缓解学习阻塞。
    传统方法主要依赖先修图,而 KnowLP 将相似知识点作为 blocked learning 场景下的 fallback 关系,帮助学生通过辨别学习突破卡点。

  3. 多智能体强化学习生成路径。
    P-Agent、S-Agent 和 D-Agent 分别负责先修顺序、相似概念辨别和题目难度匹配,使推荐路径既符合知识结构,又贴合学生状态。

整体来看,KnowLP 的价值不只是“性能提升”,更重要的是它提出了一种新的学习路径推荐视角:学习路径不应该只是一条先修链,而应该是一条能够根据学生卡点动态调整的认知推进路径。

4.2 对后续研究的启发

这篇论文对个性化学习路径推荐方向有几个值得继续探索的点:

  1. LLM + GraphRAG 可以缓解教育知识结构稀缺问题。
    很多教育数据集只有题目、知识点名称和答题日志,没有完整知识图谱。KnowLP 说明,利用 LLM 生成解释,再通过 GraphRAG 构建结构图,是一个值得深入研究的方向。

  2. 相似关系可以成为学习路径推荐的重要结构。
    过去很多方法把“先修关系”作为核心结构,但学生学习失败有时不是因为没学前置知识,而是因为概念混淆。因此,相似关系、易错关系、混淆关系等都可能成为未来 LPR 的重要建模对象。

  3. 推荐系统需要更强的教育可解释性。
    教育场景中,推荐结果不能只是一个黑盒路径。教师和学生都希望知道路径背后的知识逻辑。GraphRAG 生成的结构化解释,为学习路径推荐的可解释性提供了新的思路。

  4. 真实在线教育环境中的验证仍然值得加强。
    论文虽然使用模拟器验证了动态场景下的效果,但真实学生的学习行为更复杂。后续如果能在真实平台中进行 A/B 测试,会更有说服力。

4.3 可能的不足

虽然 KnowLP 很有启发性,但仍然存在一些值得注意的问题:

  • LLM 生成的关系图仍可能存在噪声。
    EDU-GraphRAG 能缓解幻觉问题,但无法完全保证生成的先修关系和相似关系都正确。

  • 不同学科中的“相似”定义可能不同。
    数学中的相似概念、编程中的相似概念、医学中的相似概念,其混淆机制并不完全一样。如何让相似关系更符合具体学科规律,是后续可以优化的方向。

  • 强化学习训练成本较高。
    DLRL 的训练时间高于部分基线方法,在大规模平台中部署时,还需要进一步考虑效率和在线更新问题。

  • 路径推荐和资源推荐仍可以结合得更紧。
    当前框架已经考虑题目难度,但实际教学资源还包括视频、文本、例题、测验等多种类型。未来可以进一步扩展为多资源、多目标的学习路径推荐。


AI对战五子棋——深度学习策略网络 在本篇博文中,我们完成了:✔ 构建一个 CNN 五子棋策略网络✔ 让神经网络输出落子概率✔ 使用 Policy Gradient 强化学习训练 AI✔ 让 AI 实现人与 AI、AI 自对弈博弈。 阅读详情

相关推荐

篮球比赛24秒计时器改造指南:用Multisim实现可调式倒计时系统

本文详细介绍了如何使用Multisim软件改造篮球比赛24秒计时器,实现可调式倒计时系统。从脉冲信号发生器到声光报警模块,提供了完整的电路设计方案和调试技巧,帮助开发者快速掌握数字电路设计的核心原理,提升体育电子设备开发效率。

wood5的博客 212

【论文阅读】GraphRAG-Induced Dual Knowledge Structure Graphs for Personalized Learning Path Recommendation

现有LPR存在两个问题:1.先修关系获取困难,依赖专家批注,限制了场景应用;2.单一的先修关系结构脆弱,易受阻本文提出KnowLP个性化知识结构图引入知识概念之间的前提关系与相似关系来增强学习路径推荐为不同的数据集自动生成 先修关系图 + 相似关系图(2)DLRL学习驱动的强化学习生成学习路径,先按照先修关系学习,卡住时用相似概念知识图谱只用先修关系,路径只能按照前后顺序走;加入相似关系,系统有更多选择;多加一种关系可以动态切换学习策略。

2402_87684755的博客 554

vins-mono前端详解(2)——imu预积分

本篇文章详细讲解了vins-mono中imu预积分内容,包括复杂的公式推导。

weixin_44587828的博客 1196

Knowledge Graph + RAG | Microsoft GraphRAG

想要將產業之知識整合到 LLM 中有許多方法,但考量到成本與效益,大部分企業級應用都會結合 RAG 進行,而近期,將 Knowledge Graph (KG) 結合 RAG 被越來越廣泛使用,儼然將會成為下一個熱門的技術,而就在這個風頭上時,7/2 Microsoft 終於將他們的 GraphRAG 開源,從技術文章發表到開源隔了近 5 個月左右,令人非常興奮想要測試其效果,因此這篇文章將向大家介紹 GraphRAG 的概念、優勢及實作步驟,並提供了多種視覺化方法,希望能幫助你快速實踐這項技術。

asd8705的专栏 645

arduino esp8266_Arduino传感器教程 第22章ESP8266 控制 5V 继电器

ESP8266控制5V继电器目录一、NodeMCU二、工作原理本文将使用亚马逊 AlexaEcho 和 ESP8266 控制 5V 继电器。NodeMCUNodeMCU 是一个开源的 IoT 物联网硬件开发板,由于它支持 WIFI 功能且使用方法十分类似 Arduino 开发板,所以近些年获得了越来越多来自全世界的创客朋友们的青睐。NodeMCU 尺寸与 Arduino Nano 类似。...

weixin_39611722的博客 3458

Altium Designer20-柔性PCB绘制技巧

Altium Designer2020-柔性PCB绘制技巧 注:教程所用PCB随意找的,并没有完全绘制完,大家学习PCB折弯方法即可。 1.打开PCB,点击视图->板子规划模式1,如下图所示 2.点击设计->定义分割线,用两条分割线绘出要折弯的区域 3.点击设计->定义弯曲线(弯曲线呈现黄色) 4.用快捷键d,k进入layer manage stack(层叠管理器),在f...

weixin_44450279的博客 1万+

AAAI 2026发表!强化学习+知识图谱妥妥下一个黄金赛道!

最近有个正火爆的热点:强化学习+知识图谱。大家可以关注一下,尤其推荐做KGQA、推理路径优化,这俩很适合入门,还有大模型协同...总之能挖的点有很多,不愁创新。

Python_cocola的博客 436

uniapp 基于单选框多选框实现上拉触底多选/单选、回显

showPickerCheckbox弹层显示 label和value 类似下拉框的label和value一个意思 键和值。结果:可以传接口(接口只能post请求) 可以搜索 下面是结果图片展示 单选多选都可以。fieldValue回显传的值 传的是字符串 数组的话[1,2]转为1,2格式传入。mode是控制的单选还是多选 true为多选默认值 其余参数 单选多选一样。fieldName字段名 确定后会返回该字段名 根据字段名找对应的传入值。问题:在uniapp上 实现分页多选的操作。下面是组件的完整代码。

2301_76607997的博客 2936

2026年238个好发CCF-A的强化学习idea全面汇总!

该研究的核心思路是将测试用例生成建模为一个多智能体强化学习(MARL)问题,通过让多个 LLM 智能体协同工作,共同探索出能够最大化代码覆盖率的测试路径。作者通过一项大规模的实证研究,分析了 LLMs 在代码生成、缺陷检测和修复等关键 SE 任务中的表现,旨在揭示其在实际开发场景中的优势与局限性。该研究的核心思路是将测试用例生成建模为一个多智能体强化学习(MARL)问题,通过让多个 LLM 智能体协同工作,共同探索出能够最大化代码覆盖率的测试路径。为方便大家研究的顺利进行,早点发出自己的顶会,我给大家对。

gzq0723的博客 46

NPC 三电平逆变器中点电位平衡算法详解

最常用:零序电压注入(简单、计算量小)最可靠:虚拟空间矢量调制(VSVPWM)及其改进形式(全范围平衡)趋势:结合模型预测控制(MPC)或智能算法(模糊、神经网络)进一步提升动态性能和鲁棒性。NPC 三电平逆变器中点电位平衡算法的 C# 实现示例(零序电压注入法 + 闭环补偿)在 NPC(Neutral Point Clamped)三电平逆变器中,中点电位平衡最常用且易于软件实现的方案是零序电压注入法。

专注于前沿技术的探索与实践,热衷于从代码逻辑、架构设计到行业应用等多维度深挖技术本质。期待在技术之路上与你共同成长~ 325

5.4 GTT BO的内存分配分析

本文分析了AMD GPU驱动中的GTT技术实现。GTT作为GPU页表,负责管理主机内存与GPU虚拟地址的映射,支持大容量内存访问和统一寻址。文章详细介绍了GTT的核心数据结构amdgpu_gtt_mgr、初始化流程,以及BO(Buffer Object)创建时GTT区间的分配与释放机制。GTT管理通过TTM框架实现分层设计,提供内存统计、兼容性检查等接口,并支持动态迁移、多进程隔离等高级特性。该机制为AMD GPU提供了高效灵活的内存管理基础。

图形/计算GPU的驱动与虚拟化技术分享园地 3740

【自然语言处理 NLP】9.1 检索增强生成高级架构:GraphRAG 与结构化知识检索

社区切好了,但检索时直接返回一万个节点给 LLM,上下文窗口会爆炸。所以 GraphRAG 在索引阶段就做了另一件事:让 LLM 为每个社区写一份"摘要报告"。具体怎么做?对于每个社区,系统把社区内的实体列表、关系列表(按 combined degree 排序,优先保留高度数边)和可选的声明(claims)打包成 CSV 表格,喂给 LLM,让它生成一段自然语言摘要。这个过程是自下而上的:先为 Level 0 的小组写摘要,再把 Level 0 的摘要作为输入,生成 Level 1 的部门摘要,以此类推。

2501_92621520的博客 589

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

Transformer 为什么能取代 RNN?从自注意力讲起

2017 年谷歌在《Attention Is All You Need》中提出 Transformer,核心是。它如今是 GPT、BERT、ChatGPT 的共同底座。

anew___的博客 802

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

基于深度学习的商品评论情感分析系统-毕业设计

面向商品评论的中文情感分析系统,支持单条预测、批量分析、情感分布与关键词、报告导出。TextCNN、BiLSTM、Transformer 在同一词表、同一数据切分、同一种子与超参下公平对比,测试集 F1 分别为 0.9101、0.9089、0.9075。结论是这一规模下模型复杂度未带来收益,但误差结构不同。附技术栈、截图、文档预览与演示视频。

csbysj2020 141

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

【原创深度学习项目】基于深度学习的建筑工地防护装备检测系统|安全帽与反光衣检测系统(RT-DETR-L 模型)

本文设计并实现了一套基于RT-DETR-L的建筑工地防护装备检测系统,采用Django+Vue前后端架构,实现对安全帽、反光背心等7类装备及“无PPE”“未戴安全帽”等缺失状态的精准识别。系统支持图片、视频、摄像头实时检测,具备参数可调、数据可视化与统计分析功能,有效解决小目标漏检、误检及管理难问题,助力智慧工地安全管理落地。文末可获取源码。

qq_1445749146的博客 228

图解循环神经网络(RNN)

RNN(循环神经网络)就是“带记忆的网络”:让网络拥有一块“记忆”,在处理当前数据时,能同时参考之前看过的内容;它不一次性看完全部输入,而是像人读书一样,一个字一个字地读,每读一个字就更新一次脑子里的记忆,然后用这份记忆去理解当前这个字。但便签一直在被改写,新信息不断挤占旧信息,传到第 40 步时,“巴黎”的痕迹已经淡得几乎没了。读到“贵”的时候,网络并没有重新去查“好看”这个词——但“好看”的影响已经融在了便签里(那个 1.5)。这三个困难的共同点:答案不在当前这一个字里,而在“前面那串东西”里。

技术管理两手抓,两手都要硬. 398

神经网络入门指南:从 CNN、RNN 到 Attention

神经网络的学习,本质是“预测—比较—纠错”的循环;CNN 通过局部连接与权重共享理解图像;RNN 通过隐藏状态传递上下文;LSTM 和 GRU 用门控机制管理记忆;Encoder–Decoder 把理解与生成拆成两个阶段;Attention 则让模型在每一步都能主动寻找最相关的信息。到这里,我们已经走完了从普通神经网络到 Attention 的完整路线。下一篇将正式进入 Transformer,看看它如何摆脱 RNN 的顺序计算,又如何让每个 Token 直接找到与自己相关的信息。

爱敲代码的小黄 380

CNN 卷积神经网络深度解析:卷积、池化与特征提取的底层原理

卷积核(Kernel),也叫滤波器(Filter),本质上是一个可以训练的权重矩阵。1 0 -11 0 -11 0 -1这个卷积核可以对图像中的局部像素进行加权计算。不同的卷积核能够提取不同类型的特征:水平边缘特征垂直边缘特征纹理特征角点特征局部形状特征在传统图像处理中,滤波器通常由人工设计。而在 CNN 中,卷积核的权重通过训练数据和反向传播自动学习得到。这也是 CNN 能够自动提取图像特征的关键。# 第一层卷积padding=1# 第二层卷积padding=1。

2503_90237586的博客 259

图解常用深度学习优化器

来隐式构造 Hessian 逆的近似,从而直接估计出“谷底在哪”,而非仅仅判断“哪边最陡”。即SGD/Adam 主要看“当前坡度”,LBFGS 还会看“最近几步坡度怎么变”,像用局部地形图来规划路线。训练 Transformer 时,有些层梯度大,有些层梯度小。如果用 Adam + L2,梯度大的参数反而可能被“少衰减”,正则效果不稳定;:你要下山,但每次迈步前都要派侦察兵把整座山的每一个坡面都测量一遍,算出“绝对最陡”的方向才走一步。:还是下山,但这次你只问身边一个路人“哪边最陡”,然后就走。

技术管理两手抓,两手都要硬. 218

【无标题】无人机视角道路坑洞坑洼目标检测数据集深度学习 目标检测 无人机航拍 道路坑洞 路面病害 YOLO格式 数据集发布9032期

(一)类别构成该数据集聚焦单一类别——坑洞(类别 ID 为 0),任务指向明确,围绕无人机俯视视角下的道路坑洞目标开展检测标注。类别体系精简,与公路路面病害巡检的实际需求高度契合,图像中的坑洞样本可直接作为路面破损识别的核心正样本,便于对接道路养护排查流程。(二)数据数量数据集规模为 3285 张无人机俯视航拍图像,采用标准 YOLO txt 标注格式,标注框总计 4457 个,其中带有效标注的图片 2007 张,全部图片均带有有效标注。

qq_2529413168的博客 179

基于深度学习的猫图像目标检测方法研究:YOLOv8s模型海选、多种子对比训练与Django+ONNX部署实现详解

本课题基于深度学习研究猫图像目标检测问题。数据集含1000张猫图像、1188个标注框,按固定比例划分并冻结清单;训练前在多个候选族中短训海选,确定YOLOv8s为主模型,经学习率搜索与显存标定后完成150轮训练,验证集mAP50达到0.92,并以7个随机种子的对比实验验证稳定性。最优权重导出为ONNX接入Django系统,提供图片、视频、摄像头三种识别方式,配套识别记录管理与统计大屏,形成从训练到应用的完整闭环。

WEIXIN_JSJBSZDS的博客 207

第 05/24 期:计算图与自动微分:深度学习如何计算梯度

本文系统阐述了神经网络训练中梯度计算的本质:损失对参数的敏感性。通过构建计算图,将复杂函数分解为基本运算,利用链式法则实现反向传播。核心在于反向模式自动微分——以一次前向计算为基础,通过传播输出对中间变量的敏感性,高效求得所有参数梯度。相比前向模式,反向模式在参数多、目标为标量的场景下更高效。计算图不仅适用于神经网络,也广泛适用于任意可微程序。关键思想是:梯度是局部导数与上游敏感性的乘积,分支路径的贡献需累加,从而保证导数计算的正确性与效率。

weixin_47502228的博客 305

【深度学习项目实战·30】PM2.5短期预测:用LSTM构造没有未来信息的滑动窗口

本文基于北京PM2.5数据,使用LSTM实现从最近24小时历史观测预测下一小时PM2.5。重点解决时间切分、因果填补、滑动窗口构建与标准化等关键问题,确保模型仅依赖过去信息,避免未来泄漏。通过滚动单步预测与持续性基线对比,评估在原始单位下的MAE/RMSE,验证模型有效性。强调时间顺序与数据完整性,为时序预测提供可复现的实践框架。

银尘博客 493

无人机巡检道路路面异常检测数据集 深度学习 目标检测 无人机巡检 道路病害 路面异常 YOLO格式 数据集发布9028期

无人机巡检道路路面异常检测数据集 深度学习 目标检测 无人机巡检 道路病害 路面异常 YOLO格式 数据集发布9028期

qq_2529413168的博客 204

AI 学习第 14 课:CNN 训 6 轮卡在 0.5352,数据没打乱

第 13 课把 Conv2d 的参数量和池化后的尺寸算清了,这课把卷积块拼成一个能训练的完整网络,跑满 6 个 epoch。第一版直接卡死:loss 从 2.6104 掉到 0.6989 就再也不动,

aifannihao的博客 247
上一篇: 视觉自回归建模:通过“下一尺度预测”实现可扩展的图像生成
下一篇: 基于扩散模型的高光谱图像恢复:LatentHSI潜在空间建模思路
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值