liuan957-优快云博客

原创 Plugmem

Plugmem提出了一种创新的智能体长期记忆管理方案，通过将原始交互轨迹转化为结构化知识来解决传统记忆系统的痛点。该系统采用强化学习五元组(G,S,A,R,S')标准化输入，并提炼为两类高密度知识：事实性知识（回答"What"）和程序性知识（回答"How"）。其三层架构包含情境记忆层、语义子图和程序子图，通过结构化、检索和推理三个模块协同工作，实现知识的自动化CRUD操作。实验表明，Plugmem能显著提升智能体性能，同时降低记忆token消耗，使记忆从系统负担转变为

2026-03-19 11:36:27 765

原创 AI Memory研究方向

当前AI记忆研究呈现工程/提示词驱动型与模型驱动型两大方向。API驱动型通过外部数据库存储记忆，成本低但缺乏自主性；模型驱动型将记忆编码进参数，更具原生性但算力需求高。研究建议突破传统"数据结构游戏"，转向认知架构设计，引入闭环学习和强化记忆管理，解决记忆衰减、冲突等核心问题。创新方向包括生成式潜变量记忆（GLM）和模拟操作系统的层级存储（MemoryOS），通过自进化解耦和分层调度优化记忆效能。未来需重点攻克动态记忆质变、高效检索和多代理共享等挑战。

2026-03-18 16:59:34 472

原创 AI memory遇到的难题

当前大模型普遍采用"向量数据库+嵌入检索"作为AI记忆架构，但这种日志式系统存在三大核心问题：1）记忆压缩（Memory Compaction） - 需借鉴LSM-tree的压缩机制，通过定期或基于相似度触发来精简冗余记忆；2）记忆进化（Memory Evolution） - 需实现事实更新、时间标签管理（时间戳/置信度/有效窗口）和长短期记忆分层；3）记忆冲突解决（Memory Conflict Resolution） - 需结合时间优先、置信度机制、来源追踪和多版本记忆等策略。理想的

2026-03-18 14:00:12 676

原创 Day16 生成实战

使用的是MLM,Bart模型在摘要生成达到了最好的效果，与Bert不同，Bart是一个生成模型。Bart的预训练更加丰富多样，同时是通过生成的方式进行预训练。也就是说，Bart在摘要生成效果最优的核心是。预训练数据要分清训练集、验证集、测试集，训练集，所有集的 X 可参与，任何集的 Y 不可参与，验证集 Y 是预训练效果监控的核心，绝对不能泄露。，这是与 Encoder-only 的 Bert 最本质的差异。三要素，是拆解所有大模型预训练的通用思路。分析 Bart 预训练的核心框架固定为。

2026-02-06 15:57:19 36

原创 Transformer学习五问

Transformer模型的输入经过词嵌入和位置编码处理，分为Encoder和Decoder两部分输入。模型通过三种掩码（填充掩码、未来掩码等）确保注意力计算的合理性。交叉注意力是Decoder独有的层，连接Encoder和Decoder实现信息传递。训练阶段采用教师强制策略并行计算，测试阶段则需自回归逐词生成。损失函数使用带Padding屏蔽的交叉熵损失，通过反向传播更新所有参数。这些机制共同构成了Transformer处理序列任务的核心架构。

2026-02-04 19:51:50 1059

原创 Day15 生成任务（二）

本文讨论了生成任务中的三个关键问题：1）训练与推断的差异，指出训练时直接使用标签而推断需逐token生成；2）介绍了BeamSearch策略，通过保留k个候选序列来避免贪心搜索的局部最优问题，但计算复杂度更高；3）分析了交叉注意力机制的作用，它让解码器在生成每个token时能动态关注编码器输入的相关部分，成为编解码器间的关键信息桥梁。这些技术共同解决了生成任务中的信息利用和最优序列选择问题。

2026-02-04 19:25:44 45

原创 Extra（一）注意力机制再理解

注意力机制是一种让模型有选择性地关注输入序列重要部分的加权求和方法。它解决了传统Seq2Seq模型中长序列信息丢失的问题，通过让Decoder在生成每个输出时动态关注Encoder输入的相关部分。工作原理分为三步：计算当前生成token与输入序列的相似度，归一化为注意力权重，然后加权求和得到包含关键信息的注意力向量。这样Decoder能更精准地生成输出，避免了单一语义向量的信息瓶颈问题。

2026-02-01 21:51:43 528

原创 Day14 生成任务（一）

摘要：本文介绍了机器学习常见任务（回归、分类、聚类等），重点阐述了序列生成任务中的Seq2Seq模型和自回归机制。Seq2Seq通过编码器将输入序列转化为语义向量，解码器基于该向量逐步生成输出序列。自回归是解码器的核心策略，以前面生成的token为上下文预测下一个token，具有生成质量高但速度慢的特点。文中以"I like studying"的翻译为例，展示了自回归逐字生成的过程，并分析了其优缺点：上下文连贯但误差会累积。

2026-02-01 14:04:53 993

原创 Day13 BERT实战

（Tokenizer生成的输入包含：input_ids ：文本对应的ID序列、attention_mask ：注意力掩码，标记有效token、token_type_ids ：句子类型ID）（Tokenizer会自动添加BERT需要的特殊标记：[CLS] ：序列起始标记，用于分类任务、[SEP] ：句子分隔标记，用于句子对任务。[PAD] ：填充标记，用于统一序列长度）欺诈检测：99%的交易是正常的，1%是欺诈的。比如：商务大床房，分为，商/务/大/床/房，汉字一共有21128个，每一个都有自己的编号。

2026-01-29 20:28:22 521

原创 Day12 自注意力机制

本文摘要：Transformer架构及其核心组件解析。自注意力机制通过动态权重计算实现序列元素间的全局关联，多头注意力则扩展为多视角特征提取。Word Embedding克服了独热编码的维度问题，位置编码保留序列顺序信息。Transformer采用残差连接和层归一化解决深度网络训练难题，其编码器-解码器结构广泛应用于机器翻译等任务。BERT作为典型应用，通过掩码语言模型和下一句预测进行自监督预训练，输入融合位置、片段和词嵌入，输出采用CLS标记或池化策略。该架构已成为现代NLP系统的基础。

2026-01-26 16:17:48 1148

原创 Day11 深度学习与特征

本文系统梳理了深度学习模型分类与特征，涵盖CNN、RNN、Transformer等7类主流模型的核心特性及应用场景。重点分析了无监督学习方法，包括对比学习（Simsaim）、生成对抗网络（Cycle-GAN）和自编码器等技术原理，强调通过数据重构/生成任务实现特征学习。特别指出无监督预训练（如GPT）作为上游任务的价值，以及对比学习在小样本场景的优势。最后解析自编码器通过"编码-解码"架构实现特征分离与降维的机制，展现了无监督学习在特征提取方面的强大潜力。（149字）

2026-01-17 11:20:43 1109

原创 Day10 监督学习与无监督学习

有标签数据训练：使用 AdamW 优化器和交叉熵损失函数，训练模型直到验证准确率超过 0.6（触发半监督训练的阈值）半监督学习：先用少量标签数据学习基础的特征规律，再利用大量无标签数据挖掘数据的内在结构，从而提升模型的泛化能力。目标不是 “预测”，而是发现数据本身的模式，比如聚类、降维、关联规则挖掘。目标是学习一个 “预测模型”，用这个模型对未知标签的新数据进行判断。半监督数据的训练过程与有标签数据相同，通过反向传播更新模型参数。要有监督的训练，进行模型初始化以及有标签数据训练。

2026-01-16 22:32:17 920

原创 Day09 神经网络实战小结

导入库是理解项目代码的起点，如果导入的库都不理解，更别说理解和运用各模块的功能了。与我而言，从线性回归到神经网络，最基础的库就是torch、nn、Dataloader和Dataset用的比较多，用于构建数据集，是一定要会用的。数据的读取也就是输入，是要掌握的内容，如果读取数据不正确，是得不到想要的结果的。如上图代码，Xi是放入存储数据的数组，Yi则是对应的标签数组。总而言之，这是我神经网络学习实战的一部分，和线性回归有一部分的相似之处。，它的作用是简化多维数组的索引写法，也就是说。包含所有类别的图像数据。

2026-01-15 14:18:33 917

原创 Day08 神经网络学习小结

本文摘要了卷积神经网络的核心计算与设计要点：1)参数量计算公式，包括卷积层、全连接层和批归一化层；2)经典网络设计方法，如AlexNet的卷积核递减策略和ResNet的残差连接；3)PyTorch的nn模块功能，涵盖网络构建、损失函数和优化流程；4)关键技术细节，包括特征图展平(view操作)、ReLU激活原理、张量维度关系(NCHW格式)以及特征图尺寸变化规律。重点阐述了深度与通道数的关系、前向传播中的尺寸递减现象，以及残差网络解决梯度问题的创新设计。

2026-01-13 17:25:27 1098

原创 DAY7 图像分类二

摘要：AlexNet开启了深度学习热潮，其创新点包括ReLU、Dropout、池化和归一化等技术。Dropout防止过拟合，归一化使模型更关注数据分布而非量纲。ResNet引入1×1卷积和残差连接，减少参数量并解决梯度消失问题。卷积作为参数共享的非全连接层，能显著降低参数量。深度学习本质是特征提取，卷积和全连接层作为特征提取器，最后的全连接层称为分类头。这些技术共同推动了深度学习的发展。

2026-01-12 19:15:09 211

原创 DAY6 图像分类

更多的卷积核层数获得新特征图，卷积核自身的深度和原始特征图保持一致。一个卷积层：从一个特征图到另一个特征图。卷积核的参数量如何计算：特征图不是参数，输出的特征图也不是参数，只有中间的卷积核才是参数θ。卷积得到的特征图大小 = （特征图 - 卷积核 + 2 * padding + 1）²。卷积核得到的特征图大小与深度无关，与卷积核数量有关，而卷积核参数量和深度、卷积核数量有关。小图：卷积核大图：特征图 ——得到feature map：卷积核在特征图上去卷得到的结果。Linear:全连接。

2026-01-12 00:24:49 646

原创 DAY5 回归代码详解

model:待训练的模型、train_loader:训练数据加载器、val_loader:验证数据加载器、lr：学习率、optimizer:优化器、device:运行设备（CPU或GPU）、epochs:训练轮次、save_path:模型存储路径。清除当前轴，绘制训练和验证损失曲线，设置标题和图例，暂停一小段时间以更新图形。这个类的作用是数据加载与处理，数据加载csv.reader(f)，csv.data保存的数据是清洗过的，因为零行零列是没有价值的，同时进行数据转换，将字符串通过astype转为浮点数。

2026-01-10 15:15:48 736

原创 Day04 回归实战

Data:一般输入是文件地址，或者数据内容，输出是一个存储了数据X,Y的数据结构。训练流程最关键的三部分：Data、Model、HyperPara，研究大佬的算法也是从这三方面研究的。DataSet:作为一个类，他有三个函数：init、getitem、len。HyperPara:除模型外的超参，一般包含：学习率、优化器、损失函数等。模型就像爱情，有荡气回肠的故事，也就是linear的设计。Model:定义自己的模型——输入X，输出预测值。训练集、测试集、验证集一般均分，还要随机。训练集，测试集，和验证集。

2026-01-07 14:04:51 351

原创 Day03 线性回归学习

本文介绍了PyTorch中张量的概念及其核心特性（GPU加速和自动求导），并详细讲解了torch.normal()函数创建正态分布张量的方法。重点阐述了线性回归模型的实现流程：1) 使用data_provider函数分批提供数据；2) 通过fun函数进行前向传播；3) 用maeLoss计算损失；4) 采用sgd优化器更新参数。文中还说明了模型训练的完整流程，包括epoch循环、批次处理、损失累加等关键步骤，并强调了梯度清零的重要性。最后指出这是深度学习的基础示例，涵盖了从数据创建到模型训练的全过程。

2026-01-04 21:21:57 841

原创 DAY 2

本文系统介绍了神经网络的核心原理与应用。首先阐述了神经元模型与矩阵运算的关系，指出激活函数（如sigmoid、ReLU）引入非线性对解决复杂问题的关键作用。其次详细解析了神经网络训练过程，包括前向传播、梯度回传和参数更新机制。文章对比了不同网络深度（如VGG、GoogleNet、ResNet）的性能差异，探讨了过拟合与欠拟合问题及解决方法。最后指出神经网络虽能处理复杂任务（图像生成、人脸识别），但在简单问题上可能表现不佳，强调大模型具有先验知识的优势。全文贯穿了从传统神经网络到深度学习的演进过程，突出了算力

2025-12-30 20:31:29 671

原创 DAY 1

把输入和输出给机器，“一个黑匣子”，规则是不确定的，但效果不错，即可投入使用。深度学习的思想类似于愤怒的小鸟，不断优化自己的函数，比如线性函数，二次函数，任意阶函数……y尖为预测值，y尖 = wx + b,w为weight权重，b为bias偏差，未知参数。对于机器学习而言，很难制定规则，期望电脑自己去学习一套规则，这就是深度学习，比如ALPHAGO。③序列：有前后关系，比如：天、月、年，“我用的苹果、我吃的苹果”，视频。对于传统系统而言，规则是有迹可循的，比如象棋，电脑会输出响应的答案。

2025-12-29 20:41:07 323

原创 C盘清理这一块

清理浏览器缓存，包括Chrome、Firefox等浏览器的临时文件。使用工具如TreeSize分析C盘中占用空间较大的文件。检查C盘当前使用情况，了解哪些文件占用了大量空间。勾选需要删除的文件类型，如临时文件、回收站内容。关闭正在运行的程序，确保清理过程顺利进行。启用NTFS压缩功能，减少文件占用空间。养成良好文件管理习惯，避免C盘空间不足。打开磁盘清理工具，选择C盘进行扫描。设置自动清理任务，定期执行磁盘清理。进入系统高级设置，选择性能选项。使用脚本或工具自动化清理过程。点击确认删除，释放磁盘空间。

2025-12-29 19:08:18 246

liuan957的博客