- 博客(41)
- 收藏
- 关注
RSS订阅原创 强化学习笔记6--IS、PPO、TD、DQN、Actor-Critic
在无法直接从目标分布采样时，通过另一个采样分布的样本，加权修正后估计目标分布下的期望。方案核心操作优点缺点随机采样近似采样K个动作取Q最大实现极简单，无需网络结构设计近似粗糙，高维失效，计算随K线性增长梯度上升对输入动作做梯度上升求argmax比随机采样更精准局部最优，每步多轮迭代耗时，梯度计算开销大NAF 网络解析强制Q为二次型，直接输出μ和Vargmax与max解析可得，训练高效Q表达力受限，仅适用于单峰、低维动作空间在实际应用中，NAF曾用于仿真机器人控制；
2026-08-04 18:52:09
365
1
原创 MC和TD特点
在给定状态s下，MC会耐心等待episode结束计算真实回报 Gt，Gt 的期望等于状态真实价值无论 V 当前估计得多不准，MC 的更新目标本身就是真实回报的一个无偏样本。所以。如果 V(s′)≠vπ(s′)，则这个期望vπ(s)，从而引入偏差。V(s′)往往会随机初始化，然后再慢慢根据公式收敛到vπ(s′)。即使最终 TD 在查表法下可以收敛到真实值（偏差消失），但在有限样本、函数逼近或学习过程中，，而且这种由不准确自举值带来的偏差会持续存在，直到价值函数完全准确。
2026-08-04 16:30:56
359
原创 强化学习笔记4--TD算法
TD 是一种无模型的强化学习方法，用于评估给定策略的状态价值函数 Vπ(s)Vπ(s)。它的目标是，在不知道环境模型（状态转移概率）的情况下，仅通过智能体与环境交互获得的经验序列，逐步逼近贝尔曼期望方程的解。经验序列通常记作：每一步转移都产生即时奖励 rt+1 和下一状态 st+1。算法行为策略目标策略同/离策略说明基础 TD(0) 预测待评估策略 ππon-policy评估给定策略的状态价值SARSA当前执行的策略 π（如 ε-greedy）同一策略 πon-policy。
2026-07-27 16:55:18
352
原创 强化学习笔记3--最优贝尔曼、蒙特卡洛
存在一个策略 π* ，使得对任意状态 s∈S和任意其他策略 π ，都有：此时称 π* 为最优策略。注意，这里使用的是“≥”而非“>”，因为可能存在多个策略在所有状态下都达到相同最大值，即最优策略不唯一。
2026-07-26 15:29:32
215
原创 强化学习笔记2--bellman equation
在策略π下，从某个状态s开始会有多个trajectory，计算所有trajectory的平均Discounted Return，即为s1在策略π的state value，记为如果在策略π中，s开始仅有一条trajectory，那么s的state value等于s的在这条trajectory的discounted return。学习了state value后action value就很好理解了，state value会计算状态s下所有action的平均return。
2026-07-22 19:21:29
197
原创 强化学习笔记1--基础概念
示例：p(r=1∣s1,a1)=1 表示在状态 s1 采取动作 a1 后，得到奖励 1 概率为100％。注意：即时奖励 Rt+1不被折扣（即系数为 1），后续奖励才依次乘以 γ,γ²,…在当前状态 s 执行动作 a 后，环境转移到下一状态 s′ 的过程。随机策略：π(a∣s) 表示在状态 s 下选择动作 a 的概率，满足。确定性策略可视为特殊情形，某个动作为 1，其余为 0。进入即受严惩（极大的负奖励），用来表示危险或约束。智能体在环境中所处的情形，是对当前环境的描述。在某状态下智能体可以执行的操作。
2026-07-22 15:55:26
210
原创 动手学深度学习笔记--卷积层、微调
当输入为二维图像 / 特征图时，全连接层的矩阵乘法可扩展为四阶权重张量形式，完整描述二维位置间的全连接关系：计算公式为：全连接层每个输出神经元与所有输入像素全相连，处理图像时存在两个本质问题：参数量爆炸：输入图像尺寸稍大，权重参数量便会急剧增长，易引发过拟合，且计算效率极低；空间结构丢失：将二维图像展平为一维向量进行计算，破坏了像素间的空间邻接关系，无法有效捕捉图像的局部语义模式。卷积层正是基于平移不变性与局部性两大视觉先验，对全连接层做约束与简化，从而适配图像数据的特性。为引入空间相对关系，我们对输入坐标
2026-07-20 18:02:18
354
原创 RAG学习总结4--架构演进
检索增强生成（Retrieval-Augmented Generation, RAG）技术从诞生至今经历了三代核心形态的迭代，从固定流水线逐步走向灵活化、智能化，是大模型落地垂类场景的核心技术方案。
2026-07-17 20:44:07
312
原创 动手学深度学习笔记--训练注意、梯度问题
用于模型核心参数（权重、偏置等）的迭代更新，是模型直接学习拟合的数据源，决定了模型能学到怎样的规律。：在模型最终定型后使用，用于评估模型真实的泛化能力，反映模型在全新未见数据上的实际表现。
2026-07-17 19:07:16
358
原创 动手学深度学习笔记--三种常见损失函数、从零实现softmax
L2 Loss、L1 Loss、Huber Loss 是回归任务的三类经典损失函数，核心差异在于对预测误差的惩罚力度与梯度特性不同，最终在可导性、异常值鲁棒性、收敛速度三个维度形成明确的取舍。L2 Loss误差小时效果较好，误差较大的少量数据会导致训练不稳定，适用于干净数据情况，如经典线性回归、数据噪声极低的回归任务。L1 Loss即使误差较大也能平稳的进行更新，对异常值有较好处理，但在接近最优解时会使更新步长过大，适用于数据异常值多、对精度要求低于稳定性的回归任务。
2026-07-16 19:32:49
272
原创 RAG学习总结3--检索技术
将查询和文档转化为高维稀疏向量，维度通常为整个词汇表大小。只有当查询或文档涉及特定词语时，对应维度才为非零值，大部分维度为零，故称“稀疏向量”。通过计算两个稀疏向量在相同维度上的匹配程度（如内积、词项匹配得分）来判定相关性。举例：词汇表为 [苹果, 手机, 牛奶, 鸡蛋]。文档“苹果手机很好用”对应向量为 [1,1,0,0]；查询“苹果牛奶”对应向量为 [1,0,1,0]。
2026-07-13 19:16:19
276
原创 动手学深度学习笔记--数据操作、线性代数
标量是仅含单个数值的数学对象，在 PyTorch 中由单元素张量表示，支持基础算术运算。# 定义两个标量张量（单元素张量）# 加法：对应数值直接相加 3.0 + 2.0 = 5.0# 乘法：3.0 * 2.0 = 6.0# 除法：3.0 / 2.0 = 1.5# 幂运算：3.0的2.0次方 = 9.0。
2026-07-11 17:52:04
297
原创 深度学习入门学习笔记--感知机、神经网络
输入信号 x1,x2 会被赋予对应的权重 w1,w2（也叫参数），神经元对加权后的输入求和，当求和结果超过某个阈值 θ 时，输出 1（神经元被激活），否则输出 0。和感知机的核心差异：感知机使用阶跃函数（二值离散输出），神经网络使用连续可导的激活函数，支持通过梯度更新参数完成学习。神经网络在感知机的基础上，引入平滑可导的激活函数与多层结构，支持通过梯度法自动学习参数，是深度学习的核心载体。激活函数会将输入信号的总和转换为输出信号，比如感知机实现的与门x1，x2均为1，输出y为1。
2026-07-11 16:29:55
302
原创 学习 深度学习9-ResNet总结
残差块的跳跃连接让网络可以容易地学习恒等映射，解决了深度网络中的退化问题，使数百甚至上千层的网络成为可能；批量规范化有效对抗梯度消失、加速收敛，并降低对初始化的敏感性；两者的结合，共同成就了 ResNet 在深度学习和计算机视觉领域的里程碑地位。
2026-07-09 09:55:40
196
原创 损失函数、参数更新与常用激活函数总结
损失函数是模型优化的“指南针”，通过与梯度下降等优化算法配合，指导参数向减小损失的方向更新。激活函数为神经网络引入非线性，是深层网络能够拟合复杂函数的关键。在实际应用中，ReLU 及其变体（如 Leaky ReLU）因计算高效和能有效缓解梯度消失，已成为隐藏层最常用的选择；Sigmoid则凭借其概率输出特性，常用于二分类输出层；Tanh在需要零均值输出的场景（如某些循环神经网络）中仍有应用。选择合适的激活函数需要结合任务需求、网络深度和训练经验进行综合考量。
2026-07-08 17:26:40
208
原创 RAG学习总结2--向量数据库
例如，768 维切 96 段，每段用 256 个中心量化，存储从 768×32bit 变为 96×8bit，压缩 32 倍。：实际项目中常将向量语义检索与标量过滤、全文检索等结合，先通过元数据过滤候选集，再进行向量相似度排序，或融合多种得分做最终排序。近似距离计算：查询时，预计算查询向量每段与对应码本所有中心点的距离，查表组合近似得出全向量的距离，速度快且无需解压。优点：简单，计算仍为整数运算，精度损失温和均匀。：使用稠密向量做语义，稀疏向量做关键词匹配，结合 BM25 等分数，实现语义和字面兼顾的检索。
2026-07-07 16:47:33
361
原创 RAG学习总结1--初步理解、分块策略
检索增强生成（Retrieval-Augmented Generation，RAG）是一种将信息检索与语言模型生成相结合的技术。它在生成回答之前，先从外部知识库中检索出最相关的知识片段，再将这些片段与用户问题一起输入大语言模型，引导模型生成更准确、更有依据的答案。。
2026-07-06 16:40:16
180
原创 学习 深度学习8-GoogLeNet总结
GoogLeNet（又名 Inception v1）由 Google 团队于 2014 年提出，在当年的 ImageNet 图像分类竞赛中获得第一名。引入 Inception 模块：通过多尺度卷积核并行提取特征，再在通道维度融合。用全局平均池化替代全连接层：大幅减少参数量，抑制过拟合，并使模型能接受任意尺寸的输入。使用辅助分类器：在网络中间层注入梯度信号，有效缓解深层网络的梯度消失问题。以22 层的深度，实现了比同年 VGG 更少的参数量（约 1/12）和更高的计算效率。全局架构。
2026-07-06 10:40:45
360
原创 Spring Ai学习--向量检索
语义越接近的文本，其向量在空间中的距离（余弦相似度或欧氏距离）也越近。通常还需要进一步切分成更小的块，以满足模型的 Token 限制、保持语义完整性和提高检索精度。：与关系型数据库深度集成，支持 ACID 事务，元数据过滤可使用标准 SQL 语法。：部署简单（Docker 或嵌入式），提供 Web UI，支持元数据过滤。这三种均为高性能、分布式的专业向量数据库，适合企业级大规模数据场景。用于构建语义检索条件，支持设置返回数量、相似度阈值和元数据过滤。：低延迟、高吞吐，支持 FLAT、HNSW 等索引算法。
2026-07-02 17:05:36
228
原创 学习 深度学习7-VGGNet总结
VGGNet是由牛津大学视觉几何组（Visual Geometry Group）于2014年提出的经典卷积神经网络模型。相较于此前占据主导地位的AlexNet，VGGNet通过与，显著加深了网络结构，参数。
2026-07-01 10:56:20
347
原创 Spring Ai学习--ChatModel
ChatModel是 Spring AI 中用于与大语言模型交互的核心接口，继承自并实现了接口。：同步调用，返回完整的。：流式调用，返回，支持实时逐 token 输出。便捷方法：可直接传入String或Message...，内部会自动包装为并返回纯文本回复，适合快速原型开发。
2026-06-22 17:23:32
319
原创 Spring Ai学习-概念分析
测试结果(call):{"media":[],"messageType":"ASSISTANT","metadata":{"role":"ASSISTANT","messageType":"ASSISTANT","refusal":"","finishReason":"STOP","annotations":[],"index":0,"id":"chatcmpl-DtTuLugGQY4ErQErVMU8PIklBgFbd"},"text":"1 + 1 = 2","toolCalls":[]}
2026-06-22 16:04:38
301
原创 SSE模式创建MCP服务器工具
以SSE模式创建MCP服务器工具可以归结为以下几步:引入mcp相关pom依赖 -> 进行对应的配置 -> 创建服务对应request、response类 -> 编写业务具体实现 -> 注册mcp工具。
2026-05-21 18:08:45
275
原创 学习 深度学习6-LeNet-5与AlexNet总结
LeNet-5是由Yann LeCun等人于1989年提出的卷积神经网络（CNN），是最早实现商业化应用的CNN模型之一，核心用于手写数字识别（MNIST数据集），为后续卷积神经网络的发展奠定了基础。
2026-04-21 11:27:23
384
原创 学习 深度学习5-循环神经网络总结
循环神经网络（Recurrent Neural Network, RNN）具备时序处理能力，可对多时间步序列数据进行迭代处理。其核心特征是：除输入层提供的特征向量外，前一个时间步的隐藏状态会作为当前时间步的输入，因此输入的序列数据需满足特定的时序顺序，以保证模型能捕捉序列中的时序依赖关系。
2026-04-19 11:16:23
404
原创 学习 深度学习4-卷积神经网络总结
卷积神经网络（Convolutional Neural Network, CNN）是在全连接神经网络（FCNN）基础上优化而来的深度学习模型，核心优势是（尤其适用于图像、视频等二维/三维数据），通过卷积层、池化层的特征提取与降维，解决了FCNN处理图像时破坏空间性、参数冗余的问题，最终通过全连接层完成分类、回归等任务。
2026-04-09 16:41:43
418
原创 学习 深度学习3-全连接神经网络总结
全连接神经网络（Fully Connected Neural Network, FCNN）是最基础、最经典的神经网络结构，其核心特征是，即上一层的每个神经元都会与下一层的所有神经元建立连接，信息通过权重传递、激活函数处理，最终完成数据的拟合与预测。
2026-04-09 16:00:58
486
原创 学习 深度学习2-逻辑回归总结
可知函数值∈[0, 1]， 将z替换为线性回归模型的表达式 𝑧 = 𝑤0 * 𝑥0 + 𝑤1 * 𝑥1 + ... + 𝑤𝑛 * 𝑥𝑛 + 𝑏。回归：输入变量与输出变量均为连续数值，如输入为学习时间，输出为测试分数 90，90.1，90.2...利用梯度下降法进行调整，分别使损失函数作为参数w和b的函数利用梯度下降法进行调整求解。样本概率相乘得到表达式为损失函数表达式，由于乘积表达式较难参与运算，可将其求对数。分类：输出变量为离散的优先数值，如输入为学习时间，输出为测试是否及格 0/1。
2026-04-05 16:22:48
58
原创 学习 深度学习1-线性回归总结
(xm,ym)}，每组数据包含多维特征 xi 与对应真实结果 yi。将均方误差损失视为关于 w 的二次函数，对 w 求导并令导数为 0，此时原函数有最小值，loss最小，直接得到全局最优闭式解。该方法依旧利用loss关于w的二次函数关系，求出导数，利用导数的正负和数值不断地修改w的值，直到导数接近0，最终获得最适合的w。对于多个特征的情况，每个 w 单独求偏导，得到各自梯度，所有梯度算完后，同步更新所有 w。暴力枚举所有可能的参数 w，逐一计算损失函数 loss，找到使 loss 最小的 w。
2026-04-04 22:25:53
47
原创 个性化活动智能推荐平台智能推荐实现
根据用户偏爱表(用户id，活动id，偏爱值)，任意两个活动如果被相同的人参与即有相似度，相同人数占比越多相似度越高。1、根据用户信息（如用户标签）利用RAG进行活动筛选 选取最符合条件的N个活动。3、将上述推荐活动混合放入redis存储作为该用户专属今日推荐活动池。推荐的三大步中获取推荐活动通过工厂模式+责任链模式实现。RAG推荐-->相似推荐-->活动组装返回。默认节点，用于返回活动id。相似矩阵每日进行更新，
2026-02-11 18:24:38
214
原创 个性化活动智能推荐平台26-1.31
活动由“已创建”更新为“预约中”由创建者自行开启。开启后redis中存储相关数据，设置过期时间活动的开始时间。数据过期后会被自动监听并更新活动状态。包含活动的增删改查与向量库对应的操作。redis消息过期监听。
2026-01-31 15:54:08
179
原创 个性化活动智能推荐平台26-1.24
postgresql作为向量化数据库用于互动信息嵌入 需配置双数据源。完成yml配置 项目设计考虑使用mysql作为主数据库存储数据。pom文件引入sping ai依赖。ai配置类与数据库配置类。
2026-01-24 15:50:10
36
原创 个性化活动智能推荐平台活动操作
遵循DDD设计 应考虑到mq应在基础设施层调用，业务处理位于domain层。由于消息发送事件类型丰富 考虑采用抽象类实现事件框架 具体类实现细节。嵌入处理启动位于消息监听器防止代码杂乱 可以考虑采用策略模式。用户对活动的操作此次实现活动的新增，修改，删除部分。首先构建发送消息所需工具：消息发送器，消息发送事件。根据接收消息中的嵌入类型（增删改）做具体处理。vectorizeActivity方法。流程图如下 步骤较为简单。
2026-01-22 16:54:08
47
原创 个性化活动智能推荐平台前期设计1
系统结合RAG技术，从活动库中检索相关活动介绍作为上下文，调用AI大模型进行分析与理解，最终以对话形式向用户推荐相匹配的活动列表或解答相关问题。系统后端实现“Redis缓存 + 滑块锁”的组合式高并发控制策略，在预约高峰时段确保活动名额的零超卖，并实现削峰填谷，保障系统稳定。活动组织者可以创建、发布、更新及下线线下活动，活动信息包括标题、详情、时间、地点、人数上限等。时序图设计较简单 实现过程中的组件越用未体现。
2026-01-13 15:59:53
61
原创 408考研知识整理：数据结构、操作系统、计算机组成原理、计算机网络
排序是将一组对象按照某种逻辑顺序重新排列的过程。：重复地遍历待排序的数列，一次比较两个元素，如果他们的顺序错误就把他们交换过来。遍历数列的工作是重复进行直到没有再需要交换，也就是说该数列已经排序完成。：通过构建有序序列，对于未排序数据，在已排序序列中从后向前扫描，找到相应位置并插入。插入排序在实现上通常使用in-place排序（即只需用到O(1)的额外空间）。：是一种简单直观的比较排序算法。
2025-06-10 10:29:01
686
原创 抽奖项目压测报告
响应时间 38ms左右 优化效果不大 吞吐量 194.2/s 优化效果显著。响应时间 30ms左右 吞吐量 49.5/s。响应时间 33ms左右 吞吐量 97.9/s。响应时间 37ms左右 吞吐量 24.0/s。jmeter请求数据为500条。- Ramp-Up：20秒。- Ramp-Up：10秒。- Ramp-Up：30秒。- Ramp-Up：30秒。
2025-04-16 21:19:37
202
原创 C语言文件操作
stdout 标准输出：终端 stdin 标准输入：键盘 stderr 标准错误。10、程序执行时，内容会暂放在缓存区，将内容放置在指定文件有三种方法。1、打开文件函数 fopen("路径名","打开方式")3、输入函数 fputc("输入内容","文件地址")fseek(FILE*，移动个数，移动方式)2、关闭文件函数 fclose(文件地址)将一个文件中的文本复制到另一个文件。8、fprintf 文件组包。7、fscanf 文件拆包。4、feof(文件地址)(3)、程序执行结束。
2023-03-13 19:16:31
337
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人