- 博客(13)
- 收藏
- 关注
RSS订阅原创 大模型-强化学习-知识图谱在智能体中的关系
知识图谱用于给智能体提供规则和试错记忆，大模型在分解任务时需参考知识图谱记忆之后做出决定。如何通过不同技术路径实现智能体的环境交互与决策优化。强化学习用于执行任务且处理任务过程中的突发事件。大模型用于分解长程任务为单个步骤。
2025-05-27 12:27:56
225
原创 BatchNorm（BN层）到底会不会破坏模型已经学到的特征分布？
* Batch Normalization（BN）**的作用是：BNxγσ2ϵx−μβx：原始特征μσ2：是当前batch中每个通道（特征）计算出来的均值、方差γβ：是可学习的缩放（scale）和平移（shift）参数也就是说，BN不仅做归一化，还允许通过𝛾和 𝛽 恢复甚至放大、调整特征。
2025-04-28 19:07:15
521
原创 深度学习与强化学习各司其职
大模型可作为中枢神经进行总体决策。而强化学习模型可分布于各智能体中，前期可能需要大模型的决策作为指导，而后期伴随着人类的不断使用，智能体能自己获取最佳方案，最终形成自我决策（肌肉记忆）。与多智能体不同，机器人需要集感知-行为-决策 为一体。对肢体的控制可由大脑（大模型）来控制，但又不能完全由大脑进行控制，需产生肌肉意识（强化学习模型）。当我们拿起矿泉水瓶想喝水时，拧开瓶盖到把水往嘴里灌这个过程的决定没有经过大脑，甚至于我们眼睛看都不看瓶盖，直接拧开就喝了。
2025-04-10 17:43:55
217
原创 YOLO.v11
利用reg_max个数值代表dx, dy, dw, dh四个方向上的偏移，然后采用计算期望的方式计算reg_max个数值的期望，最终获得连续值。设置不同任务的共性作为基础模型basemodel，不同任务继承基础模型，并在此基础上增加不同任务的特性，提高代码延展性。中，anchor的回归过程直接采取数值回归的方式，计算(dx, dy, dw, dh)，此种方式不易优化且误差较大。anchor dx方向上的偏移量归一化后形成的概率分布为[0.1, 0.5, 0.1, 0.3]1.6即为dx方向上的回归偏移量。
2025-02-21 14:16:51
479
2原创 pytorch DDP 分布式训练
解决方法：将device_ids设为list解决方法：parser.add_argument(“–local_rank”, type=int, default=0, required=True, help=‘local rank for DistributedDataParallel’)问题原因：在这个错误是由于训练参数分布存在错误，某些参数没有参与训练导致。解决方法：把之前的问题解决即可。http://zhuanlan.zhihu.com/p/76638962http://zhuanlan.zhihu
2023-11-07 23:03:31
471
原创 6、单层卷积网络
一个单层神经网络的例子（卷积层）上图是一个单层卷积网络的图像，输入三维数据的大小为6×6×3，两个滤波器的大小为3×3×3。通过滤波器对输入数据进行遍历，会得到两个4×4大小的输出图像，如下图所示：通过将两个4×4的输出数据进行叠加，我们则得到最终4×4×2的输出数据。以上的卷积是在视图层面进行的，从上图可以看出，滤波器的层数须与RGB图像的通道数相同（皆为3），若将这个过程表示在神经网络中，则每一个部分所代表的参数如下图所示：上图所示，输入部分，即a[0]a^{[0]}a[0]大小为6×6
2020-05-14 14:03:34
1149
原创 5、深层神经网络块、超参数
此次主要学习了在搭建一个深层神经网络模块时，需要注意到哪些内容，本文将通过下图进行说明：上图描述的是一个深层神经网络模型正向和反向传播的过程。每一个方框代表着一个隐藏层。从图中得出，有几处要点需要注意：（1）正向传播过程中，需要将每一层的z[l]、w[l]、b[l]z^{[l]}、w^{[l]}、b^{[l]}z[l]、w[l]、b[l]进行缓存，方便反向传播时使用（尤其是在编写代码时须注...
2020-04-25 23:10:42
264
原创 深度神经网络中的维度问题
1、单一样本时的维度问题在上图中，l=5l=5l=5正向传播的过程即为：z[1]=w[1]x+b[1]z^{[1]}=w^{[1]}x+b^{[1]}z[1]=w[1]x+b[1]其中，z[1]z^{[1]}z[1]的维度为（3，1），x即a[0]a^{[0]}a[0]的维度为（2，1），由此可知w[1]w^{[1]}w[1]的维度为（3，2），则b[1]b^{[1]}b[1]的维度为（...
2020-04-20 11:29:41
1627
原创 3、深度神经网络学习笔记
一、什么是深度神经网络通常将逻辑回归函数以及下述的双层神经网络（输入层不算）定义为浅层神经网络，因为它不具备学习的能力。将一些多层且复杂的神经网络定义为深度神经网络。浅层神经网络模型：深度神经网络模型一些符号的定义：在下面的描述中，这些符号将被运用到n[l]n^{[l]}n[l]：代表第lll层的节点数，l=1l=1l=1是第一个隐藏层，输入层为第0层。a[l]a^{[l]}a...
2020-04-19 23:18:34
347
原创 神经网络学习笔记DAY2
@吴恩达神经网络学习DAY2一、向量化向量化的目的主要是减少for循环，在此项应用中，可以通过python/numpy中的np.not进行向量之间的点乘、np.sum进行矩阵之间相加等等。。。向量化的运算速度比for 循环快百倍有余。二、logistic回归成本函数证明为什么要用这样一个函数作为成本函数呢？首先我们定义了样本结果：y^=σ(wT+b)\hat y=\sigma(w^T...
2020-03-29 17:31:12
127
原创 nn学习笔记
@吴恩达神经网络学习DAY1回顾一下logistic回归方程：一、logistic回归模型可以如下表示：这是在只有一种样本的情况下（x,y）为样本，x为输入参数，y为基本真值，即为每个样本的真实输出结果；w是样本中的特征（如像素等），是一个n维的向量； y^\hat yy^为算法的输出值，它的结果因满足于y^≈y\hat y\approx yy^≈y;二、logistic回归的损失函...
2020-03-24 22:44:39
275
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人