RL小站

NewGELUActivation 它是高斯误差线性单元（Gaussian Error Linear Unit，简称 GELU）的一种变体。GELU 激活函数在近年来的深度学习模型中越来越受欢迎，尤其是在自然语言处理（NLP）领域，如 BERT 和 GPT 等模型中。GELU 激活函数的数学定义是输入值 x 乘以标准正态分布的累积分布函数（CDF）在该点的值。casual attention: 对原始attn进行mask。经典的preNorm TFDecoder架构。

本文笔者基于官方示例进行本地构建和Docker构建运行示例（下列代码中均是踩坑后可执行的代码，尤其是Docker部分）, 全部code可以看。

在多项视觉语言大模型的主流评测上均取得了最佳性能，包括MME Benchmark (英文评测), MMBench (英文评测), Seed-Bench (英文评测), CCBench(中文评测), MMBench-CN (中文评测).模型理解题意生成解此题的 Python 代码，Lagent 调度送入 Python 代码解释器求出该问题的解。设计了高效的训练策略，为模型注入海量的多模态概念和知识数据，赋予其强大的图文理解和对话能力。的封装，同时通过ssh将端口映射到本地，资源占用的时服务器的资源。

元学习的目标是在各种学习任务上训练模型，这样它就可以只使用少量的训练样本来解决新任务。论文所提出的。该算法与任何用梯度下降训练的模型兼容，适用于各种学习问题，包括分类、回归和强化学习。论文中表明，该算法在基准上达到了SOTA的性能，在上也产出了良好的结果，。

一个单词只计算它在引用中出现的次数。Example: 计算 ROUGE1。可以看出包内的计算原理同上述。可以看出包内的计算原理同上述。Example: 计算。

llama模型已经开源很久了，所以拿做小的模型做了个简单尝试。

我们在训练模型时学习率的设置非常重要。我们可以通过学习率时间表（）有效地管理准确性。

笔者在重新尝试用深度学习的各个模型对序列进行预测，就LSTM进行一些使用记录。

四、单词纠错神器-训练数据构建4.1 encoder decoder的输入单词主要有三个步骤：将原始单词以随机的方式改为不正确的（input1）将辅助输入结果增加起始符和末尾符（input2）将最终的输出增加末尾符（target） def generate(self, thresh=0.2): """ 训练数据 1- 生成 input1 input2 2- embedding """ lines

一、目的在我们日常开发环境(pycharm / VSCode)中都自带单词纠错

在我们深度学习神经网络里的反向传播其实就是对损失函数求导。笔者就求导在python中的几种方式进行汇总一、Scipy求导由于scipy 是基于numpy写的高级封装， 所以在numpy的生态可以共用。就好比在给xgboost修改损失时算一阶和二阶导时就可以用scipy.misc.derivative1.1 求导示例# scipy deverationfrom scipy.misc import derivativedef logistic_model(x, torch_flag=False)

TensorFlow 程序通常分为两部分：第一部分构建计算图谱（这称为构造阶段）,第二部分运行它（这是执行阶段）。建设阶段通常构建一个表示ML模型的计算图谱，然后对其进行训练计算。执行阶段通常运行循环，重复地求出训练步骤，逐渐改进模型参数0、加载包和数据## 加载包import numpy as np from sklearn.datasets import fetch_cal...

文章目录一、什么是边缘检测&如何边缘检测二、算法理论简介2.1 Sobel算子2.2 canny三、opencv实现3.1 Sobel算子3.2 Canny算法一、什么是边缘检测&如何边缘检测什么是边缘：边缘是图像强度函数快速变化的地方如何检测边缘：为了检测边缘，我们需要检测图像中的不连续性，可以使用导数来检测不连续性。但是，导数也会受到噪声的影响，因此建议在求导数之前...

文章目录一、算法理论介绍1.1 最大类间方差法（大津阈值法）1.2 自适应阈值二、opencv实现2.1 最大类间方差法2.2 自适应阈值图像阈值化分割是一种传统的最常用的图像分割方法，因其实现简单、计算量小、性能较稳定而成为图像分割中最基本和应用最广泛的分割技术。它特别适用于目标和背景占据不同灰度级范围的图像。它不仅可以极大的压缩数据量，而且也大大简化了分析和处理步骤，因此在很多情况下，是进...

文章目录一、算法理论介绍1.1 均值滤波、方框滤波1.1.1 滤波分类1.1.2 盒子滤波1.1.3 均值滤波1.1.4 高斯滤波二、opencv实现一、算法理论介绍1.1 均值滤波、方框滤波1.1.1 滤波分类线性滤波：对邻域中的像素的计算为线性运算时，如利用窗口函数进行平滑加权求和的运算，或者某种卷积运算，都可以称为线性滤波。常见的线性滤波有：均值滤波、高斯滤波、盒子滤波、拉普拉斯...

一、图像原理1.1 三原色RGB（红绿蓝）是依据人眼识别的颜色定义出的空间，可表示大部分颜色。但在科学研究一般不采用RGB颜色空间，因为它的细节难以进行数字化的调整。它将色调，亮度，饱和度三个量放在一起表示，很难分开。它是最通用的面向硬件的彩色模型。该模型用于彩色监视器和一大类彩色视频摄像。RGB颜色空间 基于颜色的加法混色原理，从黑色不断叠加Red，Green，Blue的颜色，最终可以得到...

一、图片平移1.1 原理就是将像素所在位置进行偏移比如需要将图像进行向右1个像素位置，向下偏移1个像素位置原始矩阵如下[[255, 124, 103, 17], [256, 222, 123, 10], [256, 222, 123, 10]]向右1个像素位置，向下偏移1个像素位置[[0, 0, 0, 0], [0, 255, 124, 103], [0, 25...

一、双线性插值原理双线性插值就是线性插值在二维时的推广,在两个方向上做三次线性插值1.1 在线段 [(0,0), (0,1)]上的插值f(x,0)=x[f(1,0)−f(0,0)]+f(0,0)−−−(1)f(x,0)=x[f(1,0) - f(0, 0)] + f(0, 0) ---(1)f(x,0)=x[f(1,0)−f(0,0)]+f(0,0)−−−(1)1.2 在线段 [(0...

文章目录一、最近邻插值原理二、最近邻插值numpy实现2-1 对例子的3*3用`near_insert_1color`实现三、openCV2实现四、实现比对一、最近邻插值原理原理：根据缩放后的位置，最近邻的像素作为缩放后位置的像素公式如下：f(dstX,dstY)=h(dstXsrcWidthdstWidth,dstYsrcHeightdstHeight)\begin{array}{c} ...

文章目录一、香农熵1.1 香农熵原理公式1.2 香农熵tf示例二、交叉熵（Cross Entropy）2.1 交叉熵原理公式2.2 one-hot下交叉熵的变形一、香农熵1.1 香农熵原理公式在将交叉熵的时，先讲一下熵。H(P)=−∑pilog2piH(P) = -\sum{p_ilog_2{p_i}}H(P)=−∑pi​log2​pi​熵越大，代表不确定性越大，信息也就越大。1.2 香农熵tf示例比如：对于一个三分类：真实标签(one-hot之后) y_true = [0, 1, 0