qq_56591814的博客

文章目录一、投票法与bagging1.1 投票法的原理分析1.2 Voting案例分析1.3 bagging的原理分析1.4 决策树和随机森林1.5 bagging案例分析二、stacking2.1 Blending算法原理2.2 Blending案例2.3 Stacking算法原理2.4 Stacking算法案例2.4.1 基分类器预测类别为特征2.4.2 基分类器类别概率值为特征2.4.3 基分类器使用部分特征2.4.4 结合网格搜索优化2.4.5 绘制ROC曲线2.4.6 Blending与Sta

常见的集成学习框架有三种：Bagging，Boosting 和 Stacking。文章目录一、bagging1.1 bagging基本原理1.2 决策树二、boosting2.1 Boosting算法原理2.2 Adaboost算法原理2.3 GBDT2.4 XGBoost2.4.1 目标函数2.4.2 正则项2.4.3 分割策略2.5 XGBoost和GBDT主要区别2.6.1 单边梯度抽样算法2.6.2 直方图算法一、bagging1.1 bagging基本原理自助采样(bootstrap)：

一、XGBoost1.1 XGBoost原理及构建XGBoost本质上还是一个GBDT，是一个优化的分布式梯度增强库，旨在实现高效，灵活和便携。Xgboost以CART决策树为子模型，通过Gradient Tree Boosting实现多棵CART树的集成学习，得到最终模型。XGBoost的最终模型构建：引用陈天奇的论文，我们的数据为：D={(xi,yi)}(∣D∣=n,xi∈Rm,yi∈R)\mathcal{D}=\left\{\left(\mathbf{x}_{i}, y_{i}\right)\

文章目录一、 Boosting算法原理二、 Adaboost算法2.1 Adaboost算法原理2.2 Adaboost算法举例2.3 Adaboos代码举例三、 前向分步算法3.1加法模型3.2 前向分步算法3.3 前向分步算法与Adaboost的关系四、梯度提升决策树(GBDT)4.1 提升树算法原理4.2 梯度提升决策树算法(GBDT)4.3 GBDT代码示例一、 Boosting算法原理Bagging：通过Bootstrap 的方式对全样本数据集进行抽样得到抽样子集，对不同的子集使用同一种基本

生成式对抗网络模型由两个基础神经网络组成，即生成器神经网络（Generator Neural Network） 和判别器神经网络（Discriminator Neural Network） 。其中一个用于生成内容，另一个则用于判别生成的内容。生成器从给定噪声中（一般是指均匀分布或者正态分布）产生合成数据，判别器分辨生成器的的输出和真实数据。在训练过程中，生成网络G的目标就是尽量生成真实的图片去欺骗判别网络D。而D的目标就是尽量把G生成的图片和真实的图片区分开........................

PaddleDetection：分别使用ppyoloe+、FasterRCNN+swin进行训练；另外还试了Yolov5和.PaddleX框架的fasterrcnn

核心API：：数据集快速加载接口，通过传入数据集读取脚本的名称和其他参数调用子类的相关方法加载数据集。： DatasetBuilder 是一个基类，所有的内置数据集都继承自该类，该类的主要功能是下载和读取数据集文件并生成Dataset。贡献者可以通过重写和_read()等方法向社区贡献数据集：PaddleNLP内置数据集类型，分别是对和的扩展。内置诸如map(),filter()等适用于NLP任务的数据处理功能。同时还能帮助用户简单创建自定义数据集。数据处理流程设计。

简单介绍了paddledetection的用法，并在paddle学习赛——钢铁缺陷检测上试验了ppyoloe+模型

AI快车道PaddleNLP系列课程笔记

本文参考paddle官网，简单介绍paddle的使用

本文是《AI快车道PaddleNLP系列直播课》学习笔记，暂未完结

翻译了PyTorch官方文档Image and Video部分教程

1.torch.utils.datatorch.utils.data主要包括以下三个类：class torch.utils.data.Dataset其他的数据集类必须是torch.utils.data.Dataset的子类,比如说torchvision.ImageFolder.class torch.utils.data.sampler.Sampler(data_source)参数: data_source (Dataset) – dataset to sample from作用: 创建一个采

一是用yolov5s V6.1版本训练PASCAL VOC2012数据集，二是稍微翻译了下yolov5官网教程Train Custom Data。亲测通过，中间各种报错、配置文件、改路径都写得很清楚。

张量的创建方式：shape = (2,3,)rand_tensor = torch.rand(shape)ones_tensor = torch.ones(shape)zeros_tensor = torch.zeros(shape)x_np = torch.from_numpy(np_array)print(f"Shape of tensor: {tensor.shape}")print(f"Datatype of tensor: {tensor.dtype}")print(f"Dev

一、nn.Module1.1 nn.Module的调用pytorch通过继承nn.Module类，定义子模块的实例化和前向传播，实现深度学习模型的搭建。其构建代码如下：import torchimport torch.nn as nnclass Model(nn.Module): def __init__(self, *kargs): # 定义类的初始化函数，...是用户的传入参数 super(Model, self).__init__()#调用父类nn.Module的初

车万翔《基于预训练模型的自然语言处理》读书笔记文章目录1.BERT的可解释性（7.5）1.2 自注意力可视化分析（不同注意力头的行为）1.3 探针实验二、模型优化1.1 XLNet1.1.2 排列语言模型的引入1.2 RoBERTa1.3 ALBERT（降低BERT参数+SOP）1.4 ELECTRA1.5 MacBERT2. 长文本处理1.BERT的可解释性（7.5）  对很多实际应用而言，模型的性能和可解释性都很重要。BERT类的预训练模型体量庞大，参数众多，预测行为难以理解和不可控。  解释性

文章目录零、基础知识0.1 线性变换0.2 点积、内积、外积、余弦相似度、投影（有空补）一、transformer1.1 为啥FFNN第一层将向量扩维到4倍1.2 注意力机制是为了解决什么问题而提出来的？1.3 为什么输入X要经过权重矩阵变换得到QKV向量？为啥不直接用X运算？1.3不考虑多头的原因，self-attention中词向量不乘QKV参数矩阵，会有什么问题？1.4 transformer中为啥要有那么多dropout？1.5 NLP 中的Mask全解1.6 Self-Attention 的时间复

文章目录一、attention1.1循环神经网络的不足：1.2 attention在机器翻译的优点1.3 self Attention和循环神经网络对比1.4为什么求内积之后除以d\sqrt{d}d​1.5 slef-attention过程1.6 多头注意力可视化二、transformers2.1 自注意力模型的缺点及transformer的提出2.2 模型具体结构2.2.1 Encoder Layer2.2.2 Transformer layer组成Encoder2.2.3 TransformerDeco

文章目录一、RNN1.1 RNN模型结构1.2 RNN模型的缺点二、长短时记忆网络LSTM2.1 LSTM模型结构2.2 双向循环神经网络Bi-LSTM三、序列到序列模型一、RNN前馈神经网络：信息往一个方向流动。包括MLP和CNN循环神经网络：信息循环流动，网络隐含层输出又作为自身输入，包括RNN、LSTM、GAN等。1.1 RNN模型结构RNN模型结构如下图所示：展开之后相当于堆叠多个共享隐含层参数的前馈神经网络：其输出为：ht=tanh(Wxhxt+bxh+Whhht−1+bhh)

卷积神经网络(CNN)@(深度学习)文章目录卷积神经网络(CNN)(一)卷积神经网络(CNN)模型结构1. CNN的基本结构2. 初识卷积3. CNN中的卷积层4. CNN中的池化层5. CNN模型结构小结（二） 卷积神经网络(CNN)前向传播算法1. 回顾CNN的结构2. CNN输入层前向传播到卷积层3. 隐藏层前向传播到卷积层4. 隐藏层前向传播到池化层5. 隐藏层前向传播到全连接层6. CNN前向传播算法小结（三） 卷积神经网络(CNN)反向传播算法6.1 回顾DNN的反向传播算法6.2 CNN的

介绍了卷积池化原理、1×1卷积的作用。介绍了VGG、IGoogLeNet、inception、ResNet和ResNeXt。

FastText：快速的文本分类器文章目录一、word2vec1.1 word2vec为什么 不用现成的DNN模型1.2 word2vec两种模型：CBOW和Skip-gram1.2 word2vec两种优化解法：霍夫曼树和负采样1.2.2 基于Hierarchical Softmax的CBOW模型算法流程：1.2.3 负采样方法1.3 总结：二、fasttext2.1、简介2.2 FastText原理2.2.1 模型架构2.2.2 层次SoftMax2.2.3 N-gram特征2.2.4 subword

文章目录一、神经网络参数优化器1.2 SGD（无动量）随机梯度下降。1.3 SGDM——引入动量减少震荡1.4 SGD with Nesterov Acceleration1.5 AdaGrad——累积全部梯度，自适应学习率1.6 RMSProp——累积最近时刻梯度1.7 Adam1.8 悬崖、鞍点问题二、过拟合解决方案2.1 正则化2.2 dropout2.3 Batch Normalization2.4 Layer Normalization一、神经网络参数优化器参考曹健《人工智能实践：Tensor

文章目录一、BP神经网络（MLP）1.1 感知机模型及其局限性1.2 BP神经网络基本原理1.3 softmax多分类、求导1.4 二分类使用softmax还是sigmoid好？1.5 为什么要用激活函数？1.6 梯度下降和链式求导1.7度量学习二、矩阵求导术2.1 标量对向量求导2.2 向量对向量求导2.3 标量对矩阵的矩阵2.4 向量求导及链式法则2.5 BP反向传播2.5 激活函数及其导数三、神经网络调优3.1 激活函数得选型3.2 Relu激活函数及其变体3.3 高斯误差线性单元激活函数gelu3.

一个模型先看效果再了解原理。不懂原理也可以得到效果。深度学习原理不是非常清楚，解释性不够强，但是效果比较好。1980高峰，起始1995年，SVM/GBDT,深度学习进入低谷2014-2015，爆发。数据量暴增，计算机性能更好。二分类LR，大部分线性不可分，处理方式：多项式来搞增加维度SVM核方法非线性变换线性变换（例如向量乘以一个矩阵），在空间中表现出来是对一个点进行平移。无法解决线性不可分问题。因为多次线性变换等于一次线性变换。激活函数：如sigmoid函数。对WX进行非线性变换

统计学习研究对象:数据基本假设:同类数据有一定的统计规律性，所以可以用概率统计方法处理它们。用随机变量描述数据中的特征，用概率分布描述数据统计规律目的：通过构建概率统计模型，实现对数据的分析和预测统计学习三要素：模型、策略（模型选取准则）和算法（模型学习的算法）统计学习分类监督学习supervised learning：从标注数据中学习预测模型回归：特征和标签都是连续的（输入输出变量）分类：标签是有限个离散变量标注：输入观测序列，输出标记或状态序列。如：隐马尔可夫模

文章目录一、概率图模型1.1 概览1.2 有向图1.3 无向图1.4 生成式模型和判别式模型1.4.1生成式模型和判别式模型区别1.4.2 为啥判别式模型预测效果更好二、隐式马尔科夫模型HMM2.1 HMM定义2.2 HMM三要素和两个基本假设2.3 HMM三个基本问题2.4 HMM基本解法2.4.1 极大似然估计（根据I和O求λ）2.4.2 前向后向算法（没有I）2.4.3 序列标注（解码）过程三、最大熵马尔科夫MEMM模型3.1 MEMM原理和区别3.2 标注偏置四、条件随机场CRF4.1 CRF定义4