Kuekua的专栏

Text Embedding空间中的词向量是有足够的表达能力恢复出图像特征，同时Textual Inversion技术不需要对SD系列模型中的U-Net部分进行微调训练（SD模型参数冻结），只需要训练一个新的token embedding就足够了，所以使用Textual Inversion技术不会儿干扰SD模型本身已有的先验知识。LoRA模型的训练逻辑是首先冻结SD模型的权重，然后在SD模型的U-Net结构中注入LoRA权重，主要作用于CrossAttention部分，并只对这部分的参数进行微调训练。

详细讲述了DALL·E的基本原理，DALL-E1相当于 VQVAE2+GPT（把pixel CNN换成了GPT），DALL-E2 是GLIDE + CLIP。视频还大篇幅讲述基础知识：AE，VAE，VQVAE，GAN，diffusion model的区别，着重讲述diffusion model的原理，还有classifier guided diffusion和classifier free diffusion。

1. 原理步骤：第一步，不重复抽样将原始数据随机分为 k 份。第二步，每一次挑选其中 1 份作为测试集，剩余 k-1 份作为训练集用于模型训练。第三步，重复第二步 k 次，这样每个子集都有一次机会作为测试集，其余机会作为训练集。 在每个训练集上训练后得到一个模型，用这个模型在相应的测试集上测试，计算并保存模型的评估指标，第四步，计算 k 组测试结果的平均值作为模型精度的估计，并作为当前...

Adam算法：原理：mmm与vvv分别为梯度ggg的一阶矩和二阶矩估计，E(m)=E(g),E(v)=E(g2),E(m)=E(g),E(v)=E(g^2),E(m)=E(g),E(v)=E(g2),算法优点：结合了Adagrad善于处理稀疏梯度和RMSprop善于处理非平稳目标的优点对内存需求较小 ，计算量较小为不同的参数计算不同的自适应学习率也适用于大多非凸优化 - 适用于大...

1.Yolo3学习文章地址：https://pjreddie.com/media/files/papers/YOLOv3.pdf

目标检测之RCNN系列算法学习1. RCNN1.1 解决的问题1.1.1 image size warp1.1.2 训练数据不足1.2 论文结论1.2.1 数据相关性1. RCNN标题Rich feature hierarchies for accurate object detection and semantic segmentation Tech report作者团队...

VGG

1. 数据增强1.1 海康威视研究院ImageNet2016：第一，对颜色的数据增强，包括色彩的饱和度、亮度和对比度等方面，主要从Facebook的代码里改过来的。 第二，PCA Jittering，最早是由Alex在他2012年赢得ImageNet竞赛的那篇NIPS中提出来的. 我们首先按照RGB三个颜色通道计算了均值和标准差，对网络的输入数据进行规范化，随后我们在整个训练集上计...

1. 边缘提取目前主流的边缘提取算法有Sobel，Laplacian,Canny,Prewitt等，利用的均是像素层次的梯度信息，由于canny算子采用高阈值筛选，低阈值连接的策略，所以大大抑制了噪声引起的伪边缘，边缘较为完整。Canny边缘检测算法步骤 ： step1:用高斯滤波器平滑图象； step2:用一阶偏导的有限差分来计算梯度的幅值和方...

1. SquezeeNet论文地址： SQUEEZENET: ALEXNET-LEVEL ACCURACY WITH 50X FEWER PARAMETERS AND <0.5MB MODEL SIZE1.1 论文导读小型网络模型的优点：有利于分布式训练，减少数据交换量模型变小，对客户端的更新更便捷更容易在FPG

1. 卷积层的优点： 2. 经典网络架构介绍LeNet-5 池化层为均值，而目前主流为max激活函数为sigmod或者tanh，而目前主流为reluAlexNet Local Response Normalization(LRN)： 认为网络不需要那么多高激活神经元，因此将某些位置进行归一化处理（即对某点所有通道上的值进行归一化）。VGG-19 VGG网络的特征是简单，只使用3

人类学习的任务是从资料中获得知识，而机器学习的任务是让计算机从数据中获得模型。那模型又是什么呢？回想一下机器学习中比较基础的线性回归模型 y=∑iwixiy=∑_iw_ix_i，我们最终是希望计算机能够从已有的数据中或者一组最合适的参数 wi，因为一旦 wi 被确定，那么线性回归的模型也就确定了。同样，面对HMM，我们最终的目的也是要获得能够用来确定（数学）模型的各个参数。HMM概念 假设我手里

第一重：初见Kalman假设我养了一只猪： 一周前，这只猪的体重是46±0.5kg。注意，在这里我用了±0.5，表示其实我对这只猪一周前的体重并不是那么确定的，也就是说，46kg这个体重有0.5kg的误差。现在，我又养了这只猪一个星期。那么我想要知道它一个星期之后多重，又大概有多少的误差？ 为了得到一周后的体重，我有两种方法：一是根据我多年的养猪经验得到的猪体重公式推求出一个大概的值，另一个

1. MeanShift算法在d维空间中，任选一个点，然后以这个点为圆心，h为半径做一个高维球，因为有d维，d可能大于2，所以是高维球。落在这个球内的所有点和圆心都会产生一个向量，向量是以圆心为起点落在球内的点位终点。然后把这些向量都相加。相加的结果就是Meanshift向量。如图所示，其中黄色箭头就是Mh（meanshift向量）：再以meanshift向量的终点为圆心，再做一个高维的球。如下图

一、One-Hot EncodingOne-Hot编码，又称为一位有效编码，主要是采用位状态寄存器来对个状态进行编码，每个状态都由他独立的寄存器位，并且在任意时候只有一位有效。在实际的机器学习的应用任务中，特征有时候并不总是连续值，有可能是一些分类值，如性别可分为“male”和“female”。在机器学习任务中，对于这样的特征，通常我们需要对其进行特征数字化，如下面的例子：有如下三个特征属性：