Hello World

今天与chatGPT聊了一会关于计算机视觉领域的发展趋势与值得关注的内容，不得不说，chatGPT说得非常全面，值得思考。下面给出chatGPT回答的内容。

这篇论文继google的noisy label蒸馏之后，再次讨论起noisy label，本文对此进行解读

这是一篇NLP知识蒸馏的论文，多模型蒸馏的过程中，充分利用教师模型输出以及隐藏层信息，矫正单个模型可能会带来的信息偏差，最终提升模型精度

PP-OCR: A Practical Ultra Lightweight OCR System论文地址：https://arxiv.org/abs/2009.09941代码地址：https://github.com/PaddlePaddle/PaddleOCR本文主要介绍PP-OCR中文本识别优化瘦身策略，首先会介绍实验环境，然后介绍超轻量骨干网络选择，数据增强，余弦学习率，增大特征图分辨率，正则化参数，预热学习率，头部轻量化，预训练大模型和PACT 量化的基本思路和消融实验。下图是PP-OCR中.

PP-OCR: A Practical Ultra Lightweight OCR System论文地址：https://arxiv.org/abs/2009.09941代码地址：https://github.com/PaddlePaddle/PaddleOCR本文主要介绍PP-OCR中文本方向分类器优化瘦身策略，首先会介绍实验环境，然后介绍超轻量骨干网络选择、数据增强、增大输入分辨率和PACT 量化的基本思路和消融实验。1. 实验环境文本方向分类器的消融实验采用的是全量数据训练和评估。识别准确.

PP-OCR: A Practical Ultra Lightweight OCR System论文地址：https://arxiv.org/abs/2009.09941代码地址：https://github.com/PaddlePaddle/PaddleOCR本文主要介绍PP-OCR中文本检测优化瘦身策略，首先会介绍实验环境，然后介绍超轻量骨干网络选择、头部轻量化、SE模块的断舍离、余弦学习率、预热学习率以及使用FPGM模型裁剪器的基本思路和消融实验。下图是PP-OCR中使用的文本检测算法DB的结.

PP-OCR: A Practical Ultra Lightweight OCR System论文地址：https://arxiv.org/abs/2009.09941代码地址：https://github.com/PaddlePaddle/PaddleOCR一、简介PP-OCR是一个实用的超轻量中英文OCR系统，是针对中英文OCR问题，对最新的文本检测算法 Differentiable Binarization (DB) 和经典的文本识别算法CRNN的能力充分挖掘，虽然没有理论创新，但是从骨干.

faster RCNN简介faster rcnn属于两阶段目标检测，所谓两阶段目标检测，指的就是对检测框做两次边框回归，首先使用RPN网络，生成anchor，挑选出positive anchors，并对这些anchor进行第一次回归，再经过nms，得到初步的proposal；在RCNN阶段，对于这些proposal，提取对应区域的feature map，并使用RoiAlign或者RoiPooling等方法，将这些proposal变成统一的大小（否则之后没法接FC等层了），经过各种卷积或者fc操作之后，对

简介这里主要介绍PaddleClas中已经开源的常用移动端系列模型，PaddleClas的github repo：https://github.com/PaddlePaddle/PaddleClas。PaddleClas中包含了ShuffleNetV2以及MobileNet等移动端系列模型。MobileNet系列在MobileNetV1中，主要是使用了深度可分离卷积去减少计算量，提升精度；在V2中，则是引入了线性瓶颈块以及逆残差模块，防止网络中特征的退化；MolbileNetV3中，也是使用了大

简介这里主要介绍PaddleClas中已经开源的常用系列模型，PaddleClas的github repo：https://github.com/PaddlePaddle/PaddleClas。PaddleClas中包含了ResNet、HRNet、Inception、Res2Net等系列模型，这篇博客主要是介绍其主要系列模型。AlexNet、VGG这些网络其实都属于十分经典的网络，但是由于这些网络最近用的已经越来越少了，因此在这里也没有进行展开。ResNet系列之前的深度神经网络，比如Ale

简介在之前介绍分类模型的时候，大家除了比较精度之外，一般还会比较flops和params这两个参数，flops表示计算量，可以间接反映推理速度，params表示参数量，可以反映存储大小。但是有一个问题，flops相同的两个网络，它们的推理速度并不一定是相同的，因为可能有内存拷贝、通道拆分操作等其他差异。因此最好的方法就是直接在机器上预测，统计下耗时。T4 GPU是可用于模型推理的GPU显卡，支持TensorRT、FP32/FP16等多种推理类型，PaddleClas在其文档中给出了T4 GP上不同模型

CBNet论文题目：CBNet: A Novel Composite Backbone Network Architecture for Object Detection论文地址：https://arxiv.org/abs/1909.03625骨干网络对于检测网络的模型性能至关重要，但是大部分的骨干网络设计完成之后都需要首先在imagenet数据集上训练，得到的模型作为检测网络的预训练模型，该论文中，作者基于已有的骨干网络进行组合，最终实现一种新的骨干网络，同时验证了它在目标检测任务中的性能，在coc

deformable convnets V1&V2讲解deformable convets主要是针对conv kernel形状固定的问题提出了解决方案，使得网络去自动学习这种kernel的形变，从而提升detection性能。我之前做了一些总结，具体讲解如下。也欢迎关注我的github：https://github.com/littletomatodonkey/littletomato...

深度学习过程中的优化算法BGD（batch gradient descent） & SGD（stochastic gradient descent） & mini-batch GDBGD是每次迭代的时候，使用所有的样本进行梯度下降，这种方法可以找到全局最优解，但是容易陷入局部最优，而且在数据量很大的时候难以进行（对内存的要求太高了，计算很慢）。SGD是每次只使用一个样本进行...

统计分布的距离/相似性计算KL散度（Kullback-Leible divergence）KL散度可以用于描述两个分布之间的距离，假设p(x)p(x)p(x)与q(x)q(x)q(x)是随机变量X的分布，则它们的KL散度为D(p∣∣q)=∫−∞+∞p(x)logp(x)q(x)dxD(p||q) = \int_{ - \infty }^{ + \infty } {p(x)log\frac...

batch normalzationintroductionBN主要是为了解决NN训练过程中难以收敛的问题，可以在一定上推迟过拟合的发生（注意：有些博客中说BN可以防止过拟合，但是论文（https://arxiv.org/pdf/1611.03530.pdf）中验证了BN只是有抑制作用，使得过拟合在更多的epoch之后出现，但是并不能阻止）在机器学习过程中，最理想的状态就是特征或者数据是独...

简介bbox回归指的是使用变换的方法，将当前预测的bbox进行变换，使其更加接近gt box。对于一般的bbox，可以由 x,y,w,hx,y,w,hx,y,w,h 4个变量进行表示，将我们的目标抽象为给定原始的proposal PPP，将groundtruth box记为GGG，我们希望能够找到一个变换关系，使得原始框可以映射得到一个更接近gt box的回归窗口G^G^\hat G。...

防止过拟合的一些方法L1 loss在loss function中添加模型权重参数的绝对值和，用超参数αα\alpha调节L1 loss在整体loss function中占的比例。 Lnew=Lold+α∑|w|Lnew=Lold+α∑|w|{L_{new}} = {L_{old}} + \alpha \sum {\left| w \right|}L2 loss在loss...

loss functionsmooth L1 loss公式如下：f(x)={(σx)2/2,|x|−0.5/σ2,if x<1/σ2otherwisef(x)={(σx)2/2,if x<1/σ2|x|−0.5/σ2,otherwise\begin{split}f(x) =\begin{cases}(\sigma x)^2/2,& \tex...

mask-RCNN(mxnet版本)的安装与使用tuSimple(https://github.com/TuSimple/mx-maskrcnn)实现的代码使用python2写的，因此我在anaconda中新建了一个python2.7的kernel，用来测试maskRCNN。在安装mxnet的时候，我将原来的mxnet版本(0.12.0)替换成了最新的1.3.0版本的，旧的版本一直报错。（...

非极大值抑制边缘检测中的非极大值抑制(NMS)在边缘检测时，NMS可以帮助我们细化检测到的边缘结果。对于某个像素点，NMS计算该像素点的值是否为8邻域内的最大值，如果是的话，就保留该点作为边缘，否则就舍弃该点。计算的方法是，首先计算沿x和y方向上的梯度，然后得到其梯度方向，则8邻域内的最大值一定在该梯度方向上，使用线性插值的方法，找到这8个邻域内的2个可能的最大值的位置的像素值，然后...

VS2013 cuda7.5 配置

caffe使用过程中遇到的问题和解决办法

tensorflow 经典卷积神经网络的实现

visual tracking代码测试

tensorflow cifar10数据集的测试

tensorflow mnist测试

tensorflow实现自编码器

tensorflow基本使用中出现的问题及解决方案

ubuntu显卡安装后循环登陆的解决办法

tensorflow 基本使用简介TF底层是用C++封装的，因此十分高效TF定义一个图，然后利用优化的C++代码对图进行计算TF有可视化工具tensorboard，可以对计算图进行可视化TF可以实现自动微分(automatic differentiating)TF默认情况下会使用所有gpu，同时占满所有gpu内存，如果需要对其进行修改，可以参考：https://www.cnb

matlab动态神经网络进行时间序列预测分析时间序列预测问题分类有y，无x，即y(t)=f(y(t−1),y(t−2),...)y(t)=f(y(t−1),y(t−2),...)y(t)=f(y(t-1),y(t-2),...)(NAR)有x，有y，即y(t)=f(x(t−1),x(t−2),...,y(t−1),y(t−2),...)y(t)=f(x(t−1),x(t−2),.....

RNN介绍setup code# 不显示python使用过程中的警告import warningswarnings.filterwarnings("ignore")%matplotlib inlineimport matplotlib.pyplot as pltimport numpy as npimport tensorflow as tfimport osde

jupyter tensorflow配置Anaconda安装按照官网安装即可tensorflow按照官网安装即可使用时需要source activate tensorflowwindows防火墙配置在配置jupyter，使其能够远程访问之前，首先需要配置本地的防火墙，因为用服务器ping本地windows机器出现了无法连接的情况解决办法的链接：ht

CNN简介视觉皮质有一块很小的局部感受野(local receptive feld)。不同的感受野之间可能会发生重叠，所有的感受野组成了可视区域对视觉皮质的研究最终演化为CNN，CNN除了之前的全连接层以及激活函数等概念，还引入了卷积层和池化层等概念setup code# 不显示python使用过程中的警告import warningswarnings.fil

增强学习(Reinforcement Learning)增强学习的应用领域很广，它假定有一个智能体(agent)在系统中，智能体做出特定的决策，对于表现不好的行为给予惩罚，奖励表现好的行为Setup code# 不显示python使用过程中的警告import warningswarnings.filterwarnings("ignore")%matplotlib i

DNN训练过程中的一些问题以及技巧首先介绍几个概念 lower layers ：浅层的网络层，主要对简单的特征进行梯度，如边缘、角点等deeper layers：深层的网络层，主要用于提取十分复杂的特征。在使用DNN的过程中，我们可能会遇到一些问题 梯度弥散或者梯度爆炸，这会提升DNN的训练难度对于大型的网络来说，其训练速度十分慢如果网络参数过多，很容易发生过拟合的问题

AutoencodersAutoencoder可以对输入数据进行无监督的学习，coding得到的结果的维度往往很低，因此自编码器可以用于数据的降维；自编码器也可以用于特征检测；同时也可以生成许多与训练数据相似的新数据，这可以被称为生成模型(generative model)。setup code# 不显示python使用过程中的警告import warningswarn

TF使用ANN(artificial neural network)简介受到生物神经网络的启发发展历史 生物神经网络单元逻辑运算单元：and、or、xor等运算感知机(perceptron)：hw(x)=step(wT⋅x)h_w(x)=step(w^T \cdot x)多层感知机和反向传播(multi-perceptron and backpropagation)p

Anaconda+tensorflow安装