年轻即出发，

GitHub:Google Research 团队发表的论文《Distilling Step-by-Step!》提出了一种创新的知识蒸馏方法，不仅能有效减小模型规模，还能使学生模型在某些任务上超越其教师模型。"Step-by-Step Distillation" 方法的核心创新在于其对推理过程的重视。该方法不再将 LLM 视为简单的输入输出映射器，而是着重提取其解决问题的思维链 (Chain-of-Thought)。这就像在数学教学中，不仅要求学生得到正确答案，更要理解完整的解题步骤。

时间序列基础、算法和实战

具体来说，对于模型中的每一个线性层，假设其输入为\(x\)，原始的线性变换为\(y = Wx\)，在应用 Lora 方法后，线性变换变为\(y = Wx + \Delta Wx\)，其中\(\Delta W = BA\)，\(A\)是一个从输入维度映射到低维空间的矩阵，\(B\)是一个从低维空间映射回输出维度的矩阵。：在训练过程中，只对低秩矩阵进行计算和更新，计算量大幅降低。：因为微调后的模型只增加了少量的低秩矩阵参数，模型的大小增加有限，这有利于模型的快速部署，特别是在对部署时间和资源有限制的场景中。

【代码】时间序列预测实操（从0到1）

保存并加载训练后的模型。# 定义损失函数和优化器。# 加载数据，并查看。

传统机器学习、深度学习、大模型等等都属于机器学习机器学习 = 特征工程+算法模型。其中特征工程是模型的输入，训练阶段模型会对特征（除标签列）进行各种计算期望得到的结果最大可能的接近样本的标签列。训练完成后，固化下来的参数，将用在后续的模型预测阶段中。特征工程是提升模型性能的关键环节，通过合理的特征设计，可以显著提高算法的效果上限。拥有好的特征后，算法模型能够更接近其理论效果上限，从而实现更高的预测准确性。

工作计划流程图

Non-local和全连接层fc也是有区别的，第一，fc依靠学习的权重计算两个位置的关系，non-local计算两个位置的关系却不依赖输入的数据本身。其中，i表示输出位置的索引，j表示输入位置的索引，x表示输入特征，y表示和x同样大小的输出特征，f函数表示计算位置i和位置j之间的联系，计算结果使用一个常数表示。G函数表示计算输入特征在位置j处的特征表示。传统的卷积需要依靠不断一层一层堆叠来获得足够大的感受野，这样操作存在几个问题，第一，计算不高效，第二，优化训练过程麻烦，第三，使得模型有多次反射依赖。

论文提出的期望最大化注意力机制Expectation- Maximization Attention (EMA)，摒弃了在全图上计算注意力图的流程，转而通过期望最大化（EM）算法迭代出一组紧凑的基，在这组基上运行注意力机制，从而大大降低了复杂度。X表示观测数据，Z表示隐变量空间，每一个数据x都有相应的隐变量与其对应，{X,Z}称为完整的数据，其极大似然估计就是lnp(X，Z|q)，q表示模型的参数。通过注意力可视化图，i，j，k，l表示四个随机选择的基的下标,右边四列绘出的是它们各自对应的注意力图。

成功的途径有两条，一是开始，二是坚持。论文：Resolution-robust Large Mask Inpainting with Fourier ConvolutionsGithub：https://github.com/saic-mdal/lama基于目前主流的图像修复方法效果之所以差主要问题在于缺乏足够的感受野。网络结构和损失函数都是需要比较大的感受野的。基于此，论文提出了使用快速傅立叶卷积fast Fourier convolutions (FFCs)来增大感受野，...

论文：MOBILEVIT: LIGHT-WEIGHT, GENERAL-PURPOSE,AND MOBILE-FRIENDLY VISION TRANSFORMERGithub：https://github.com/chinhsuanwu/mobilevit-pytorch2021，苹果公司传统的视觉transformers（ViTs），主要是在transformer中嵌入cnn，而本文基于在cnn中嵌入transformers，即在mobilenetv2中嵌入transforme...

论文：AN IMAGE IS WORTH 16X16 WORDS:TRANSFORMERS FOR IMAGERECOGNITION AT SCALEGithub：GitHub - google-research/vision_transformerGitHub - lucidrains/vit-pytorch: Implementation of Vision Transformer, a simple way to achieve SOTA in vision classificatio..

论文：Swin Transformer: Hierarchical Vision Transformer using Shifted WindowsGithub：https://github.com/microsoft/Swin-Transformerhttps://github.com/rwightman/pytorch-image-modelshttps://github.com/open-mmlab/mmclassification论文提出了Transformer的改进版本..

论文：Asymmetric Loss For Multi-Label ClassificationGitHub：https://github.com/Alibaba-MIIL/ASLhttps://github.com/Alibaba-MIIL/TResNet阿里巴巴论文基于focal loss解决正负样本不平衡问题，提出了focal loss的改进版，一种非对称的loss，即Asymmetric Loss。主要贡献：设计了一个新颖的loss，解决了多标签分类任务中，..

论文：Learning Rich Features for Image Manipulation DetectionGitHub：https://github.com/LarryJiang134/Image_manipulation_detectionhttps://github.com/WaLittleMoon/Learning-Rich-Features-for-Image-Manipulation-DetectionCVPR2018 Adobe出品图像篡改检测，有别于传统...

物来顺应，未来不迎，当时不杂，既过不恋。----曾国藩论文：Bottleneck Transformers for Visual RecognitionGitHub：https://github.com/leaderj1001/BottleneckTransformershttps://github.com/lucidrains/bottleneck-transformer-pytorch谷歌出品，BotNet即将ResNet中的第4个block中的...

每一个不曾起舞的日子都是对生命的辜负论文：GhostNet: More Features from Cheap OperationsGithub：https://github.com/huawei-noah/ghostnet华为诺亚方舟实验室cvpr2020论文提出一种基于现有的特征图，通过廉价的操作，生成现有特征图的一个变换，或者伪影ghost的操作。该操作可以实现等同于卷积的效果，却具有更少的参数，更少的计算量。基于这样的方式，组成ghost模块。通过ghost...

目录Upsample:Interpolate，resize:Transposed convolution，deconv:Unpool：Pixelshuffle：Upsample:Pytorch example:import torchimport torch.nn as nnimport torch.nn.functional as Finput = torch.arange(1, 5).view(1, 1, 2, 2).float()print(input)#

论文：Deep High-Resolution Representation Learningfor Visual RecognitionGithub：https://github.com/HRNet2020TPAMI论文提出了一个通用型网络结构，HRNet。最大的亮点就是具有丰富的低分辨和高分辨的融合特征。在分类，检测，分割，人体姿态估计，人脸关键点检测，超分，光流估计，深度估计等诸多任务都取得了非常好的效果，堪称网络结构中的万金油。网络结构：论文一共提出HRNe...

论文：Big Transfer (BiT):General Visual Representation LearningGithub：https://tfhub.dev/google/collections/bit/1论文以ResNet-50作为基础主干网络结构，分别以3个不同的数据集进行训练得到3种family的模型结构。BiT-S：在ImageNet-1k (ILSRCV-2012-CLS)训练完成BiT-M：在ImageNet-21k (Full ImageNet, ...

Hair detection, segmentation, and hairstyle classification in the wild头发检测：基于patch滑动窗口+CaffeNet-fc7 +Random Forest头发分割：LTP特征（Linear Ternary Pattern ）+SVM只对不确定的位置的像素进行分类，比如下图的蓝色部分。发型识别：...

论文：Reveal of Domain Effect: How Visual Restoration Contributes to Object Detection in Aquatic Scenesdata domain问题也类似数据的分布问题。包括，低对比度（low contrast），颜色（color distortion），混浊（haziness），光照（illumination...

论文：Deep Layer AggregationGiithub：https://github.com/ucbdrive/dla论文基于更加紧密连接的思想，提出了DLA网络结构。该结构是iterative deep aggregation (IDA) 和 hierarchical deep aggregation (HDA)的融合。IDA主要关注分辨率和尺度的特征，HAD主要...

不积跬步，无以至千里；不积小流，无以成江海。 ----荀子《劝学》Dropout发展史：标准dropout：从数学上来说，神经网络层训练过程中使用的标准 Dropout 的行为可以被写作：其中 f（·）为激活函数，x 是该层的输入，W 是该层的权值矩阵，y为该层的输出，而 m...

论文：Rethinking ImageNet Pre-training Github：https://github.com/facebookresearch/Detectron 恺明大神一作的论文，必读的论文。 贡献：ImageNet 预训练可以加速收敛，尤其是在训练早期，但是随机初始化训练在经过更多次的迭代后，也可以达到相同的精度。 ImageNet 预训练并没有增加更...

Densely Connected Convolutional Networks ,作者清华姚班的刘壮，获得cvpr 2017 best paper。非常值得阅读。DenseNet优势：（1）解决了深层网络的梯度消失问题（2）加强了特征的传播（3）鼓励特征重用（4）减少了模型参数DenseNet的网络基本结构如上图所示，主要包含DenseBlock和tr

论文：EfficientNet: Rethinking Model Scaling for Convolutional Neural NetworksGithub：https://github.com/tensorflow/tpu/tree/master/models/official/efficientnet论文基于深度（depth），宽度（width），输入图片分辨率（resol...

labelme安装：pip install labelmelebelme的json格式：{ "version": "3.10.1", "flags": {}, "shapes": [ { "label": "car", "line_color": null, "fill_color": null, "points":...

论文：SLIMMABLE NEURAL NETWORKSGithub：https://github.com/JiahuiYu/slimmable_networksICLR 2019论文针对不同的硬件设备需要训练部署不同的模型的问题，提出了只需要训练一个网络就可以根据实际硬件在不同设备进行切换的轻量神经网络slimmable neural networks。论文提出的方...

论文：CBAM: Convolutional Block Attention Module  Convolutional Block Attention Module (CBAM) 表示卷积模块的注意力机制模块。是一种结合了空间（spatial）和通道（channel）的注意力机制模块。相比于senet只关注通道（channel）的注意力机制可以取得更好的效果。 基于传统VGG结构...

论文：Squeeze-and-Excitation NetworksGithub：https://github.com/hujie-frank/SENet Momenta ILSVRC 2017 分类任务的冠军，top-5 错误达到2:251% ，相比2016年冠军有∼25% 的准确性提升。 模型整体结构：Ftr函数表示一系列的卷积，池化操作等。其中X代表输入图片，v代表卷积核。Fsq函数代表gl...

分类任务loss:二分类交叉熵损失sigmoid_cross_entropy：TensorFlow 接口：tf.losses.sigmoid_cross_entropy( multi_class_labels, logits, weights=1.0, label_smoothing=0, scope=None, loss_c...

FAIR 团队，吴育昕和恺明大大的新作Group Normalization。主要的优势在于，BN会受到batchsize大小的影响。如果batchsize太小，算出的均值和方差就会不准确，如果太大，显存又可能不够用。而GN算的是channel方向每个group的均值和方差，和batchsize没关系，自然就不受batchsize大小的约束。从上图可以看出，随着batchsize的减小，GN的表现...

v1:Going deeper with convolutionsInception v1的网络，主要提出了Inceptionmodule结构（1*1，3*3，5*5的conv和3*3的pooling组合在一起），最大的亮点就是从NIN（Network in Network）中引入了1*1 conv，结构如下图所示，代表作GoogleNet假设previous laye...

Wiki官方提供了下载链接：https://dumps.wikimedia.org/zhwiki/latest/本文处理的中文wiki:zhwiki-latest-pages-articles.xml.bz2本文处理的英文wiki:enwiki-latest-pages-articles.xml.bz21，数据抽取，将*.xml.bz2转为可编辑txt#process_wiki.py# -*- ...

1， Bootstrapping，hard negative mining最原始的一种方法，主要使用在传统的机器学习方法中。比如，训练随机森林，对于每一个树就是采样booststraping方法采样，也算是随机森林的其中一个随机性表现。再比如bagging方法，也是基于该有放回重采样方法。比如，SVM分类中去掉那些离分界线较远的样本，只保留离分界线较近的样本。2， heurist...

之所以写这个文章，主要还是由于有2段经历，一次是有个去**实习的机会，就是要做一个对花卉分类的桌面应用。另一个耿是在一次GPU的培训会上，旁边一个童鞋的公司就是做手机端的花卉识别。当然现在市场上也有好多这方面比较成熟的应用。  进入正题，论文为，Automated flowerclassification over a large number of classes，核心思想主要就是用

squeezenet出自2016论文SQUEEZENET:ALEXNET-LEVEL ACCURACY WITH 50X FEWER PARAMETERS AND squeezenet主要提出了FireModule概念，如上图所示，一个FireModule由一个squeeze和一个expand组成，squeeze包含s个1*1的卷积核，expand包含e1个1*1的卷积核，e3个3*3

大家都知道，在caffe里面，要运行cifar10的例子就得先由cifar10的数据库。由于caffe为了提高运行效率，减少磁盘寻道时间等，统一了数据接口（lmdb，leveldb）。首先，看一下cafferoot/data/cifar10（cafferoot指的是自己caffe安装的根目录）下面的get_cifar10.sh可见其下载的是bin格式的图片，然后通过caffer