云从天上来-优快云博客

我们知道很多NLP模型（Transformer, Bert）输入的其中一部分是句子的token，然后结合位置编码进入到Mutil-Head Self Attention Layer，后者大家都很熟悉，但如何获得token，却很少有人讲解，这一部分也一度令我疑惑。获得句子的token，操作被称为：tokenization。是NLP任务中最基础、最先需要进行的一步，该操作的目的是将输入文本分割成单独的部分，然后结合词典进一步转化为token。

2023-03-19 23:02:28 6124 5

原创回归模型中的多重共线性 + 危害 + 原因 + 判断标准 + 解决办法，回归系数

回归模型中的多重共线性 + 危害 + 原因 + 判断标准 + 解决办法，以及相关概念

2023-03-17 11:46:24 27001 6

原创 NLP领域中两种语言模型AR(AutoRegressive Language Modeling)和AE(AutoEncoding Language Modeling)

自然语言领域中语言模型一般划分为两类：AR(AutoRegressive Language Modeling)和AE(AutoEncoding Language Modeling)，两类模型的定义、数学表示、代表作以及优缺点

2023-03-03 23:00:44 1655

原创 L1、L2正则化的原理及适用场景

L1和L2正则化的适用范围；L1为何比L2更容易获得稀疏解

2023-01-29 19:19:58 5491

原创机器学习项目中Xgboost深入理解（二）梯度及GB的理解

XGBOOST 与 GBDT同源，G/梯度是什么意思？GB/梯度提升又代表什么

2022-12-15 11:19:18 777

原创 stack 相关题目 day 1

stack相关leetcode经典题目，附上思路

2022-11-22 20:51:27 294

原创 C++ 随心记5 C++17 较好用的新特性（一）令代码简洁的特性

C++ 17 中优化代码、简洁代码比较好的特性学习

2022-10-29 23:12:58 823

原创 C++随心记（四）

指针和引用的关系，static 关键字，c++内存分配5个区域

2022-08-09 15:23:26 271

原创 C++随心记（三）

c++中vector释放内存、const和constexpr的理解和学习

2022-08-04 16:45:31 3858

原创 C++随心记（二）

c++第二弹，主要记录了各种继承和虚函数的各种概念，核心在于对象构建时，构造函数的调用顺序

2022-07-29 15:54:23 485

原创 C++随心记（一）

C++基础知识学习，在深入学习后，将会不断的更新新、旧章节。持续提升自己的编程水平、面试水平和认知水平。

2022-07-26 10:01:13 291

原创 YOLOV1和Faster-R-CNN的区别

抽空总结一下Yolov1和Faster-r-cnn的区别。首先要知道 Yolov1：anchor-free的one-stage 目标检测算法；Faster：anchor-base的two-stage 目标检测算法。YOLOV1可以去看下我之前的博客Yolov1细节解读1. Yolov1并没有预先设置anchor，而是选择直接预测bounding box，并且仅对每一个特征点（模型最后的特征图是一张7 * 7 * 30）只预测2个候选框；Faster为feature map上的特征点预先设置了9.

2020-12-13 21:48:10 3357

原创 DenseNet 模型细节解读

论文：Densely Connected Convolutional Networks论文链接：https://arxiv.org/pdf/1608.06993.pdf代码的github链接：https://github.com/liuzhuang13/DenseNet文章是CVPR2017的oral。文章提出了一种密集连接机制：即互相连接所有的层，具体来说就是每个层都会接受其前面所有层作为其额外的输入，该结构主要还是和ResNet以及Inception网络的结构做对比。我们知道从2015...

2020-12-07 16:05:43 1642 1

原创 Docker容器单机多GPU训练，apex安装踩坑记录

用了一个下午来安装apex，按照官方的3步流程，总在最后一步报错。安装步骤如下（最好不要幻想用其它方式，因为其它方式大概率不报错但是用不了）：$ git clone https://github.com/NVIDIA/apex $ cd apex $ pip install -v --no-cache-dir --global-option="--cpp_ext" --global-option="--cuda_ext" ./但是总是报下面这个错误，这个错误在github上非常常见，我去g

2020-12-03 20:43:24 1784 1

原创 FCOS目标检测论文各种细节解读

PDF:https://arxiv.org/pdf/1904.01355.pdf1. FCOS（Fully Convolutional One-Stage Object Detection）先要明确的知道，FCOS是一个基于FCN、一阶段（one stage）、anchor free、proposal free、参考语义分割思想实现的逐像素目标检测的模型。...

2020-11-30 22:20:28 7892 13

原创实例分割模型 YOLACT 和 YOLACT++

Paper：CVPR 2019YOLACT: Real-time Instance Segmentation，CVPR 2020YOLACT++: Better Real-time Instance Segmentation1. YOLACT先要明确的知道，YOLACT是一个一阶段（one stage）、全卷积（FCN）、实例分割（instance segmentation）模型。核心关注点在实时性上，该模型在单个Titan Xp上以33 fps在MS COCO上实现了29.8 mAP。...

2020-11-25 15:40:47 7645 2

repository.rar

空空如也