weixin_42078618的博客

DL常见的三大网络类型，CNN、RNN和GAN，CNN用于CV领域较多，RNN则用于NLP方向较多，GAN就比较特殊，娱乐向的CV。而其中，最常用、最高效的三个技术点就是BN、LN和IN了，他们是三种网络的典型代表作。1、BN（BatchNormalization）看图说话。我们假设有一批图像的feature maps传入网络中（如上）。其中，N表示batch_size，9*...

从第一版的yolov3（http://github.com/qqwweee/keras-yolo3）在这位q神翻译出来后，在下一直跟进yolo的发展，两年前第一次迁移了q神的keras版。最近keras版的yolov4（http://github.com/Ma-Dan/keras-yolo4）也问世了。由于tf发展到了tf2+，很多模型建立过程、命名规则、文件读取方法以及keras的支持等，都做了非常大的调整，再加上该版本的代码是延续yolov3的代码，没有使用论文的很多tricks，加上历...

最近在跟踪keras的contri版的更新时，发现了冒出了一个Capsule层。于是我百度+谷歌一顿操作猛如虎，才发现在很早之前，胶囊网络的概念就提出了。但是限于胶囊网络的performance并不是在各个数据集都是碾压的情况，并且其计算量偏大，训练时间偏长，所以并没有被广泛的运用和替换。但是在官方给出的测试结果来看，其实效果还是挺不错的。以上是原论文（https://ar...

神经网络是一种比较难以理解的结构，关于神经网络的各种层次的说明解释，大家请移步百度、google本次的分享会从人类视觉角度、生物角度谈一谈神经网络中的一些优化算法。 首先，计算机领域设计出来的算法、模型和数据结构，都可以理解为一种建模操作（这是一种解释方式）。比如：决策树，可以理解为把数据结构仿造树枝树干的结构进行设计的，以树为模型；SVM，可以理解为把数据堆从多维的角度，进行高维分类...

二维的转置大家都很熟悉，横轴变纵轴嘛，1 2 3 1 4 74 56 转一下变成 2 5 87 89 3 6 9但是对于深度学习来说，尤其在transformer以及后来的bert模型出世以后，需要对多个大批次的多个部分的二维数据进行转置，...

久仰bert大名，终于痛下杀手对bert做一个从肉体到精神上的深入探究和了解在参观了https://github.com/google-research/bert和https://github.com/CyberZHG/keras-bert后，我也决定重写一份keras版本的keras-bert（https://github.com/yfyvan/keras-bert-core），毕竟，是吧...