Anakin6174的博客

本文分两个部分，第一部分讲解transformers的网络架构和原理，第二部分讲解如何将其应用到CV领域；1，transformers的网络架构《Attention Is All You Need》是一篇Google提出的将Attention思想发挥到极致的论文。这篇论文中提出一个全新的模型，叫 Transformer，抛弃了以往深度学习任务里面使用到的 CNN 和 RNN。目前大热的Bert就是基于Transformer构建的，这个模型广泛应用于NLP领域，例如机器翻译，问答系统，文本摘要和语音识别等

textCNN原理简介与工程实现textCNN是启发于图像处理领域的CNN，将其改造应用于文本领域。原论文是纽约大学Yoon Kim发表于EMNLP 2014的Neural Networks for Sentence Classification；论文显示，只是简单的在word2vector加入textcnn层，在很多公开数据集的任务上性能都得到了很好的提升。下面从textcnn的原理介绍和代码实现两个方面来具体介绍。1，textCNN原理介绍textCNN网络结构很清晰，基本下面这张图就说清楚该模型

学习词向量时，看到一篇脉络清晰地文章，这里直接引用了word embedding后续如果有补充我再加吧

记录一下服务器跑程序用到的技术1，后台执行程序训练模型常常需要跑很长时间，前台执行时一旦断开，程序就终止了，所以需要在后台执行。示例：nohup python -u test.py > test.log 2>&1 &nohup //不挂起的意思python test.py //python运行test.py文件-u 代表程序不启用缓存，也就是把输出直接放到log中，没这个参数的话，log文件的生成会有延迟“> t

transformer模型的工作原理和语言模型BERT1，概述《Attention Is All You Need》是一篇Google提出的将Attention思想发挥到极致的论文。这篇论文中提出一个全新的模型，叫 Transformer，抛弃了以往深度学习任务里面使用到的 CNN 和 RNN。目前大热的Bert就是基于Transformer构建的，这个模型广泛应用于NLP领域，例如机器翻译，问答系统，文本摘要和语音识别等等方向。以下是论文引用：“Transformer 是第一个完全依赖自注意力（

资料来源：北京大学 曹建教授的课程 人工智能实践：TensorFlow笔记使用八股搭建神经网络参考：https://blog.youkuaiyun.com/Anakin6174/article/details/108046166这次是增强版。其中二三四五步是大家调试模型常用的步骤。代码示例：import tensorflow as tfimport osimport numpy as npfrom matplotlib import pyplot as pltnp.set_printopti

资料来源：北京大学 曹建教授的课程 人工智能实践：TensorFlow笔记使用八股搭建神经网络其中第三步使用Sequential只能搭建简易的全连接模型，如果是有跳转的卷积网络或者其他复杂设计的网络需要自己创建一个类来设计；利用鸢尾花数据集来搭建网络举例：# 用sequential或自己搭建model类import tensorflow as tffrom sklearn import datasetsimport numpy as npx_train = datasets.lo

参考：https://blog.youkuaiyun.com/weixin_42863507/article/details/106169386

看书的时候做点笔记，偶尔翻出来看看才能真正掌握；否则很快就遗忘了（艾宾浩斯遗忘曲线）。** 1 集成学习**集成学习 (ensemble learning)通过构建并结合多个学习器来完成学习任务。根据个体学习器的生成方式 ，集成学习方法大致可分为两大类：即个体学习器问存在强依赖关系、必须串行生成的序列化方法?以及个体学习器间不存在强依赖关系、可同时生成的并行化方法;前者的代表是 Boosting，后者的代表是 Bagging 和"随机森林" (Random Forest) 。Boosting 是一族

看到很早的介绍深度学习的系列文章：深度学习介绍下面是一点摘抄：机器学习（Machine Learning）是一门专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能的学科。从原始信号摄入开始（瞳孔摄入像素 Pixels），接着做初步处理（大脑皮层某些细胞发现边缘和方向），然后抽象（大脑判定，眼前的物体的形状，是圆形的），然后进一步抽象...

import pandas as pdimport numpy as npfrom sklearn.preprocessing import MinMaxScalerfrom sklearn.model_selection import train_test_splitfrom tensorflow import kerasfrom sklearn.metrics import mean...

Tensorflow之深层神经网络1，深度学习与深层神经网络维基百科对深度学习的定义：一类通过多层非线性变换对高复杂性数据建模算法的合集。深层神经网络是实现多层非线性变换的最常用方法，因此实际中深度学习成为深层神经网络的代名词。深度学习有两个重要特性：多层和非线性。1.1 线性模型的局限性y = (xw_1)w_2 = x(w_1w_2) = xw_1从上面这个推理可以看出线性的两层神...

1，课程小结主要讲了只有一层隐层的浅层神经网络。假设样本有三个特征，隐层有4个节点，则神经网络的结构如上图所示。正向传播计算有四个公式。对于多样本，向量化计算如下：常用的激活函数：一般来说，tanh函数好过sigmod函数，因为其中心为0，除非是二元分类，一般不用sigmod函数；一般情况下，激活函数选用Relu函数。反向传播计算梯度如下：一般w初始化是采用随机数而不能采用全...

直接导入jupyter文件，部分图片显示不出来，其他的都还好。Optimization MethodsUntil now, you’ve always used Gradient Descent to update the parameters and minimize the cost. In this notebook, you will learn more advanced optim...

InitializationWelcome to the first assignment of “Improving Deep Neural Networks”.Training your neural network requires specifying an initial value of the weights. A well chosen initialization metho...

RegularizationWelcome to the second assignment of this week. Deep Learning models have so much flexibility and capacity that overfitting can be a serious problem, if the training dataset is not big e...

Gradient CheckingWelcome to the final assignment for this week! In this assignment you will learn to implement and use gradient checking.You are part of a team working to make mobile payments availa...

这一周的习题是搭建了一个两层和多层的神经网络，做完这一课的作业，以后无论搭建什么结构的网络都会轻轻松松了。第一次作业：用到的工具包dnn_utils_v2：import numpy as npdef sigmoid(Z): """ Implements the sigmoid activation in numpy Arguments: Z --...

补充第二周的作业，这次作业主要就是搭建一个简单的逻辑回归的模型。第二节习题，只选取之中的部分内容sigmoid函数：def sigmoid(z): """ Compute the sigmoid of z Arguments: z -- A scalar or numpy array of any size. Return: s -- si...

都是选择题，包含答案：第一周：https://blog.youkuaiyun.com/PinkAir/article/details/84871669第二周：https://blog.youkuaiyun.com/PinkAir/article/details/84872216

参考：作业1：https://blog.youkuaiyun.com/Brianone/article/details/90145976作业2：https://blog.youkuaiyun.com/weixin_34242658/article/details/87435862https://blog.youkuaiyun.com/Hansry/article/details/78691303...

Convolutional Neural Networks: ApplicationWelcome to Course 4’s second assignment! In this notebook, you will:Implement helper functions that you will use when implementing a TensorFlow modelImple...

Convolutional Neural Networks: Step by StepWelcome to Course 4’s first assignment! In this assignment, you will implement convolutional (CONV) and pooling (POOL) layers in numpy, including both forwa...

Operations on word vectorsWelcome to your first assignment of this week!Because word embeddings are very computionally expensive to train, most ML practitioners will load a pre-trained set of embedd...

课后习题：https://blog.youkuaiyun.com/jocelynxyq/article/details/79820311###