TFATS的博客

BERT 模型是 Google 在 2018 年提出的一种 NLP 模型，成为最近几年 NLP 领域最具有突破性的一项技术。在 11 个NLP 领域的任务上都刷新了以往的记录，例如GLUE，SquAD1.1，MultiNLI 等。一，BERT整体概述1，前言Google 在论文《BERT: Pre-training of Deep Bidirectional Transformers forLanguage Understanding》中提出了 BERT 模型，BERT 模型主要利用了 Tran.

一,加载数据0,导入深度学习包import matplotlib as mplimport matplotlib.pyplot as pltimport numpy as npimport sklearnimport pandas as pdimport osimport sysimport timeimport tensorflow as tffrom tensorflow import kerasprint(tf.__version__)print(sys.version_i

本文将介绍：Transformer论文地址及论文翻译地址Seq2seq+attention和Transformer对比Transformer模型结构图例Encoder-Decoder架构缩放点积注意力多头注意力位置编码Add&NormalizeDecoding过程一,Transformer论文地址及论文翻译地址二,Seq2seq+attention和Transformer对比三,Transformer模型结构图例四,Encoder-Decoder架构五,缩放点积注意力

一，数据下载

一，原始的seq2seq如下入所示，seq2seq模型包含 Encoder和Decoder两部分，分别为RNN模型或其变种LSTM等模型，Encoder输出S隐含状态，该隐藏状态和NU输入到

一,处理数据1,加载训练数据# https://storage.googleapis.com/download.tensorflow.org/data/shakespeare.txtinput_filepath = "./shakespeare.txt"text = open(input_filepath, 'r').read()print(len(text))print(text[0:100])2,生成词库"""# 1. generate vocab# 2. build mappin

一,从keras数据集imdb中加载影评数据imdb = keras.datasets.imdbvocab_size = 10000 # 出现词频由高到低, 截取前10000个词组,其余按特殊字符处理index_from = 3 # 截取的单词和对应索引,向后平移3个单位(train_data, train_labels), (test_data, test_labels) = imdb.load_data( num_words = vocab_size, index_from = in

一，为什么需要LSTM二，

一，处理数据1，加载训练数据# https://storage.googleapis.com/download.tensorflow.org/data/shakespeare.txtinput_filepath = "./shakespeare.txt"text = open(input_filepath, 'r').read()print(len(text))print(text[0:100])

pass

一，全链接神经网络和循环神经网络实现文本分类比较1，全链接神经网络二，什么是序列式问题三，什么是循环神经网络四，在训练时的循环神经网络五，在预测时的循环神经网络六，如何使用循环神经网络做文本分类...

本文将介绍：循环神经网络之embedding循环神经网络之padding循环神经网络之模型构建与训练一，从keras数据集imdb中加载影评数据并查看1，从keras数据集imdb中加载影评数据# 1,从keras数据集imdb中加载影评数据imdb = keras.datasets.imdbvocab_size = 10000 # 出现词频由高到低, 截取前10000个词组,其余按特殊字符处理index_from = 3 # 截取的单词和对应索引,向后平移3个单位(train_

本文将介绍：使用keras实现resnet50模型实现迁移学习-finetune一，下载kaggle-cifar10数据通过下面的链接，下载dataset到本地目录cifar10中kaggle-cifar10下载地址二，

#!/usr/bin/env python3# -*- coding: utf-8 -*-import matplotlib as mplimport matplotlib.pyplot as pltimport numpy as npimport osimport pandas as pdimport sklearnimport sysimport tensorflow as tfimport timefrom tensorflow import keras# 打印使用的pyt

本文将介绍：10monkeys基础模型搭建与训练keras实现数据增强一，下载kaggle-10monkey数据通过下面的链接，下载dataset到本地目录intput中kaggle-10monkey下载地址二，使用keras中ImageDataGenerator读取数据、数据增强1，实例化ImageDataGenerator# 对于图片数据,在keras里有更高层的封装.读取数据且做数据增强 -> Generatortrain_datagen = keras.preproces

本文将介绍：什么是深度可分离卷积网络实现深度可分离卷积网络实战代码一，什么是深度可分离卷积网络1，常规的卷及操作常规的卷及操作如上图所示：参数量共计3 x 3 x 3 x 4 = 108.2，深度可分离卷积depthwise convolutionpointwise convolution1）depthwise convolution常规卷积,卷积核是作用于所有的depth方向的. depthwise conv对不同channel用不同的卷积核做卷积参数量共计参数共计3

本文将介绍：如何实现tensorflow动态按需分配GPU实现卷积神经网络实战代码一、实现tensorflow动态按需分配GPU关于tf动态分配内存可参考文章https://blog.youkuaiyun.com/TFATS/article/details/113978075import matplotlib as mplimport matplotlib.pyplot as pltimport numpy as npimport sklearnimport pandas as pdimport

一，问题描述在使用tensorflow-gpu时，出现下面的错误：tensorflow.python.framework.errors_impl.UnknownError: Failed to get convolution algorithm. This is probably because cuDNN failed to initialize, so try looking to see if a warning log message was printed above.[[node seq

本文将介绍：一，加载Titanic数据集1,下载Titanic数据集,使用pandas读取并解析数据集下载数据的网址如下：https://storage.googleapis.com/tf-datasets/titanic/train.csvhttps://storage.googleapis.com/tf-datasets/titanic/eval.csv将下载的数据读取到pandas中，代码如下：#!/usr/bin/env python3# -*- coding: utf-8 -*-

本文将介绍：加载Titanic数据集使用feature_column做数据处理,并转化为tf.data.dataset类型数据keras_to_estimator一，加载Titanic数据集在这里插入代码片二，使用feature_column做数据处理,并转化为tf.data.dataset类型数据在这里插入代码片三，keras_to_estimator在这里插入代码片...

本文将介绍：生成tfrecords文件读取tfrecords文件将从tfrecords文件读取的数据与tf.keras结合使用一，生成tfrecords文件1，获取csv文件并分类为训练数据集,验证数据集,测试数据集#!/usr/bin/env python3# -*- coding: utf-8 -*-import matplotlib as mplimport matplotlib.pyplot as pltimport numpy as npimport sklearnim

本文将介绍：构建一个tf.train.Example对象将tf.train.Example对象存入文件中,生成的tf_record文件.使用tf.data的API读取tf_record文件，并实现反序列化将tf.train.Example对象存入压缩文件中,生成的tf_record压缩文件.使用tf.data的API读取tf_record压缩文件.一，构建一个ByteList,FloatList,Int64List的对象#!/usr/bin/env python3# -*- coding

一，准备csv文件import matplotlib as mplimport matplotlib.pyplot as pltimport numpy as npimport sklearnimport pandas as pdimport osimport sysimport timeimport tensorflow as tffrom tensorflow import keras# 打印使用的python库的版本信息print(tf.__version__)print(

一，准备数据从sklearn数据集中提取数据import matplotlib as mplimport matplotlib.pyplot as pltimport numpy as npimport sklearnimport pandas as pdimport osimport sysimport timeimport tensorflow as tffrom tensorflow import keras# 打印使用的python库的版本信息print(tf.__v

本文将介绍如下内容：numpy转化为tf.data.Datasettf.data.Dataset方法-repeat,batchtf.data.Dataset方法-interleavefrom_tensor_slices中传入set元组参数from_tensor_slices中传入dict字典参数fg一，numpy转化为tf.data.Dataset在这里插入代码片二，tf.data.Dataset方法-repeat,batch三，tf.data.Dataset方法-interlea

本文将介绍如下内容：近似求导tf.GradientTape基本使用方法tf.GradientTape与tf.keras结合使用一，近似求导在近似求导中，本质是取求导参数前后的两个偏移量的点，带入函数中，近似求导。该偏移量约小，其近似求导的数值约接近真实值。1，对一元方程的近似求导# 对一元方程的近似求导def f(x): return 3. * x ** 2 + 2. * x - 1def approximate_derivative(f, x, eps=1e-3):

本文将介绍如下内容：TF函数签名图结构TF函数中的input_signature的作用:1，签名(确定传入的参数是符合要求的)。2，有input_signature后,才能在tf中保存成TF图解钩-SaveModel。一，TF函数签名函数签名由函数原型组成。它告诉你的是关于函数的一般信息，它的名称，参数，它的范围以及其他杂项信息。可以确定传入的参数是符合要求的。我们使用input_signature对tf.function修饰的函数进行数字签名；tf.TensorSpec ( sh

本文将介绍如下内容：使用tf.function和AutoGraph提高代码性能使用@tf.function进行函数转换展示tf.function转换后的代码tf.Variable无法在函数内部定义一，使用tf.function和AutoGraph提高代码性能1，为方便测试，自定义激活函数# 使用TF2的内置方法tf.function(),自定义scaled_elu激活函数# tf.function and auto-graph.def scaled_elu(z, scale=1.0,

本文将介绍如下内容：自定义损失函数自定义DenseLayer一，自定义损失函数1，在TF中实现自定义损失函数在TF中实现的demo如下：import tensorflow as tf import numpy as np y_pred = np.array([1,4,3,2,6,5,9])y_true = np.array([1,4,3,2,1,4,9])print(tf.reduce_mean(tf.square(y_pred - y_true)))# ---output--

pass

本文将介绍：超参数搜索手动实现超参数搜索sklearn封装keras模型sklearn实现超参数搜索一，超参数搜索二，手动实现超参数搜索三，sklearn封装keras模型四，sklearn实现超参数搜索

本文将介绍：wide_deep模型函数API实现wide&deep模型子类API实现wide&deep模型wide&deep模型的多输入与多输出实战一，wide_deep模型简介详解 Wide&Deep 推荐框架二，函数API实现wide&deep模型1，函数API实现wide&deep代码如下input = keras.layers.Input(shape=x_train.shape[1:])hidden1 = keras.lay

本文将详细介绍：实现批归一化实现selu激活函数实现dropout一，实现批归一化在模型中加入批归一化层。激活函数relu在keras中可以独立以层级的方式加入。关于BatchNormalization的介绍 https://www.freesion.com/article/1720963165/1，keras实现批归一化代码如下model = keras.models.Sequential()model.add(keras.layers.Flatten(input_shape=

pass#!/usr/bin/env python3# -*- coding: utf-8 -*-import matplotlib as mplimport matplotlib.pyplot as pltimport numpy as npimport sklearnimport pandas as pdimport osimport sysimport timeimport tensorflow as tffrom tensorflow import keras# 1,打印

在机器学习、深度学习中，激活函数有时会使用到Sigmoid函数。本文将详细介绍：使用python包matplotlib绘制Sigmoid函数图形Sigmoid函数详细求导过程Sigmoid函数求极值的两种方法Sigmoid函数：一，使用python包matplotlib绘制Sigmoid函数图形1，python绘制Sigmoid图形代码如下：import numpy as npimport matplotlib.pyplot as pltdef sigmoid(x): .

本文将介绍如下内容：下载并使用sklearn中的数据集使用“pprint”查看数据集样例拆分数据集中的数据为 训练数据、验证数据、测试数据在将数据带入到模型之前，先进行预处理-训练、验证、测试数据标准化构建回归模型、模型层级图、编译模型（添加损失函数、优化器）、添加回调函数一，下载并使用sklearn中的数据集import matplotlib as mplimport matplotlib.pyplot as pltimport numpy as npimport sklearn

本文将介绍如下内容：导入、打印使用的python库的版本信息从keras.datasets中提取图片数据集-“训练数据”、“验证数据”、“测试数据”查看单、多张图片分类模型之模型构建查看模型的图结构训练模型绘图表示模型参数的变化过程数据的标准化回调函数一，导入、打印使用的python库的版本信息import matplotlib as mplimport matplotlib.pyplot as pltimport numpy as npimport sklearnimpo

一，Keras和TensorFlow的历史纠葛Keras 最初是由 Google AI 开发人员/研究人员 Francois Chollet 创建，并于 2015 年 3 月 27 日将 Keras 的第一个版本 commit 并 release 到他的 GitHub。TensorFlow 从 Keras v1.1.0 发行版开始成为 Keras 的默认后端（在 v1.1.0 之前，Keras 的默认后端都是 Theano）。tf.keras 在 TensorFlow v1.10.0 中被引入Te