ssshyeong的博客

激活函数1.常用激活函数1.1.tf.nn.sigmoid1.2.tf.nn.softmax1.3tf.nn.tanh1.4.tf.nn.relu1.5.tf.nn.leaky_relu1.6.tf.nn.elu1.7.tf.nn.selu1.8.tf.nn.swish1.9.gelu2.在模型中使用激活函数1.常用激活函数1.1.tf.nn.sigmoid将实数压缩到0到1之间，一般只在二分类的最后输出层使用。主要缺陷为存在梯度消失问题，计算复杂度高，输出不以0为中心。1.2.tf.nn.sof

特征列通常用于对结构化数据实施特征工程时候使用，图像或者文本数据一般不会用到特征列。

数据管道Dataset1.构建数据管道1.1.从Numpy array构建数据管道1.2.从 Pandas DataFrame构建数据管道1.3.从Python generator构建数据管道1.4.从csv文件构建数据管道1.5 从文本文件构建数据管道1.6.从文件路径构建数据管道1.7.从tfrecords文件构建数据管道2.应用数据转换2.1.map和flat_map：2.2.interleave() ：2.3.filter过滤掉某些元素：2.4.zip和condatenate2.5.reduce2.

AutoGraph和tf.Module1.Autograph和tf.Module概述2.应用tf.Module封装Autograph3.tf.Module和tf.keras.Model，tf.keras.layers.Layer1.Autograph和tf.Module概述构建Autograph时应该避免在@tf.function修饰的函数内部定义tf.Variable，但是如果在函数外部定义tf.Variable的话，又会显得这个函数有外部变量依赖，封装不够完美。一种简单的思路是定义一个类，并将相关

AutoGraph的使用规范1.Autograph编码规范总结2.Autograph的机制原理3.重新理解Autograph的编码规范Autograph机制可以将动态图转换成静态计算图，兼收执行效率和编码效率之利。当然Autograph机制能够转换的代码并不是没有任何约束的，有一些编码规范需要遵循，否则可能会转换失败或者不符合预期。1.Autograph编码规范总结被@tf.function修饰的函数应尽可能使用TensorFlow中的函数而不是Python中的其他函数。例如使用tf.print而

张量的数学运算1.标量运算2.向量运算2.1.reduce2.2.cum扫描累积2.3.arg最大最小值索引2.4.math.top_k对张量排序3.矩阵运算4.广播机制tf.broadcast_to(a,b.shape)张量数学运算主要有：标量运算，向量运算，矩阵运算。另外我们会介绍张量运算的广播机制。1.标量运算张量的数学运算符可以分为标量运算符、向量运算符、以及矩阵运算符。加减乘除乘方，以及三角函数，指数，对数等常见函数，逻辑比较运算符等都是标量运算符。标量运算符的特点是对张量实施逐元素运算

张量的结构操作1.创建张量2.索引切片2.2.tf.slice.2.3.tf.gather2.3.tf.gather_nd2.4.tf.boolean_mask3.修改张量的某些元素3.1.tf.where3.2.tf.scatter_nd4.维度变换4.1.tf.reshape ——改变张量的形状。4.2.tf.squeeze ——减少维度。4.3.tf.expand_dims ——增加维度。4.4.tf.transpose ——交换维度。5.合并分割5.1.tf.concat5.2.tf.stack5.

TOC1.低阶API示范下面的范例使用TensorFlow的低阶API实现线性回归模型和DNN二分类模型。import tensorflow as tfimport numpy as npimport pandas as pdfrom matplotlib import pyplot as plt#打印时间分割线@tf.functiondef printbar(): today_ts=tf.timestamp()%(24*60*60) hour=tf.cast(tod

自动微分机制1.利用梯度磁带求导数1.1.示例1.2.tf.GradientTape()方法2.利用梯度磁带和优化器求最小值2.1.optimizer方法2.2.示例Tensorflow一般使用梯度磁带tf.GradientTape来记录正向运算过程，然后反播磁带自动得到梯度值。这种利用tf.GradientTape求微分的方法叫做Tensorflow的自动微分机制。1.利用梯度磁带求导数1.1.示例import tensorflow as tfimport numpy as np # f(

三种计算图1.计算图简介2.静态计算图2.1.TensorFlow 1.0静态计算图范例2.2.TensorFlow2.0 怀旧版静态计算图3.动态计算图4.TensorFlow2.0的Autograph有三种计算图的构建方式：静态计算图，动态计算图，以及Autograph.1.计算图简介计算图由节点(nodes)和线(edges)组成。节点表示操作符Operator，或者称之为算子，线表示计算间的依赖。实线表示有数据传递依赖，传递的数据即张量。虚线通常可以表示控制依赖，即执行先后顺序。

变量、常量和占位符1.概述2.TensorFlow 常量3.TensorFlow 变量4.TensorFlow 占位符4.1.解读分析5.拓展阅读1.概述最基本的 TensorFlow 提供了一个库来定义和执行对张量的各种数学运算。张量，可理解为一个 n 维矩阵，所有类型的数据，包括标量、矢量和矩阵等都是特殊类型的张量。TensorFlow 支持以下三种类型的张量：常量：常量是其值不能改变的张量。变量：当一个量在会话中的值需要更新时，使用变量来表示。例如，在神经网络中，权重需要在训练期间更新，可