tensorflow2.1笔记

最新推荐文章于 2023-08-04 11:50:20 发布
原创 最新推荐文章于 2023-08-04 11:50:20 发布 · 372 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #python #tensorflow #人工智能 #神经网络

本文深入探讨了TensorFlow2.1中五种常见优化器：SGD、SGDM、Adagrad、RMSProp和Adam的工作原理及性能对比。通过详细解析，帮助读者理解如何选择合适的优化器来提升神经网络的训练效果。
部署运行你感兴趣的模型镜像

tensorflow2.1是谷歌公司于2020年1月发布的是一个端到端开源机器学习平台,它包含各种工具、库和社区资源。tensorflow2.版本在tensorflow1.版本的基础上做了改进和提高,语法变得更加简单，同时也扩展了一些新的函数功能。下面是我根据北京大学曹健老师的tensorflow笔记课程做的一些总结笔记，强烈推荐大家一起来学习这一门免费课程。
课程链接
源码下载链接：https://pan.baidu.com/s/19XC28Hz_TwnSQeuVifg1UQ 提取码：mocm

class2

神经网络参数优化器：

优化器是引导神经网络更新参数的工具，不同的优化器对参数更新快慢和模型准确率有很大的影响，下面我将介绍五种常见的优化器模型，并且对比它们的性能。
参数更新过程：
在这里插入图片描述
总结：其实不同的优化器的参数更新过程都是上面的四步，其不同之处在于第二步中的一阶动量和二阶动量选择不同。其中一阶动量是与梯度相关的函数，二阶动量是与梯度平方相关的函数。

1.SGD（无momentum）
在这里插入图片描述
注：gt为t时刻的梯度

2.SGDM(含momentum的SGD)

在SGD基础上增加一阶动量
在这里插入图片描述
注：β为超参数，一般设置接近于1

3.Adagrad

在SGD基础上增加二阶动量
在这里插入图片描述
4.RMSProp

在SGD基础上增加二阶动量
在这里插入图片描述
5.Adam

结合SGDM的一阶动量和RMSProp的二阶动量，同时对一阶动量和二阶动量的偏差进行修正
在这里插入图片描述
下面是五种优化器的对比图：
在这里插入图片描述

您可能感兴趣的与本文相关的镜像

TensorFlow-v2.15

TensorFlow-v2.15

TensorFlow

TensorFlow 是由Google Brain 团队开发的开源机器学习框架,广泛应用于深度学习研究和生产环境。 它提供了一个灵活的平台,用于构建和训练各种机器学习模型

Tensorflow学习笔记①——Pycharm中的Tensorflow2.1安装教程（小白版本）
CRW__DREAM的博客
10-15 7112
Anaconda和Pycharm中的Tensorflow2.1安装教程（小白版本）
TensorFlow2.1入门笔记1
akatsuki的博客
05-18 408
TensorFlow笔记：Class1 基础知识 张量（Tensor）：多维数组（列表） 阶：张量的维数 0阶张量表示标量，例：a=1 2 3 1阶张量表示向量（一维数组），例：a=[1,2,3] 2阶张量表示矩阵（二维数组）可以有i行j列，每个元素可以用行号和列号共同索引到，例：a=[[1,2,3],[4,5,6],[7,8,9]] 判断张量是几阶的，看t=[[[[[…的括号有多少个 张量表示0阶到n阶的数组 TensorFlow的数据类型 tf.int，tf.float tf.int32，tf.floa
tensorflow-gpu-1.2.1
08-11
目前google网站不好访问，tensorflow在线安装方式安装失败，下载安装文件手动安装是比较好的方式，分享tensorflow-gpu.1.2.1很多demo用该版本。
TensorFlow2.1入门学习笔记(4)——神经网络计算
Moon小木
05-11 601
个人博客：wyxogo.top 前面已经学习了有关TensorFlow的一些常用库，以及相关数据的处理方式，下面就是有关神经网络计算的学习笔记。主要学习的资料西安科技大学：神经网络与深度学习——TensorFlow2.0实战，北京大学：人工智能实践Tensorflow笔记张量可以表示0阶到n阶数组（列表） 张量：多维数组、多维列表 阶：张量的维数 运行结果： 将numpy的数据类型转换为Tensor数据类型 tf.convert_to_tensor(数据名, dtype=数据类型(可选)) 运行结果：
Windows 安装Tensorflow2.1、Pycharm开发环境
weixin_45715405的博客
08-04 1093
如果出现cudart64_101.dll找不到去官网进行下载一个放到C:\Windows\System32目录下。创建成功之后，输入以下代码进行验证，第一行时获取版本号，第二行时获取当前是否支持GPU，后面的计算两个变量之和。官网网址：https://www.dll-files.com/cudart64_101.dll.html。打开pycharm创建项目，选择刚才通过anaconda创建的虚拟环境进行开发。打开命令行工具，出现base就表示安装成功了，表示当前的虚拟环境名。在刚才的命令行中进行操作。
【TensorFlow笔记2.1】tf.nn.conv2d，tf.nn.max_pool
春播秋忙
02-25 798
tf.nn.conv2d函数解析 tf.nn.conv2d(input, filter, strides, padding, use_cudnn_on_gpu=None, name=None) 除去name参数用以指定该操作的name，与方法有关的一共五个参数： 第一个参数input：指需要做卷积的输入图像，它要求是一个Tensor，具有[batch, in_height, in_width, i...
精选资源
TensorFlow2.1 notebook
06-10
**TensorFlow 2.1 笔记本** TensorFlow 是谷歌开发的一个开源机器学习框架，广泛应用于深度学习、计算机视觉、自然语言处理等领域。在 TensorFlow 2.1 版本中，谷歌对 API 进行了重大改进，使得它更加易用且功能...
【Google 机器学习笔记】十、TensorFlow 2.1 实战（二）基本图像分类（MNIST）
12-22
【Google 机器学习笔记】十、TensorFlow 2.1 实战（二）基本图像分类（MNIST） 本文主要探讨的是使用TensorFlow 2.1进行图像分类的实践，特别是针对经典的MNIST手写数字识别任务。MNIST数据集是机器学习领域的标准...
TensorFlow2.1入门笔记2
akatsuki的博客
05-23 908
预备知识 tf.where(条件语句，真返回A，假返回B) np.random.RandomState.rand(维度)：返回一个[0,1)之间的随机数 np.vastack(数组1，数组2)：将两个数组垂直方向叠加 import tensorflow as tf a = tf.constant([1, 2, 3, 1, 1]) b = tf.constant([0, 1, 3, 4, 5]) c = tf.where(tf.greater(a, b), a, b) # 若a>b，返回a对应位置的
windows安装tensorflow2.1
奔跑入坑大数据
05-09 362
本文主要包括以下内容： 1.Anaconda python3.7.4 版本安装 2.Tensorflow 2.1安装 3.PyCharm安装 4.Jupyter Notebook安装 Anaconda 安装 前往Anaconda官网 Python 3.7 版本，选择64-Bit Graphical Installer 下载。下载完成后按照引导安装，采用默认路径。在Advanced Installation Options步骤，勾选第一个选项框 Add Anaconda to my PATH environm
TensorFlow 2.0 笔记（二）—— 高阶操作
随笔
08-20 380
合并与分割 数据统计 张量排序 填充与复制 张量限幅 高阶操作
TensorFlow2.1入门学习笔记(1)——Numpy科学计算库
Moon小木
04-29 1236
个人博客：wyxogo.top 在正式学习tensorflow2.0之前需要有一定的python基础，对numpy，matplotlib等库有基本的了解，笔者还是AI小白，通过写博客来记录自己的学习过程，同时对所学的东西进行总结。主要学习资料西安科技大学：神经网络与深度学习——TensorFlow2.0实战，北京大学：人工智能实践Tensorflow笔记。博客从tf常用的库开始，需要学习python基础的朋友推荐菜鸟教程描述数组的维度，以及各维度内部元素个数描述某位同学5门课程的成绩： 描述某个班30位同学
window10的tensorflow2.1安装
weixin_47643455的博客
06-19 380
前言：安装tensorflow2.0过程中可能会遇到很多问题。但是不要放弃啊 每台电脑都有自己的bug. 1.需要用到的软件：anaconda。 链接：此为anaconda的官网链接 选择对应的版本下载 笔者的系统为Windows64位。故选择了python3.764位版本的anaconda。ps:anaconda的python3.7和python2.7是不同的。 安装anaconda 安装时直接点击next，一般选用默认位置。记住一定要将anaconda加入系统环境变量！记住一定要将anaconda加入
tensorflow学习笔记（2）------北京大学 曹健
weixin_46331334的博客
10-10 434
神经网络实现鸢尾花的分类 准备数据 数据集的读入 from sklearn import datasets x_data = datasets.load_iris().data # 返回输入特征 y_data = datasets.load_iris().target # 返回标签 视频中有的代码是有问题的，但是他给的文档的代码没问题。 数据集乱序 # 打乱数据特征和标签 np.random.seed(116) np.random.shuffle(x_data) np.random.seed(116)
tensorflow学习笔记（1）------北京大学 曹健
weixin_46331334的博客
10-08 585
tensorflow学习笔记（1） 0 环境搭建 tensorfolw的环境搭建（anaconda版，一步到位） 视频里环境搭建过程很详细，就不细说了。(视频中也有配置视频，链接在文末) 另外，本笔记只是我记忆难记的地方写的，不喜勿喷。 课程环境（python3.7 、tensorfow2.1） 1.1 梯度下降公式 lr为学习率，w为权重。（lr太小，参数更新很慢；lr太大，会在最小的损失值左右摆动） 代码1.1 反向传播，梯度下降，使损失函数减小的过程，权重更新的过程。 import tensorf
tensorflow2.1 安装
chwei20002005的博客
02-17 2230
安装 tensorflow2.1 前提条件已经安装了 anaconda 3.7 , 由于网上这部分教程超级多，所以就不再这里赘述了。 Step 1 为了不与其他的现有编译器产生冲突，所以新建立一个专门用来运行tensorflow2.1的环境。 按照上图打开命令窗口，键入conda create -n Tensorflow21 python=3.7 注：这里 Tensorflow21 就是未来你编译器名称，可以是任意名称。 键入conda create -n Tensorflow21 py.
TensorFlow笔记（2）-搭建神经网络
Techblog of HaoWANG
01-14 528
内容概要： 搭建一个简单的神经网络，总结搭建八股。 张量、计算图、会话 基于TensorFlow的NN：用张量表示数据集，用计算图搭建神经网络，再用会话执行计算图，优化线上的权重（参数），得到优化后的模型。 张量（tensor）：可以简单理解为多为数组（列表） 阶：张量的维度 如果说TensorFlow的第一个词Tensor表明了它的数据结构，那么Flow则体现了它的计算模型。Tenso...
tensorflow 2.1搭建神经网络
sumatch的博客
05-06 1061
1.Session会话控制 Session是 Tensorflow 为了控制,和输出文件的执行的语句. 运行 session.run() 可以获得你要得知的运算结果, 或者是你所要运算的部分。 import tensorflow as tf tf.compat.v1.disable_eager_execution() matrix1 = tf.constant([[3, 2]]) matrix...
掌握TensorFlow2.1：全方位notebook指南
标题和描述中提及的“TensorFlow2.1 notebook”以及标签“tensorflow”直接指向了一个关于TensorFlow 2.1版本的学习笔记或者教程。TensorFlow是由Google开发的一个开源机器学习框架，广泛应用于各种深度学习和机器...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值