
飞桨AIstudio教学使用
文章平均质量分 90
# 入门基础方法。以及单机多卡,多机多卡使用。VisualDL工具、环境使用说明、脚本任务、图形化任务、在线部署及预测
汀、人工智能
本博客将不定期更新关于机器学习、强化学习、数据挖掘以及NLP等领域相关知识,以及分享自己学习到的知识技能,感谢大家关注!
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
【1】paddle飞桨框架高层API使用讲解
1.高层API简介飞桨框架2.0全新推出高层API,是对飞桨API的进一步封装与升级,提供了更加简洁易用的API,进一步提升了飞桨的易学易用性,并增强飞桨的功能。飞桨高层API由五个模块组成:数据加载、模型组建、模型训练、模型可视化和高阶用法。下面以MNIST分类器为例子,来感受一下便捷吧!import paddlefrom paddle.vision.transforms import Compose, Normalizefrom paddle.vision.dataset...原创 2021-05-07 14:57:34 · 2982 阅读 · 1 评论 -
paddle之visualDL工具使用,可视化利器。
相关链接:isualDL 是一个面向深度学习任务设计的可视化工具。VisualDL 利用了丰富的图表来展示数据,用户可以更直观、清晰地查看数据的特征与变化趋势,有助于分析数据、及时发现错误,进而改进神经网络模型的设计。目前,VisualDL 支持 scalar, image, audio, graph, histogram, pr curve, high dimensional 七个组件. 分别记录loss、F1等指标添加两个记录器终端指令:#在命令行执行:3.PR Curv原创 2022-07-11 15:30:57 · 1990 阅读 · 0 评论 -
【二】分布式训练---参数服务器训练(飞桨paddle1.8)
1.参数服务器训练简介参数服务器训练是分布式训练领域普遍采用的编程架构,主要解决以下两类问题:模型参数过大:单机内存空间不足,需要采用分布式存储。训练数据过多:单机训练太慢,需要加大训练节点,来提高并发训练速度。如图所示,参数服务器主要包含Server和Worker两个部分,其中Server负责参数的存储和更新,而Worker负责训练。简单来说,参数服务器训练的基本思路:当训练数据过多,一个Worker训练太慢时,可以引入多个Worker同时训练,这时Worker之间需要同步模型参数。直观想法是原创 2021-06-28 14:45:14 · 1697 阅读 · 1 评论 -
【一】分布式训练---单机多卡多机多卡(飞桨paddle1.8)
1.分布式训练简介分布式训练的核心目的: 加快模型的训练速度。通过对训练任务按照一定方法拆分分配到多个计算节点进行计算,再按照一定的方法对需要汇总的信息进行聚合,从而实现加快训练速度的目的。1.1 分布式训练的并行方式在实际应用中,对训练任务的拆分方法是比较有限的,通常有如下几种: 数据并行:将数据集切分放到各计算节点,每个计算节点的计算内容完全一致,并在多个计算节点之间同步模型参数,我们通常称这种并行训练方法为数据并行。数据并行可以解决数据集过大无法在单机高效率训练的问题,也...原创 2021-06-28 14:23:18 · 4963 阅读 · 2 评论 -
【三】分布式训练---单机多卡与多机多卡组网(飞桨paddle2.0+)更加推荐spawn方式!
1. 单机多卡启动并行训练飞桨2.0增加paddle.distributed.spawn函数来启动单机多卡训练,同时原有的paddle.distributed.launch的方式依然保留。paddle.distributed.launch通过指定启动的程序文件,以文件为单位启动多进程来实现多卡同步训练。以前在aistudio脚本任务说明里,就是推荐这种方法启动多卡任务。launch这种方式对进程管理要求较高。paddle.distributed.spawn是以function函数为单位启动多进程来实原创 2021-06-28 16:36:50 · 3466 阅读 · 3 评论 -
paddle DeBug 三步定位PARL飞桨报错原因,快速解决程序问题
PaddlePaddlle强化学习及PARL框架{飞桨}【一】-环境配置+python入门教学【二】-Parl基础命令【三】-Notebook、&pdb、ipdb 调试【四】-强化学习入门简介【五】-Sarsa&Qlearing详细讲解【六】-DQN【七】-Policy Gradient【八】-DDPG【九】-四轴飞行器仿真飞桨PARL_2.0&1.8.5(遇到bug调试修正)一、AI Studio 项目详解【VisualDL工具】二、原创 2021-04-08 10:46:26 · 1707 阅读 · 0 评论 -
【五】AI Studio 项目详解【VisualDL工具、环境使用说明、脚本任务、图形化任务、(五)在线部署及预测】PARL
PaddlePaddlle强化学习及PARL框架{飞桨}【一】-环境配置+python入门教学【二】-Parl基础命令【三】-Notebook、&pdb、ipdb 调试【四】-强化学习入门简介【五】-Sarsa&Qlearing详细讲解【六】-DQN【七】-Policy Gradient【八】-DDPG【九】-四轴飞行器仿真飞桨PARL_2.0&1.8.5(遇到bug调试修正)一、AI Studio 项目详解【VisualDL工具】二、原创 2021-04-01 20:25:39 · 1387 阅读 · 0 评论 -
【四】AI Studio 项目详解【VisualDL工具、环境使用说明、脚本任务、(四)图形化任务、在线部署及预测】PARL
PaddlePaddlle强化学习及PARL框架{飞桨}【一】-环境配置+python入门教学【二】-Parl基础命令【三】-Notebook、&pdb、ipdb 调试【四】-强化学习入门简介【五】-Sarsa&Qlearing详细讲解【六】-DQN【七】-Policy Gradient【八】-DDPG【九】-四轴飞行器仿真飞桨PARL_2.0&1.8.5(遇到bug调试修正)一、AI Studio 项目详解【VisualDL工具】二、原创 2021-04-01 20:25:20 · 1143 阅读 · 0 评论 -
【三】AI Studio 项目详解——单机多机训练分布式训练--PARL
PaddlePaddlle强化学习及PARL框架{飞桨}【一】-环境配置+python入门教学【二】-Parl基础命令【三】-Notebook、&pdb、ipdb 调试【四】-强化学习入门简介【五】-Sarsa&Qlearing详细讲解【六】-DQN【七】-Policy Gradient【八】-DDPG【九】-四轴飞行器仿真飞桨PARL_2.0&1.8.5(遇到bug调试修正)一、AI Studio 项目详解【VisualDL工具】二、原创 2021-04-01 20:21:36 · 787 阅读 · 0 评论 -
【二】AI Studio 项目详解【VisualDL工具、(二)环境使用说明、(二)脚本任务、图形化任务、在线部署及预测】PARL
PaddlePaddlle强化学习及PARL框架{飞桨}【一】-环境配置+python入门教学【二】-Parl基础命令【三】-Notebook、&pdb、ipdb 调试【四】-强化学习入门简介【五】-Sarsa&Qlearing详细讲解【六】-DQN【七】-Policy Gradient【八】-DDPG【九】-四轴飞行器仿真飞桨PARL_2.0&1.8.5(遇到bug调试修正)一、AI Studio 项目详解【VisualDL工具】AI原创 2021-04-01 16:06:04 · 1535 阅读 · 0 评论 -
【一】AI Studio 项目详解【(一)VisualDL工具、环境使用说明、脚本任务、图形化任务、在线部署及预测】PARL
AI Studio 项目详解【VisualDL工具、环境使用说明、脚本任务、图形化任务、在线部署及预测】原创 2021-03-29 13:32:12 · 4553 阅读 · 0 评论 -
飞桨paddle遇到bug调试修正【迁移工具、版本兼容性】
飞桨PARL_2.0(遇到bug调试修正)1.版本兼容问题迁移工具Paddle X 转为 Paddle 2.0,安装$ pip install paddle_upgrade_tool版本替换:paddle_upgrade_tool支持单文件的转化,你可以通过下方的命令直接转化单独的文件 paddle_upgrade_tool --inpath /path/to/model.py 红色部分替换:E:\360MoveDat...原创 2021-03-15 19:49:01 · 2796 阅读 · 1 评论