百度飞桨学习笔记（二）

最新推荐文章于 2022-05-22 12:48:41 发布

无限锋

最新推荐文章于 2022-05-22 12:48:41 发布

阅读量1.2k

点赞数 1

分类专栏：百度飞桨深度学习笔记文章标签：机器学习人工智能 paddlepaddle 深度学习

本文链接：https://blog.youkuaiyun.com/qq_36318878/article/details/107961727

版权

深度学习框架

面对繁多的应用场景，深度学习框架有助于建模者节省大量而繁琐的外围工作，更聚焦业务场景和模型设计本身。

深度学习框架优势

节省编写大量底层代码的精力：屏蔽底层实现，用户只需关注模型的逻辑结构。同时，深度学习工具简化了计算，降低了深度学习入门门槛。
省去了部署和适配环境的烦恼：具备灵活的移植性，可将代码部署到CPU/GPU/移动端上，选择具有分布式性能的深度学习工具会使模型训练更高效。

深度学习框架设计思路

在构建模型的过程中，每一步所需要完成的任务均可以拆分成个性化和通用化两个部分。

个性化部分：往往是指定模型由哪些逻辑元素组合，由建模者完成。
通用部分：聚焦这些元素的算法实现，由深度学习框架完成

飞桨框架和全流程工具

飞桨在提供用于模型研发的基础框架外，还推出了一系列的工具组件，来支持深度学习模型从训练到部署的全流程。
全套工具

模型训练组件

飞桨提供了分布式训练框架FleetAPI，还提供了开启云上分布式训练的便捷工具PaddleCloud。同时，飞桨也支持多任务训练，可使用多任务学习框架PALM。

模型部署组件

飞桨针对不同硬件环境，提供了丰富的支持方案：

Paddle Inference：飞桨原生推理库，用于服务器端模型部署，支持Python、C、C++、Go等语言，将模型融入业务系统的首选。
Paddle Serving：飞桨服务化部署框架，用于云端服务化部署，可将模型作为单独的Web服务。
Paddle Lite：飞桨轻量化推理引擎，用于 Mobile 及 IoT 等场景的部署，有着广泛的硬件支持。
Paddle.js：使用JavaScript（Web）语言部署模型，用于在浏览器、小程序等环境快速部署模型。
PaddleSlim：模型压缩工具，获得更小体积的模型和更快的执行性能。
X2 Paddle：辅助工具，将其他框架模型转换成Paddle模型，转换格式后可以方便的使用上述5个工具。

其他全研发流程的辅助工具

AutoDL：飞桨自动化深度学习工具，自动搜索最优的网络结构与超参数，免去用户在诸多网络结构中选择困难的烦恼和人工调参的繁琐工作。
VisualDL：飞桨可视化分析工具，不仅仅提供重要模型信息的可视化呈现，还允许用户在图形上进一步交互式的分析，得到对模型状态和问题的深刻认知，启发优化思路。
PaddleFL：飞桨联邦学习框架，可以让用户运用外部伙伴的服务器资源训练，但又不泄露业务数据。
PaddleX：飞桨全流程开发工具，可以让用户方便的基于PaddleX制作出适合自己行业的图形化AI建模工具。

使用paddle重写波士顿房价预测模型

在数据处理之前需要加载飞桨框架的相关类库。

import paddle
import paddle.fluid as fluid
import paddle.fluid.dygraph as dygraph
from paddle.fluid.dygraph import Linear
import numpy as np
import os
import random

代码中参数含义如下：

paddle/fluid：飞桨的主库，目前大部分的实用函数均在paddle.fluid包内。
dygraph：动态图的类库。
Linear：神经网络的全连接层函数，即包含所有输入权重相加和激活函数的基本神经元结构。在房价预测任务中，使用只有一层的神经网络（全连接层）来实现线性回归模型。

数据处理

def load_data():
    datafile = 'E:\\假期学习\\深度学习\\20200812\\housing.data'
    data = np.fromfile(datafile, sep=' ')
    feature_names = [ 'CRIM', 'ZN', 'INDUS', 'CHAS', 'NOX', 'RM', 'AGE', \
                      'DIS', 'RAD', 'TAX', 'PTRATIO', 'B', 'LSTAT', 'MEDV' ]
    feature_num = len(feature_names)
    data = data.reshape([data.shape[0] // feature_num, feature_num])
    ratio