输入神经网络前的数据准备

于 2022-10-17 22:11:37 发布
阅读量1.1k 收藏 5
点赞数
文章标签： 神经网络 机器学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/m0_73300570/article/details/127368513
版权
在将数据送入神经网络之前，需要进行数据预处理和特征工程，包括向量化、值标准化、处理缺失值和特征工程。向量化确保数据适合神经网络处理；值标准化使输入数据取值在安全范围内，便于网络学习；处理缺失值通常可设为0，前提是0无特殊含义；特征工程则是根据领域知识创建新特征，提升模型性能。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

将数据输入神经网络之前，需要通过数据预处理、特征工程技术等准备输入数据和目标。

数据预处理的目的是使原始数据更适于用神经网络处理，包括向量化、标准化、处理缺失值和特征提取。

1. 向量化

神经网络的所有输入和目标都必须是浮点数张量。所以无论处理什么数据，都要先将数据转换为向量，即数据向量化。

2. 值标准化

将取值相对较大的数据或异质数据输入到神经网络中是不安全的。这么做可能导致较大的梯度更新，进而导致网络无法收敛。为了让网络的学习变得更容易，应使得输入数据取值较小，即大部分值都应该在 0~1 范围内；还要使得数据同质性，即所有特征的取值都应该在大致相同的范围内。常用方法有两种，一是将每个特征分别标准化，使其平均值为0，另外一种方法也可将将每个特征分别标准化，使其标准差为1。

3. 处理缺失值

最低0.47元/天 解锁文章
狐步科技
关注
博客
推荐一个优秀人工智能（AI）学习网站：Quester AI
10-26 2653
Quester AI全方位地整合AI学习资源，对每一个从业者，学习者开放，并且是免费开放。同时，Quester AI努力为AI领域学习者和爱好者大量提供持续的AI开源资源，给大家提供一个方便的，良好的学习平台，使得大家一起学习和进步。
博客
机器学习的模型拟合问题
08-27 467
训练开始时，优化和泛化是相关的，一开始训练数据上的损失越小，测试数据上的损失也越小，此时网络还没有对训练数据中所有相关模式建模。而在训练数据上迭代一定次数后，验证指标从不变到变差，模型学习仅和训练数据有关的模式，而这对于新数据而言是错误的或无关紧要的，这即是模型过拟合，泛化能力也降低。泛化是指训练好的模型在前所未见的数据上的性能好坏，深度学习真正的挑战就在于泛化。为防止神经网络过拟合的问题，会采用一些常见的方法，包括获取更多的训练数据，减小网络容量，添加权重正则化，添加dropout正则化等。...
博客
评估机器学习模型
08-27 363
输入数据点是机器学习的三要素之一，不能训练模型的相同数据上对模型进行评估，原因显而易见，那就是模型在训练数据上的性能始终在提升，但是在前所未有的数据上性能不再变化或者开始下降，这即是模型开始过拟合，而机器学习的目的就是得到可以泛化的模型，即在前所未见的数据上也表现得很好的模型，所以要评估机器学习模型，衡量模型的泛化能力。在可用数据较少的情况下，也可用其他方法，如简单的留出验证、K折验证以及带有打乱数据的重复K折验证。在训练数据上训练模型，在验证数据上评估模型，一旦找到最佳参数，就在测试数据上最后测试模型。.
博客
机器学习的算法
08-27 393
监督学习是目前最常见的机器学习类型，给定一组样本（通常由人工标注），它可以学会将输入数据映射到标注，深度学习应用几乎都属于监督学习，主要包括分类与回归，也还有更多的奇特变体，主要包括：序列生成、语法树预测、，目标检测、图像分割这几种。自监督学习是监督学习的特例，是没有人工标注的，从输入数据中生成（通常使用启发式算法生成）的标签的监督学习，自编码器就是有名的例子。机器学习算法大致可分为四大类，分别为监督学习、无监督学习、自监督学习和强化学习。...
博客
深度学习工作原理与神经网络
08-27 264
首先对神经网络的权重随机赋值，此时网络实现一系列随机变化，运用损失函数衡量网络输出结果的质量，对应得出的损失值是很高的，但会将损失值作为反馈信号经过优化器来调节权重，这样，随着训练网络数据的增加，权重值也在向着正确的方向逐步微调，这也是随机梯度下降法所起作用的过程，此时损失值也会逐渐下降，经过足够多次的循环训练，得到的输出值与目标值尽可能地接近，这就是训练好的网络。神经网络是由其权重来参数化的，而训练网络的目标便是要找到权重的正确取值，这也是深度学习中“学习”的目的，如下图所示为深度学习的工作原理。...
博客
初识神经网络——优化器
08-27 432
随机梯度下降法（SGD）主要是计算损失相对于网络参数的梯度（梯度是张量运算的导数），将权重参数沿着梯度的反方向移动，这即是学习的过程，最终是为减少数据损失。优化器执行的是随机梯度下降的某个变体，决定如何基于损失函数对网络进行更新，是使用损失梯度更新参数的具体方式。在神经网络中，有些层是无状态的，但大多数的层是有状态的，即层的权重。下图所示为沿着一维损失函数曲线的随机梯度下降（一个需要学习的参数）权重是利用随机梯度下降学到的一个或多个张量，包含在网络的知识。...
博客
初识神经网络——损失函数
08-27 578
损失函数（目标函数）是在网络训练的过程中，用于估量预测值与真实值之间不一致程度的非负值函数，其数值随参数调整而变化。选择正确的目标函数对于解决问题至关重要，网络的目的是使损失尽可能最小化，选择与成功完成当前任务相关的目标函数，才能以其衡量当前任务是否已成功完成。分类问题就如其名，是将数据进行分类，其包括二分类问题与多分类问题。二分类问题可以联系数学中的是非函数，多分类问题则可联系数学中普通的映射。运用神经网络可以解决简单的机器问题，如分类问题与回归问题，这些联系数学的映射可能可以理解的更为清楚。...
博客
初识神经网络——层
08-27 566
神经网络的基本结构是层。层是一个数据处理模块，其能将一个或多个输入张量转换为一个或多个输出张量，多个层链接在一起组成了网络（或模型）。保存在2D张量中的向量数据，通常用密集连接层，也叫全连接层或密集层来处理，对应Keras的Dense层。Keras等框架将相互兼容的多个层拼接在一起，就像乐高积木一般，以建立有用的数据变换流程。保存在4D张量中的图像数据，通常用二维卷积层来处理，对应Keras的Conv2D层。保存在3D张量中的序列数据，通常用循环层来处理，对应Keras的LSTM层。...
博客
初识神经网络——张量
08-27 899
其中，0阶张量仅包含一个数字，有0个轴，也叫标量；视频：5D张量，形状为（samples，frames，height，width，channels）或（samples，frames，channels，height，width）图像：4D张量，形状为（sample，height，width，channels）或（samples，channels，height，width）时间序列数据或序列数据：3D张量，形状为（sample，timesteps，features）每个数据被编码为数据张量，数据集也由此而来。.
博客
初识深度学习
08-27 234
深度学习的关键在于“深度”，其指的是一系列连续的表示层，这数十个甚至上百个连续的表示层全都是从训练数据中自动学习的，这也将其区别与机器学习，其技术定义为学习数据表示的多级方法。深度学习是机器学习的一个分支领域，而机器学习是符号主义人工智能的一种新的方法，这样，深度学习与机器学习、人工智能的关系很容易可以看出，就如下图所示。其工作原理也是一个简单的机制，如下图所示，一旦有足够大的规模，即能产生魔法般的效果。伴随着硬件、数据集和基准以及算法的改进，深度学习也取得了较大的发展与成功。...
博客
元宇宙，人工智能，二者有何联系？
08-27 3343
人工智能将贯穿元宇宙整条生态链，从内容生产、分发到应用的整个过程，起到加速内容生产、增强内容呈现、提升内容分发和终端应用效率等的作用。元宇宙定义尚未明确，大多将其定义为一个虚拟空间，其概念最早是出现在1992年的科幻小说《雪崩》，而后在1999年的《黑客帝国》将其概念作品华，直至2018年《头号玩家》，元宇宙真正进入了大众视野。人工智能技术包括计算机视觉、机器学习、自然语言处理和智能语音等，如果说元宇宙虚无缥缈，那人工智能技术就是链接虚拟与现实的桥梁，是元宇宙的技术基础。...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值