深度学习基础知识第二天

最新推荐文章于 2025-12-30 23:11:33 发布
原创 最新推荐文章于 2025-12-30 23:11:33 发布 · 178 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#神经网络 #深度学习

本文探讨了人工特征在机器学习中的局限性，如通用性差和维数灾难，并介绍了神经网络如何通过多层结构自动提取特征。重点讨论了神经网络在机器视觉、语音识别和数据挖掘中的应用，包括自动编码器、卷积神经网络及其各种变体。深度学习的自动特征提取能力显著优于传统机器学习算法，尤其是在图像和语音领域。

深度学习基础知识第二天


在这里插入图片描述

在这里插入图片描述
传统的机器学习算法不能达到实用的标准：像SVM和AdaBoost
在这里插入图片描述

人工特征的局限性：

通用性差
建模能力差
维数灾难
9
HOG特征（梯度方向直方图）+SVM（线性的支持向量机）来解决行人检测问题， 只计算了图像边缘，但是图像的纹理和颜色信息等等并没有检测出来。
在这里插入图片描述

在这里插入图片描述

CV方向

颜色直方图
Haar特征
HOG特征
Garbor特征
再比如：
1、Sift特征
2、Spin Image旋转图像 旋转直方图
3、ICF特征
4、ACF特征
5、既融合了边缘又融合了纹理等等
但是精度不太好

注意：机器学习较深度学习的不足在于：机器学习的人工特征提取阶段，在通过人工特征提建模的过程中，必然会简化特征便于计算，这样的话会丢掉原始图像的重要信息，会对图像分类识别的效果不大好

维数灾难

是因为特征越多，维数越大，分类准确率成上升趋势，但当特征维数达到一定规模后，在增加特征，分类精度反而下降，因为特征空间维数增加，样本在特征空间中分布就很稀，比如在一千万维度的空间中，样本1万个样本，样本在特征空间中就会分布的很稀，那么这些样本在特征空间中就像噪声一般，导致算法无法正确拟合出一个模型出来，因为怎么看多像一个噪声。

机器学习算法的局限性

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
AlexNet在图像分类取得一个很好的效果。
在这里插入图片描述
上图种2006年的文章中，怎么来做与训练的呢？
在这里插入图片描述

在这里插入图片描述
Alexnet之所以在图像分类上取得很好的效果的原因在于：
1、激活函数ReLU，在很大程度上能够缓解梯度消失的问题。
2、droptout的机制（可以看成正则化）
在这里插入图片描述
在这里插入图片描述

在神经网络中，怎么样用一个多层的神经网络完成自动特征的提取呢？

在这里插入图片描述

神经网络在机器视觉上的应用：

1、通用目标检测-----------> R-CNN 以及它的改进
2、人脸识别/检测、行人检测----------------->卷积神经网络 以及它的改进
3、图像分割(图像语义分割)---------> FCN（全卷积网络）占据统计地位 以及它的改进
在这里插入图片描述

神经网络在语音识别（ASR）上的应用

循环神经网络—RNN
在这里插入图片描述
在这里插入图片描述

在数据挖掘上的应用

在这里插入图片描述
在这里插入图片描述
CNN、RNN解决分类和回归问题
GAN解决数据生成的问题
DRL（深度强化学习）解决控制和策略类的问题

自动编码器

在这里插入图片描述

1、自动编码器的基本思想

在这里插入图片描述
在这里插入图片描述

2、网络结构

在这里插入图片描述

3、损失函数和训练算法

h0:编码器的映射函数
g0:解码器的映射函数
通过编码器的编码后，再到解码器的解码得到的重构X与实际向量X之间的差尽可能最小
下图中的公式为均方误差损失函数。
在这里插入图片描述
在这里插入图片描述

4、实际使用

在这里插入图片描述

5、去噪自动编码器（DAE）

和上面讲的编码器一样，唯一不同的在于输入的是带有噪声的X（在X上加有随机噪声）—>输出的是没被加有噪声的X。
在这里插入图片描述

6、稀疏编码

结果系数：就是让经过编码器的输出结构尽量接近于0.
在这里插入图片描述

7、收缩自动编码

在这里插入图片描述
在这里插入图片描述

卷积神经网络

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

卷积运算

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

深度学习系列资料总结
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
07-17 2万+
说明本系列深度学习资料集合包含机器学习、深度学习等各系列教程，主要以计算机视觉资料为主，包括图像识别、分类、检测、分割等，内容参考Github及网络资源，仅供个人学习。深度学习定义一般是指通过训练多层网络结构对未知数据进行分类或回归深度学习分类有监督学习方法——深度前馈网络、卷积神经网络、循环神经网络等；无监督学习方法——深度信念网、深度玻尔兹曼机，深度自编码器等。手写机器学习笔记github机器学习算法公式推导以及numpy实现github人工智能相关术语link。..................
深度学习100例 | 第52天-图卷积神经网络（GCN）：实现论文分类
“365天深度学习训练营”报名进行中～
03-17 5494
文章目录一、GCN是什么二、数据集-Cora Dataset1. 数据集介绍2. 准备数据三、划分训练集、测试集和验证集四、模型训练1. Loss计算2. 训练模型3. 结果可视化五、同系列作品 ???? 我的环境： 语言环境：Python3.6.5 编译器：jupyter notebook 深度学习环境：TensorFlow2.4.1 数据和代码：????【传送门】 ???? 来自专栏：《深度学习100例》 如果你是一名深度学习小白可以先看看我这个专门为你写的专栏：《小白入门深度学习》 一、GCN是
基于ACF多通道特征的人脸检测——从原理到实现
Rainbow0210的博客
12-12 1万+
首先说明一下，这个项目并不是博主在实验室负责的项目，而是博主的一门两学分的课的大作业（张学工老师的模式识别基础，有兴趣的可以百度一下），所以并没有投入太多时间去弄，还有很多地方可以改进，后文会陆续提到，也会指明改进的方法。然后博主只是个大三的学生，实现的一些不足还希望多包涵。这个检测的程序主要是针对多人大图像的人脸检测（30-100人，1000*2000pixel以上），博主用一张1800*3600
深度学习之基础知识整理
石头记
07-20 2203
现在大语言模型很火，但它的基础仍然是以神经网络为基础的深度学习，不懂神经网络，不了解深度学习，对于大语言模型的二次开发也是整不明白。 那到底需要了解哪些知识？才能看懂深度学习/神经网络的基础模型，想要加入AI大潮，想要ALL In ，也是有很高门槛的。至少我自已还差不少知识点。花了点时间，看了一些资料，整理了一下：（注意：整理得很乱且不具备完整性，可能对读者帮助并不大，慎入）。
深度学习基础之图像分类
m0_55818283的博客
11-14 6451
深度学习之图像分类理论基础
【深度学习】TensorFlow基础知识点总结
桺柒郞的小小屋
03-05 6473
TensorFlow基础 ​ 其是一个面向于深度学习算法的科学计算库，内部数据保存在张量（Tensor）对象上，所有操作也都是基于张量对象进行。 1.数据类型 数值型 ——其是TensorFlow的主要数据载体 字符串型 布尔型 1.1数值类型 ​ 数值类型的张量是TensorFlow的主要数据载体，分为： 标量（Scalar） 单个的实数，维度数（D...
机器学习入门基础（万字总结）（建议收藏！！！）
热门推荐
subsistent的博客
12-04 18万+
机器学习是人工智能的重要技术基础，涉及的内容十分广泛。本文章涵盖了机器学习的基础知识，主要包括机器学习的概述、 回归、分类、聚类、神经网络、文本分析、图像分析、深度学习等经典的机器学习基础知识，还包括深度学习入门等拔高内容。介绍机器学习的基础概念和知识，包括机器学习简史、主要流派、与人工智能、数据挖掘的关系、应用领域、算法、一般流程等。伴随着计算机计算能力的不断提升以及大数据时代的迅发展人工智能也取得了前所未有的进步。
深度学习基础知识整理
kwame211的博客
07-23 3万+
本文是在七月的BAT机器学习面试1000题系列进行修改。  前言     July我又回来了。     之前本博客整理过数千道微软等公司的面试题，侧重数据结构、算法、海量数据处理，详见：微软面试100题系列，今17年，近期和团队整理BAT机器学习面试1000题系列，侧重机器学习、深度学习。我们将通过这个系列索引绝大部分机器学习和深度学习的笔试面试题、知识点，它将更是一个足够庞大的机器学习和深...
《智能计算系统：从深度学习到大模型（第2版）》重磅上市！
herosunly的博客
08-20 1万+
本文主要介绍了大模型优质书籍《智能计算系统：从深度学习到大模型（第2版）》，希望能对学习大模型的同学们有所帮助。 文章目录 1. 前言 2. 书籍推荐 2.1 内容简介 2.2 本书作者 2.3 专家推荐 2.4 读者对象 2.5 本书目录 3. 购买链接
【李沐】动手学深度学习 学习笔记
chenxiaowai_的博客
03-21 3万+
你好！这是【李沐】动手学深度学习v2-基于pytorch版本的学习笔记教材源代码安装教程（安装pytorch不要用pip，改成conda，pip太慢了，下载不下来）个人推荐学习学习笔记本节代码文件在源代码文件的chapter_deep-learning-computation/custom-layer.ipynb中不带参数的层下面的CenteredLayer类要从其输入中减去均值。要构建它，我们只需继承基础层类并实现前向传播功能。让我们向该层提供一些数据，验证它是否能按预期工作。带参数的层。
深度学习笔记（1）机器学习与深度学习基础
hanliu2003的博客
08-28 1332
一些深度学习的简单概念和Transformer的学习。
深度学习基础知识总结
JSerenity的博客
06-21 2301
深度学习基础知识总结 （不定时更新） 目录 1. 基础问题 2. 防止过拟合有哪些方法 3. 激活函数 4. 优化方法 5. 模型评估方法（针对目标检测） 基础问题 卷积中图像大小变化公式： imagesize=n×n×c,filters=f×f×c(channels)×number of filters,s(stride)=s,p(padding)=pimage size...
深度学习基础教程
悠眠小虫的博客
01-10 2145
本文适用于神经网络前期的学习，了解PyTorch的基本使用方法及实现简单模型的建立。
创新未发表！GA-PINN遗传算法优化的物理信息神经网络多变量回归预测，MATLAB代码
机器学习之心的博客，关注并私信文章链接，获取对应文章源码和数据。
12-30 548
创新未发表！GA-PINN遗传算法优化的物理信息神经网络多变量回归预测，MATLAB代码
pytorch——神经网络框架的搭建以及网络的训练
qq_64131064的博客
12-26 399
本文总结了深度学习模型训练的完整流程：1）搭建网络骨架结构；2）下载预训练模型并迁移到自定义数据集；3）模型保存（完整模型或参数字典）与加载方法；4）标准训练流程包括数据准备、模型定义、损失函数和优化器设置；5）GPU加速训练的两种实现方式及注意事项；6）模型验证测试的完整代码示例，包含图像预处理、模型加载和推理过程；7）阅读他人代码的技巧，建议从train.py入手，重点关注参数设置和模型结构。文中提供了详细的代码片段和示意图，涵盖了从模型构建到部署应用的全流程关键技术点。
6神经网络框架
2301_81531626的博客
12-27 1470
本文系统介绍了神经网络的基本框架和发展过程。首先指出线性模型的局限性，说明其无法拟合复杂非线性关系。接着引入分段线性曲线和Sigmoid函数，通过参数调节实现曲线拟合。随后详细阐述了神经网络的构建过程：从单输入扩展到多特征输入，引入矩阵运算简化表达式，并说明激活函数的作用。最后介绍深度学习中ReLU激活函数的优势，其简单计算特性可有效组合成复杂曲线。全文通过数学公式和图示相结合，清晰展现了神经网络从线性模型到深度学习框架的演进逻辑。
自然语言处理实战——基于 BP 神经网络的中文文本情感分类
最新发布
2401_84149564的博客
12-30 874
本文介绍了一个基于BP神经网络的中文文本情感分类实战项目，完整实现了从数据预处理到模型评估的全流程。通过jieba分词、TF-IDF特征提取和纯NumPy实现的BP神经网络，构建了一个能够区分中文文本正负面情感的分类模型。项目包含数据预处理、模型训练、评估指标计算和多维度可视化（包括损失曲线、混淆矩阵、词云和特征重要性分析）等功能模块。实验结果显示模型在测试集上达到75%的准确率，并通过可视化工具直观展示了分类效果和关键特征。
神经网络的正向传播和反向传播 包括可视化源码
二分掌柜的
12-25 1169
flyfish
【face-api.js】2️⃣ NetInput - 神经网络输入封装类
weixin_45855469的博客
12-26 875
本文探索NetInput - 神经网络输入封装类，它会将输入的张量或图像处理成方方正正的形状，并且处理为批量的四维张量，方便后续统一处理。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

土豆娃potato

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值