深度学习基础知识

基于深度学习的信道估计(DL-CE)基础知识 基于深度学习的信道估计:Deep Learning - Channel Estimation(DL-CE) 目前把深度学习应用到无线通信系统中所存在的问题 (1)没有大量可靠的真实数据集,目前常用的训练数据大多都是使用仿真得到的 (2)当前深度学习的网络层数都较大(模型较大),还不能有效地运用到移动设备上 方案一、深度学习网络用在LS算法得到导频处信道特性(CFR)之后 DL-CE基本结构 基于深度学习的信道估计主要包括两个部分,即离线训练和在线估计(在线预测) 在离线训练阶段,利用先验的信道数据对学习网 阅读详情

写给自己看的文章,初学者+第一次写文章,可能有不对的地方,如果有其他人看的话,有问题欢迎讨论,一起学习共同进步~

文章中所用图片大部分来自李哥深度学习班

1、基本前置知识(了解)

AI基本知识,机器学习特点以及常见算法,以及深度学习分类和基本步骤。思维导图/树状图如下

2、神经网络概述

简单思维导图如下

2.1基本结构和表达式

每个神经元都可以简化成这样一个\widehat{y}=xw+b的式子,但这样简单的线性关系函数基本做不到复杂的分类,对于下图这样的三角和方形的分类就做不到,这样的分类必须要有一条曲线才能做到。

因此我们需要一个更复杂的神经网络,通过输入多个不同的属性,构建一个多层神经网络,调整相关参数以拟合现实规律。

先看一下神经元和矩阵的数学表达。

左图这样一个网络,有四个输入x1到x4,一个输出\widehat{y},每条到中间节点的线都对应一个w权重和b偏置的线性关系,所有的偏置值可以合并为一个bi(i从1到3)

于是将所有中间层输出就可以用右图的线性方程组进行表示,就是r=b+wx

对于后面的\widehat{y}=c^Tr+b也是一样的,就不再赘述。(c写作列向量)

2.2激活函数

于是呢,就可以将后面的r=b+wx代入到\widehat{y}=c^Tr+b中\widehat{y}=c^T(b+wx)+b由于只有x和y作为变量,其他都是参数所以总可以找到两个参数p和q得到\widehat{y}=px+q的形式的表达式。(只是形式)

那么这样的话构建多层神经网络就没有太大的意义,因此这里要引入激活函数。

激活函数类似起到一个门限值的作用,为神经网络引入非线性因素。

初学常用的激活函数有sigmoid和relu。

sigmoid函数S(x)=\frac{1}{1+e^{-x}}

这个函数是一条平滑的曲线

在x正负轴上可以取到不同的值

求梯度可能会相对麻烦

relu函数

在小于0时取0,直接屏蔽掉,在大于0时值保持不变

该函数比较简单,求梯度容易,但拟合的曲线会有很多棱角

激活函数要添加在每次求出结点值的地方,让结点值经过该函数即可。

通过增加激活函数,就可以拟合不同的曲线

本来直线再怎么叠加都是一条直线,但非线性的曲线经过不同变换后叠加就可以拟合不同的曲线。

上图是两个relu函数变换后得到了一个三段的折线。

下图为不断增加激活函数数量拟合的图像

3优化过程

3.1参数表示

以上讲述的网络的主要参数就是每一层的w和b,将所有参数放入一个列向量θ就得到

这样的一个列向量,于是就可将损失函数loss=L(w1,w2,b1,b2,…)表示为loss=L(θ),简化表示。

3.2损失和参数更新

损失函数的表示

模型训练和优化过程就是先前向传递,得到一个由当前参数计算的\widehat{y}预测值,和真实值y计算loss

这里计算loss的方法是计算平均绝对值损失,就是L=\frac{1}{N} \sum\limits_{i}^Nl,l=|y-\widehat{y}|

由预测值和真实值的距离求和,并除以样本数量。得到预测值和真实值的差距。

计算梯度,回传

损失函数L对每个参数w和b进行求偏导,这个是一个链式求导的过程,\frac{\partial L}{\partial r}\frac{\partial r}{\partial w}这样的,求导以后对每个参数减去学习率×自己的偏导数进行更新。w^1=w^0-\eta \frac{\partial L}{\partial w^0}.得到一个新的w,b也同理。

这个过程就是梯度下降GD。

当偏导数大于0时,说明关于w增加的方向,当前函数是递增的,要减少w才能大概率找到最优解,偏导数小于0时,相反,函数递减,要增加w更有可能找到最低点。

对于一个很复杂的数据集,要找到loss最小的那个点,只能依靠梯度下降这样的算法摸着找,难以通过数学的方式去进行推导。梯度下降也是一个很通用的方法,在非欧氏空间也同样可用。

神经网络的内部结构就像一个黑盒一样,具体做了什么很多时候难以说清,反正最后得到了一个还不错的结果。

4其他内容

全连接网络

这样一个网络叫全连接网络(FC),输入特征数和输出特征数要对应。

每一层都要连接下一层的所有结点,

第一层到第二层:linear(4,3),

第二层到第三层:linear(3,2),

第三层到第四层:linear(2,1).

过拟合和欠拟合

欠拟合就多加层数多堆料多训练几个epoch

过拟合有一些方法:正则化,减少训练周期简化模型,调整一些参数,Dropout剔除结点等...

深度学习基础知识总结 深度学习基础知识总结 (不定时更新) 目录 1. 基础问题 2. 防止过拟合有哪些方法 3. 激活函数 4. 优化方法 5. 模型评估方法(针对目标检测) 基础问题 卷积中图像大小变化公式: imagesize=n×n×c,filters=f×f×c(channels)×number of filters,s(stride)=s,p(padding)=pimage size... 阅读详情

相关推荐

深度学习基础知识入门指南

深度学习是机器学习领域中的一次革命性进步,它通过多层神经网络来模拟人脑的处理信息方式,从而达到对数据的深度理解。深度学习的核心概念包括神经网络、激活函数、前向传播、梯度下降和反向传播等。这些基本组件和流程构成了深度学习的基础,并为理解和运用更高级的技术奠定了基石。在深度学习的实践中,我们经常会遇到诸如过拟合、欠拟合、梯度消失和梯度爆炸等挑战。本章将介绍深度学习的基础知识,并简要探讨其核心概念,为后续章节的学习打下坚实的基础。

weixin_28999139的博客 1205

深度学习预备知识

深度学习(pytorch) 本系列为跟着李沐学习深度学习系列整理的笔记,在此自己总结梳理一遍,加深理解和记忆。更详细的视频教程可参考动手学深度学习 PyTorch版,笔记教程可参考动手学习深度学习 提示:写完文章后,目录可以自动生成,如何生成可参考右边的帮助文档 文章目录深度学习(pytorch)前言一、深度学习概念1.深度学习的起源和发展2.深度学习的关键二、深度学习基础1.预备知识——数据操作2.读入数据总结 前言 本系列为跟着李沐学习深度学习系列整理的笔记,在此自己总结梳理一遍,加深理解和记忆。

qq_44074143的博客 2345

ROS学习【11】-----基于ubuntu16.04上Gazebo机器人环境搭建的传感器仿真(camera、kinect、Lidar),并通过Rviz进行数据显示

ROS学习-----基于ubuntu16.04上Gazebo机器人环境搭建的传感器仿真目录一、Gazebo环境搭建前的准备1、将搭建模型下载到我们的gazebo环境下2、升级我们的gazebo版本二、创建配置launch文件参数的world文件1、进入工程包mbot_gazebo2、创建文件夹worlds3、进入该文件夹4、创建playground.world文件5、创建room.world文件三...

qq_42451251的博客 3611

深度学习入门之前置知识

python入门python安装python解释器python脚本文件保存为文件类举个例子numpy导入numpy生成numpy数组numpy的算术运算numpy的N维数组广播访问元素matplotlib绘制sin函数踩坑记录报错1报错2报错3 python安装 网上教程很多,直接参考安装python python解释器 就是算术运算,数据类型,变量,列表,字典,布尔型,if语句,for语句以及函数这些 python脚本文件 想进行一连串处理时,可以将python程序保存为文件,然后集中的运行该文件 保存为

kongla 2273

Java云上香云祭祀线上祭祀系统小程序源码

云上香云祭祀线上祭祀系统”,不仅是一种祭祀方式的创新,更是对传统文化的一次深情致敬。它让我们明白,无论时代如何变迁,对亲人的怀念与尊重永远不会改变。在这个特别的平台上,让我们共同守护那份跨越时空的爱与思念,让心灵得以安放,让生命之树常青。🌳。

2401_84413757的博客 806

第一弹:llama.cpp编译

1.编译llama.cpp命令行(电脑版本);2.交叉编译安卓命令行版本。

joedan0104的专栏 1万+

深度学习中的前置知识神经网络

学习深度学习前需要了解大概的神经网络

weixin_51735477的博客 734

基于SolidWorks宏的草图点坐标自动化提取与Excel集成

本文详细介绍了如何利用SolidWorks宏编程实现草图点坐标的自动化提取并与Excel集成,显著提升机械设计效率。通过VBA代码解析与优化,解决了人工记录坐标耗时易错的问题,并扩展了多草图批量处理、数据可视化等高级功能,适用于数控加工、质量检测等场景。

weixin_29251131的博客 465

深度学习如何入门

深度学习可以使用多种编程语言实现,但最常用的是Python。Python是一种易于学习且功能强大的编程语言,具有丰富的库和工具,如TensorFlow、PyTorch、Keras等,这些库为深度学习提供了完整的工具集,包括神经网络结构定义、优化器、损失函数等。此外,还有一些具体的学习资源推荐,如在线课程(如Coursera、Udacity等提供的深度学习课程)、开源项目(如TensorFlow、PyTorch等)、书籍(如《深度学习》、《神经网络与深度学习》等)等,都可以作为入门深度学习的参考。

wd90119的博客 1072

【lua实战】lua中pairs和ipairs的区别

很久以前,我在使用lua的过程中,对于pairs和ipairs的理解还处于表层,认为我了解的就是全部。 ipairs就是对表中元素进行顺序排序,pairs就是对表中元素进行随机排序。

weixin_42206314的博客 1656

LLC混合滞回控制 vs 电压模/电流模:UCC25640x仿真对比与选型指南

在开关电源设计中,LLC谐振变换器的环路补偿是核心难点。传统电压模控制(VMC)和电流模控制(CMC)在LLC拓扑上存在环路增益漂移、动态响应慢等局限。混合滞回控制通过滞回比较器直接调制开关频率,并融合输出电压与谐振腔电流信息,实现了自适应环路增益和快速瞬态响应。该技术显著提升轻载效率与动态性能,适用于高密度适配器、快充及车载充电机等场景。本文基于UCC25640x系列,通过仿真对比三种控制策略,为工程选型与调试提供实践参考。

weixin_33925615的博客 337

深度学习入门

从样本数据中学习,得到经验/模型,然后进行预测,是一种数据驱动的方法,与我们平常打比赛使用到的”算法“有所不同,机器学习中的算法是使用样本去预测数据样本-机器学习算法处理的数据特征向量-人工构造的用于描述一个样本的向量,如颜色、形状(n维),对于识别非常有用预测函数-从样本的特征向量到预测值的映射目标函数-训练时使用,目的是确定模型的参数。

Hard_Liquor的博客 2778

IFRS 9与CECL对比解析:跨国企业财务必须掌握的两种信用损失模型

本文深度解析IFRS 9与CECL两种信用损失模型的差异,帮助跨国企业应对财务合规挑战。从基础架构、数据治理到监管策略,详细对比三阶段模型与单一阶段模型的核心区别,并提供实施双轨制的实务建议,助力企业优化资本管理和税务筹划。

3c4x5z6v7b的博客 672

深度学习中的梯度问题

算是之前落下的DL基础知识的填坑[笑哭]

qq_44459787的博客 8774

CATIA 3DEXPERIENCE R2019x VBA开发介绍

CATIA 3DEXPERIENCE R2019x VBA开发介绍 一、 什么是VBA? 【VBA的官方解释】 VBA(Visual Basic for Applications)是VisualBasic的一种宏语言,是在其桌面应用程序中执行通用的自动化(OLE)任务的编程语言。主要能用来扩展Windows的应用程序功能,特别是MicrosoftOffice软件。它也可说是一种应用程式视觉化的 Basic 脚本。 CATIA提供了多种二次开发的接口,其中包括自动化对象编程(Automation)和

WorkMan的博客 5067

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

2深度学习基础知识

本文系统介绍了深度学习基础知识,包括机器学习与深度学习的区别、PyTorch框架特点、张量操作、数据预处理方法、线性代数运算、微积分与自动微分原理以及线性神经网络模型。重点讲解了PyTorch中的广播机制、张量维度概念、矩阵运算规则、自动求导实现过程,并对比了回归与分类任务的特点。通过表格、公式和代码示例,全面阐述了深度学习的基础理论和实践方法,为后续更复杂的神经网络学习奠定了坚实基础。

疯帽子的博客,满脑子都是些“为什么乌鸦像写字台”的问题 1006

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

【DL基础知识】比较两个模型参数值是否完全一样

【DL基础知识】,比较两个模型的参数值是否完全一样,python代码

weixin_49946504的博客 429

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

深度学习基础知识框架

  作为刚入门的新手来说,CS231n提供了一个特别好的深度学习框架,本人也在学习这门课程,我以2018年课程计划为蓝本,把知识拆成小的部分,打算有时间一个一个的弄懂     课目 主题 知识点 备注 Lecture 1  课程概述 course introduction 计算机视觉概述 computer vision overview ...

dawningblue的博客 1667

【DL学习笔记】1:深度学习中的基础知识

一些全局认识 AGI 通用AI,因为AI目前已成为机器学习、统计分析的代名词,故用AGI来代表AI原来的意思,即真正的强人工智能。 CV 计算机视觉,目的是让计算机"理解"图像,即从图像或多维数据中感知。 NLP 自然语言处理,目的是让计算机和人之间用自然语言有效通信,上学期模式识别的课程项目就是在做NLP。 ML 机器学习,让机器从训练数据中自动进步,从经验中自动学习。DL属于ML。 专家系统 ...

大桔骑士的学习笔记 1175

DL4J 基础教程

DL4J(Deep Learning for Java)是一个基于Java的深度学习库,旨在为Java和JVM环境提供高效的深度学习工具。DL4J支持多种神经网络架构,包括卷积神经网络(CNN)、循环神经网络(RNN)等,并且可以与Spark和Hadoop等大数据技术集成。 ## 项目快速启动 ### 环境准备 确保你已经安装了Java和Maven。你可以通过以下命令检查Java和Maven

gitblog_00180的博客 526

深度学习之基础知识整理

现在大语言模型很火,但它的基础仍然是以神经网络为基础的深度学习,不懂神经网络,不了解深度学习,对于大语言模型的二次开发也是整不明白。 那到底需要了解哪些知识?才能看懂深度学习/神经网络的基础模型,想要加入AI大潮,想要ALL In ,也是有很高门槛的。至少我自已还差不少知识点。花了点时间,看了一些资料,整理了一下:(注意:整理得很乱且不具备完整性,可能对读者帮助并不大,慎入)。

石头记 2342

描述逻辑(DL)基础知识

Logic 逻辑理论实际上是一个规范性(normative)的理论,而不是一个描述性的(descriptive)理论。 即,它并不是用来描述人类究竟是采用何种的形式来推理的,而是来研究人类应该如何有效的进行推理的。 经典逻辑: 命题逻辑 proposition logic 一阶谓词逻辑 first-order predicate logics / FOL 高阶逻辑 highe

Well's Column 1万+
下一篇: Pytorch手搓一个线性模型
shiannayan
博客等级 码龄6年 113粉丝 11原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值