8月吃瓜教程—task04-学习笔记

最新推荐文章于 2025-12-25 19:10:11 发布
原创 最新推荐文章于 2025-12-25 19:10:11 发布 · 223 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#神经网络 #机器学习 #深度学习

本文深入探讨了神经网络的基础，从单个神经元到多层前馈网络，重点介绍了误差逆传播算法（BP）及其在训练过程中的应用。同时，讨论了解决过拟合和欠拟合的策略，如正则化和早停法，并提出了跳出局部极小值的优化技术，包括随机梯度下降和遗传算法。

书中脉络大概为:
1 神经元
2 感知机 :两层神经元
3 多层前馈神经网络
训练误差为:在这里插入图片描述
4 误差逆传播算法
即最小化训练集D上的累积误差
而标准BP算法每次仅针对一个训练样例更新连接权和阈值,基于单个的Ek推导而得.

5 过拟合与欠拟合的解决方法
过拟合:

  • 利用验证集达到早停
  • 正则化,减少模型的复杂程度

6 如何跳出局部极小

  • 多组不同参数值初始化
  • 模拟退火,即允许一定概率使得误差变大
  • 随机梯度下降,使得在极小值时仍能有梯度变化
  • 遗传算法
Hugo Zhong
关注
LLMs之IT：大模型核心技术—指令微调的简介、Self Instruction思想(一种生成指令数据集的方法论—主要用在指令微调阶段)的简介、Alpaca/BELLE应用、实战案例代码实现之详细攻略
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
07-05 2663
​ LLMs之IT：大模型核心技术—指令微调的简介、Self Instruction思想(一种生成指令数据集的方法论—主要用在指令微调阶段)的简介、Alpaca/BELLE应用、实战案例代码实现之详细攻略 目录 相关文章 指令微调的简介 Self Instruction思想的简介 Self Instruction的实战案例 相关文章 LLMs之Data：指令微调的简介、Self Instruction思想(一种生成指令数据集的方法论—主要用在指令微调阶
提示工程架构师助力数字营销的转型之路
SuperAGI2025
09-21 729
你有没有过这样的经历？花了2天整理的用户画像，最后发现和实际转化用户完全不符；投放了10万预算的广告，点击率却只有0.5%，连成本都没收回来；流量见顶、个性化需求爆发、内容创作效率低下、数据处理滞后，传统的“拍脑袋做策略、批量发模板、手动分析数据”模式，已经无法应对今天的用户需求。而提示工程架构师。
8月吃瓜教程—task01-学习笔记
Hugo_Knight的博客
08-17 280
第一章绪论的学习积累已经在之前写出。 链接：第一章绪论学习 补充一点内容： 一、没有免费的午餐定理 任何算法抛开实际问题来比较算法的优略性是无意义的。 通常我们只认为能高度拟合已有样本数据的函数才是真实目标函数 第二章 模型评估与选择 一、经验误差与过拟合 ①通常我们把分类错误的样本数占样本总数的比例称为“错误率”(error rate)，即如果在m个样本中有α个样本分类错误,则错误率E= a/m;相应的,1 - a/m称为“精度”(accuracy)，即“精度= 1-错误率”．更一般地,我们把学习器的
8月吃瓜教程—task05-学习笔记
Hugo_Knight的博客
09-06 194
第六章 支持向量机 很早之前在自己看过其他有关于机器学习的书籍的时候，遇到支持向量机看的都模模糊糊 这次也小部分的公式也试着理解了，但由于时间的关系，没能全部将里面的公式一个一个推导弄懂 一、算法原理 找距离正负样本最远的超平面 距离计算为： 证明过程： 二、模型 模型定义为： 三、如何求最大间隔超平面 利用拉格朗日乘法得到其“对偶问题” 解决思路是 四、预防过拟合 加入正则化 实现软间隔 ...
8月吃瓜教程—task03-学习笔记
Hugo_Knight的博客
08-30 173
第四章 4.1 算法原理 相当于在生成树，树的叶子节点代表了一个预测类别 4.2 为什么使用信息熵作为纯度判断标尺 信息熵用于对类别y作随机变量，将“不确定性”转换理解为集合内样本的“纯度” 信息熵 当X越大，即p(x) = 变量取值分之一，不确定性最大，即样本的纯度最低 4.3 如何优化使模型结果更好？ 划分选择： 1、使用信息增益 - 选择属性之后的信息增益最大的属性值 2、使用增益率 - 对信息增益的改进，但存在对取值数目较少的属性的偏好 3、使用基尼指数 - 反应随机两个样本之间的不一致的概率，
8月吃瓜教程—task02-学习笔记
Hugo_Knight的博客
08-23 169
第三章 线性模型 3.1 线性回归注意最小化误差的是y*到y的距离。 y是真实值，y*是预测值 3.2 多元线性回归 求参时： 最小二乘法 极大似然估计 3.3 为了使得计算加速，如利用numpy矩阵预算加速 最后的线性模型转化为 3.4 对数几率回归 模型： 策略： 极大似然法 信息论角度 算法： 梯度下降法 牛顿法 3.5 线性判别分析（LDA） ...
八月组队学习，吃瓜课程学习笔记打卡 Task1
weixin_57171836的博客
08-18 289
这里写目录标题机器学习第一章第二章小结 本次学习是Datawhale发起的组队学习系列 —— 吃瓜教程|八月份组队学习 学习内容由开源学习组织Datawhale提供 相关课程链接: https://www.bilibili.com/video/BV1Mh411e7VU. 机器学习 在选择吃瓜教程学习时，觉得自己的学习能力有待考究。但在此前就购入了《西瓜书》+《南瓜书》的我还是决定来试一试。 这是初次吃瓜，但是对机器学习的知识并不陌生，在此前参与的组队学习与自学的过程里，反而让我对这本西瓜书愈发好奇，希望
吃瓜教程学习笔记01
booa_的博客
02-14 421
吃瓜教程笔记Task1
红宝书单词学习笔记 list 101-135
丰锋的博客
07-25 864
(时间) 逐渐过去；“rise” 的过去式。v. (使) 穿上长袍。
谷粒商城 - 个人笔记(基础篇一)
热门推荐
知行
09-26 7万+
电商后台管理系统+电商系统，掌握微服务的全套方案。该系统有商品服务、仓储服务、订单服务、购物车服务、检索服务、认证中心服务、网关服务、用户服务、秒杀服务、第三方服务。使用SpringBoot+SpringCloud并配套SpringCloud Alibaba系列，引入全套微服务治理方案：Nacos注册中心/配置中心、Feign远程调用、Gateway网关、Redisson缓存、基于ElasticSearch7全文检索、异步编排与线程池、RabbitMQ柔性事务方案、Redisson分布式锁、分布式信号量等。
西瓜书前2章-task1
mumuzxy的博客
06-14 266
周志华西瓜书前2章笔记-详细
深度学习的学习记录（二）
qq_43613688的博客
05-19 1151
目录 任务 python基础知识 任务 继续进行多线学习。李沐和B站的课，至于西瓜书和南瓜书，我想等到自己论文答辩完，不是很忙的时候学习。 多看和记一下python的一些重要函数和语法 华为云的直播有一些活动和课，最近看到的，抽空看看。 接下来的两周还有两次机器学习的代码实践课，多学学机器学习的思想和python熟练度。 我可能学的很慢，但是每天都在学，希望最后有所收获 python基础知识 记录自己感觉重要和刚接触不同于java的一些东西，为了考研，有一年多没碰电脑，感觉还是忘掉的.
苍穹外卖项目解读(四) 微信小程序支付、定时任务、WebSocket
代码的尽头都是数学
08-10 3475
苍穹外卖项目解读(四) 微信小程序支付、定时任务、WebSocket
神经网络的正向传播和反向传播 包括可视化源码
最新发布
二分掌柜的
12-25 586
flyfish
神经网络的调参顺序
Michael_Jay的博客
12-24 244
很多人在做深度学习实验时，参数也调了，搜索空间也拉满了，但效果就是不稳定。 其实问题往往不在“参数不够多”，而在于——调参顺序是乱的。 调参不是玄学，而是有优先级和逻辑顺序的。
课程提纲：神经网络基础和工程实践
CS实验室
12-25 815
神经网络看似复杂，归根结底是数学对数据的拟合。会用 Python 和 PyTorch 库，懂基本原理，就能做出很好的应用。垃圾进，垃圾出 (Garbage In, Garbage Out) 是永恒的真理。只有深刻理解业务痛点，你才能设计出合理的网络架构和优化目标。
DNN案例一步步构建深层神经网络（二）
2501_92553370的博客
12-18 283
人工智能#具身智能#VLA#大模型#AI#LLM#Transformer 架构#AI技术前沿#Agent大模型#工信部证书#人工智能证书#职业证书。DNN案例一步步构建深层神经网络（二）
（论文速读）GAT：图注意神经网络
LJ1147517021的博客
12-25 507
本文介绍了图注意力网络(GAT)，一种新颖的神经网络架构，用于处理图结构数据。GAT通过自注意力机制克服了传统图卷积网络的局限性，能够自适应地为不同邻居节点分配权重，无需复杂矩阵运算或依赖固定图结构。该模型在Cora、Citeseer、Pubmed引文网络和蛋白质-蛋白质相互作用数据集上取得了优异表现，特别在归纳学习任务中显著优于GraphSAGE方法36.1%。GAT的计算复杂度与GCN相当，同时提供了更好的可解释性，已成为图神经网络领域的重要基准模型。
OpenHarmony AI系列：神经网络处理单元(NPU)驱动架构与实现详解
m0_67505153的博客
12-21 350
NPU（Neural Processing Unit，神经网络处理单元）是专门为神经网络计算设计的硬件加速器。在OpenHarmony系统中，NPU驱动是通过NNRT（Neural Network Runtime，神经网络运行时）框架实现的，它作为中间桥梁连接上层AI推理框架和底层NPU硬件，实现AI模型的跨芯片推理计算。
DW组队学习笔记：西瓜书与南瓜书第3章要点概述
- 学习方法和过程：由于“吃瓜笔记”涉及到个人的学习笔记，可能包含如何高效学习机器学习的技巧、学习笔记的整理方法、如何从理论学习到实际应用等知识点。 - 遇到问题的解决方案：在描述中提到的网站问题，说明了...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值