NN之---weight 反馈回路

关于nn.CrossEntropyLoss交叉熵损失中weight和ignore_index参数 因为,label = 1有一个,label = 0 有两个,所以1的样本较少,这里就对label = 1设置权重大点。所以,loss = -(ln0.69+ln0.3543+ln0.5987)/3 = -(ln0.1464) / 3 = 0.6406。所以,在样本不均衡的情况下,加label少的样本,w加大,可以将loss变大,从而梯度下降的时候可以更好的弥补样本不平衡的问题。可以发现,label 是 0 1 2 三类,这里将label = 2的忽略,并且对0 1 2施加的权重为 2 1 2。 阅读详情

NN的一个重要部分就是要back propagation,因为这样在若干epoch之后能得到收敛的cost function。

所以要先验证weight parameter 反馈回路是否正常工作。

文件目录是:E:\verilog\thesis_2014\nn_test\modelsim\rtl

这个是weight求和模块:


看来输出是正常的,下一步实现sigmoid和feedforward module


TF:CNN里面的weight,bias,shape,从形状的角度理解整个过程 了解过机器学习的人都知道通用公式:y = w * x + b weight:权重比 bias:偏斜量 但是很多人不清楚CNN(卷积神经网络)里面的weight 和bias在哪儿,是怎么参与运算的。这篇文章就为大家揭晓。同时,在CNN里面永远绕不开一个概念: shape:形状 首先介绍shape(形状): 在测试中,我们输入了100*100的原始图片 “一.png”: 然后将它转换为 shape[... 阅读详情

相关推荐

非欧空间机器学习:识别数据本征几何与落地避坑指南

非欧空间机器学习并非高深数学技巧,而是面向图结构、流形分布和树状层级等真实数据几何特性的建模范式升级。其核心原理在于放弃欧氏空间中‘直线距离’与‘线性叠加’的强假设,转而采用球面、双曲或黎曼流形等更贴合数据本征形状的度量与运算方式。这种几何先验显著提升模型对层级保真、方向约束和长尾分布的建模能力,技术价值体现在医疗影像分割、物流路网推荐、知识图谱补全等工业场景中指标的实质性跃升。本文聚焦工程落地,系统解析如何通过聚类系数、LLE误差、层级深度比等可计算指标识别数据是否需非欧建模,并提供双曲GCN实现、黎曼优

abo1977的博客 432

神经网络NN简单理解以及算法

简介 1.什么是神经网络 1.1 背景 : 以人脑中的神经网络为启发,历史上出现过很多不同版本 最著名的算法是1980年的 backpropagation 1.2 多层向前神经网络(Multilayer Feed-Forward Neural Network) Backpropagation被使用在多层向前神经网络上 多层向前神经网络由以下部分组成:  输入层(input lay...

m0_37667962的博客 6270

Policy Gradient入门实战:从REINFORCE到PPO手写解析

策略梯度(Policy Gradient)是强化学习中直接优化策略参数的核心范式,区别于Q-learning等值函数方法,它通过参数化策略π_θ(a|s)并最大化期望累积奖励J(θ)来实现学习。其理论基础源于得分函数估计器(Score Function Estimator),将不可微的期望梯度转化为可计算的∇logπ项,从而支持随机梯度下降。关键技术价值在于天然适配连续动作空间与高维输出,并为actor-critic架构、优势函数设计及PPO等工业级算法提供统一内核。典型应用场景包括机器人控制、游戏AI与推

weixin_30924087的博客 693

pytorch nn.Module调用过程详解及weight和bias的值的初始化

首先说明一点: nn.Module 是所有神经网络单元(neural network modules)的基类 pytorch在nn.Module中,实现了__call__方法,而在__call__方法中调用了forward函数。 举例说明: x = torch.randn(2, 3) #input 2*3 m = torch.nn.Linear(3, 2)#output 2*2 output = m(x) print(output) 输出结果: tensor([[ 0.1918, -0.1055],

weixin_42713739的博客 1万+

神经网络发展史:一场横跨七十年的跨学科协同翻译工程

神经网络并非凭空诞生的纯数学模型,而是神经生物学、心理学、控制论、物理学与计算机科学长期交叉演化的产物。其核心原理植根于真实神经元的电生理特性(如阈值发放、突触可塑性)与物理系统的能量最小化机制(如霍普菲尔德网络的自旋玻璃类比)。这种多学科协同赋予了它强大的建模能力与工程鲁棒性——从1943年麦卡洛克-皮茨模型对动作电位的量化模拟,到1982年用统计力学重构联想记忆,再到现代深度学习中ReLU激活函数对神经稀疏性的继承,无不体现‘生物启发’与‘物理约束’的双重技术价值。典型应用场景涵盖模式识别、联想记忆、硬

366

IEF迭代误差反馈:人体姿态估计中的渐进式修正范式

迭代误差反馈(IEF)是一种将端到端回归任务重构为多阶段修正过程的基础性方法,其核心原理是通过位移向量预测实现预测结果的逐轮精化。该技术不依赖复杂网络结构,而是利用初始先验、可导热图编码与误差边界约束,在保持计算效率的同时显著提升空间定位鲁棒性。在人体关键点回归等对精度敏感的视觉任务中,IEF展现出优异的抗遮挡、抗模糊能力,成为理解模型渐进式优化机制的经典范例。本文深入解析其设计哲学、架构取舍与工程落地细节,覆盖从热图生成、误差预测到实际部署的完整链路。

ajwh64482的博客 383

解开“神经网络”的神秘面纱(一)

解开“神经网络”的神秘面纱(一) 人工智能的热度,神经网络的热度我就不说了。我也是在这个大潮中才接触人工智能,神经网络的。最近看了塔里克.拉希德的《Python神经网络编程》,然后跟着书也作出了神经网络,首先感谢作者无私的分享。我对高等数学不了解,Python也是新手,所以到作出自己的神经网络,花了近半个月时间。所以写点东西总结一下。 其实神经网络就像一个黑盒子,你从一边输入数据,而从另一边可以接受到一个完全不同的数据。哈哈,你可能会说,这不就是像一截生锈的管子,干净的水从这边流进去,而从另外一边.

广耳即邝 417

大模型自主设计实战指南:从架构元推理到闭环验证沙盒

大模型自主设计正从概念走向工程落地,其核心是架构级元推理能力——即模型识别自身缺陷、生成改进方案并完成验证的闭环能力。这依赖于可解释性推理引擎、硬件感知架构搜索与高保真闭环验证沙盒(CLVS)三大技术支柱。相比传统微调或NAS,该范式强调‘设计-验证-权衡’一体化,对算力堆砌依赖降低,而对信号融合、细粒度监控与历史架构知识沉淀提出更高要求。当前技术瓶颈正快速收敛,2025年Q1将成为关键节点。本文聚焦一线工程师可立即执行的监控重构、架构考古与CLVS沙盒搭建路径,助力团队抢占超级智能前夜的工程准备窗口。

weixin_34343000的博客 451

AI Agent在保险定价中的技术架构与实战应用

AI Agent作为自主决策系统,通过持续学习和多系统协同能力,正在重塑传统保险定价模式。其核心技术原理在于结合机器学习算法(如XGBoost、神经网络)与传统精算模型,实现动态风险特征提取与实时定价决策。在工程实践中,这种混合架构既能提升预测准确率(AUC可达0.79),又能满足GDPR等法规对模型可解释性的要求。典型应用场景包括车险动态定价(整合气象、交通数据)和健康险风险评估(处理医疗时序数据),其中特征工程和合规性设计成为关键挑战。当前行业数据显示,部署AI Agent的保险公司可实现定价响应速度提

weixin_34259232的博客 339

ML生产化落地实战:从模型服务化到推理稳定性保障

机器学习模型服务化(Model Serving)是将训练好的模型部署为可稳定响应请求的API服务的关键环节,其核心在于解决推理稳定性、低延迟保障与可观测性等工程挑战。不同于传统Web服务,ML服务需应对动态输入、GPU资源争用、特征计算依赖等特有风险,技术价值体现在降低线上故障率、提升资源利用率并支撑A/B测试闭环。典型应用场景包括实时风控、个性化推荐与智能客服等高并发、低延迟要求的业务系统。本文聚焦ML生产化(MLOps)中Part 4阶段——即模型真正进入生产运行态后的稳定性加固、服务架构选型、序列化治

turnRound 482

梯度提升原理与实操:从残差拟合到负梯度优化

梯度提升(Gradient Boosting)是一种基于函数空间梯度下降的集成学习范式,其核心在于将复杂预测任务分解为一系列针对损失函数负梯度的弱模型迭代拟合。不同于简单残差建模,它通过可微损失函数(如MSE、LogLoss、Huber)统一定义优化方向,使算法具备目标函数泛化能力。技术价值体现在强鲁棒性、天然正则化及对业务指标的可定制性;广泛应用于电商销量预测、金融风控评分、工业设备寿命估计等高精度回归与排序场景。本文聚焦梯度提升的本质机制——负梯度作为伪响应、浅层决策树作为可控弱学习器、学习率作为收敛安

dielucuan8830的博客 405

【机器学习】一文搞懂反绎学习(Abductive Learning,简称ABL) 完整源码复现

反绎学习的系统架构(周志华团队)反绎学习问题的严格形式化采用四元组结构,明确界定系统的各个组成部分及其相互关系。输入空间由原始数据分布定义,包含从感知环境获取的未标注或弱标注实例。这些实例通常以高维向量形式呈现,如图像像素、文本序列或传感器读数。原始数据分布刻画了问题域的统计特性,是机器学习模块的训练基础。逻辑事实空间建立了从原始数据到符号表示的映射。感知模型将输入实例转换为符号事实的候选集合,这些事实构成逻辑推理的观察前提。

u012133341的博客 704

GABI:面向航天器图像分割的几何感知边界集成框架

图像分割是计算机视觉的基础任务,其核心在于精准定位目标区域与背景的分界。传统方法依赖语义特征学习,但在高可靠性场景(如航天遥感)中,因忽略物体固有的几何结构、物理成因边界及尺度变化规律,常出现边缘模糊、部件错位等失效。GABI通过显式建模刚体拓扑约束、三类物理边界解耦、自适应尺度选择等机制,将几何先验深度融入分割流程,显著提升边界精度与鲁棒性。该框架特别适用于标注成本高、物理约束强、误差容忍度极低的航天器视觉任务,为遥感图像分割提供了可解释、可部署、可泛化的工程化新路径。

weixin_30765505的博客 446

Image-to-Video生成中的Adherence调优:Agentic Optimization实践指南

在图像到视频的生成任务中,如何衡量生成结果与参考图的一致性至关重要。Adherence指标用于评估首帧一致性、人物身份保持和场景结构延续,是视频生成质量的核心维度。然而传统手动调参依赖主观经验,难以应对高维参数空间和批量实验场景。Agentic Optimization通过将生成、评估、参数调整的闭环交给智能体自动执行,让每一次调整都基于量化反馈。这种优化方式不仅提升了可复现性,还让参数搜索过程可记录、可追溯。在工程实践中,借助CLIP Score、LPIPS等多维度评估指标,并引入LLM驱动的优化Agen

weixin_30824479的博客 416

GAN原理与实战:从对抗机制到稳定训练的完整指南

生成式对抗网络(GAN)是一种基于博弈论思想的无监督生成模型,其核心是通过生成器(Generator)与判别器(Discriminator)的极小极大动态博弈,逼近真实数据分布。该机制本质上是学习隐空间到数据空间的非线性映射,依赖纳什均衡达成分布一致性,而非简单分类或像素重建。技术价值在于无需显式概率建模即可合成高维复杂数据,在图像生成、数据增强、隐私保护等场景落地广泛。但实际应用中常受模式坍缩(Mode Collapse)、训练不稳定(Training Instability)和梯度消失(Vanishin

ciya3282的博客 341

【eNSP 华为模拟器】单臂路由实战:从原理到配置全解析

本文详细解析了单臂路由技术,通过华为eNSP模拟器从原理到配置进行实战教学。文章阐述了单臂路由如何利用路由器单物理接口创建多个子接口,实现不同VLAN间通信,并提供了完整的操作步骤、配置命令及排错方法,帮助网络工程师掌握这一经典网络技术。

700

GPT-4的2%稀疏激活真相:MoE架构下的硬件级性能博弈

大语言模型的参数规模持续突破万亿量级,但受限于GPU显存带宽与计算密度的物理瓶颈,全参数稠密推理已不可行。MoE(Mixture of Experts)由此成为超大规模模型落地的核心架构,其本质是通过专家路由实现动态稀疏激活——并非简单‘关闭98%参数’,而是构建语义感知的计算调度系统。该机制在保障模型能力的同时,显著提升单位算力吞吐,但也引入Router开销、All-to-All通信、负载不均衡与KV Cache压力等新挑战。本文聚焦1.8万亿参数、2%稀疏激活等关键热词,结合A100/H100实测数据,

weixin_33834910的博客 421

使用STM输出互补SPWM波(三相各差120°)

使用STM32输出SPWM波形(三相各差120°)

hello011102的博客 7374

AI伦理工程化:将电车难题转化为可编码、可测试、可审计的决策约束

AI伦理已从哲学思辨进入工程实施阶段——当‘电车难题’不再抽象,而是映射为自动驾驶的毫秒级优先权分配、医疗分诊中的生命体征硬约束、金融风控里的公平性可微分惩罚项时,其本质是将价值判断转化为可形式化、可验证、可部署的技术基础设施。这要求突破传统单维判定、静态场景与责任模糊三大失真,构建覆盖L1自然语言契约、L2形式逻辑、L3可微分约束层、L4硬件熔断的四层编码体系,并通过高密度道德困境、信息不对称梯度、跨文化价值漂移等压力测试持续验证。核心在于让伦理规则像内存管理一样成为底层能力,而非顶层装饰。

weixin_30256901的博客 465

CAN:CANape使用Function处理数据

CANape中的function and script习惯称之为脚本(实际为函数和脚本)。这里介绍function,可以实现简单信号a和信号b乘法,比如计算功率(转速与扭矩乘)。该功能前期有专业人员做支援,当时问其编制方法,其回答是看帮助文件。现在没有支援自己动手。 功能描述:电压信号阶梯增加,每次保持1.5s,测量后0.5s位移平均值(假设信号步长10ms,需要取样50个点,但该脚本中点的数目为10个)。图示如下: 刚开始看了软件Function definition→Library function,

Morven 1万+

基于ESP32的智能无线广播系统开发博客

通过本项目的开发,我们成功地实现了基于ESP32的智能无线广播系统。该系统不仅具备传统广播的功能,还实现了通过Wi-Fi无线传输音频、实时广播和智能控制等多种先进功能。未来,随着技术的进一步发展,我们还可以扩展更多功能,如智能推荐广播内容、支持语音识别和控制等。希望本项目能够为嵌入式开发人员提供一些思路和参考,帮助大家在实际开发中更好地应用ESP32平台,开发出更加智能和实用的无线广播系统。

2201_76125393的博客 424
上一篇: HPP_UIUC_MP1: vector addition
下一篇: HPP_UIUC_MP2: basic matrix multiplication-----BlockDIM!
纯黑老白
博客等级 码龄18年 30粉丝 62原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值