Transformer中，Fisher矩阵与权重之间关系

已于 2025-03-23 14:42:08 修改
阅读量221 收藏 1
点赞数 1
分类专栏： 2021 论文 教学 2024大模型以及算力 文章标签： transformer 矩阵 深度学习
于 2025-03-23 14:28:53 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_38998213/article/details/146455344
版权
教学 同时被 3 个专栏收录
1429 篇文章 ¥199.90 ¥299.90
订阅专栏
2021 论文
834 篇文章 ¥199.90 ¥299.90
订阅专栏
2024大模型以及算力
828 篇文章 ¥199.90 ¥299.90
订阅专栏

Transformer中，Fisher矩阵与权重之间关系

目录

在Transformer中，Fisher矩阵与权重之间存在着紧密的联系，在模型训练和多任务学习等场景中发挥着重要作用

一、Fisher矩阵与Transformer权重的关系

  • 衡量权重重要性：在Transformer中，Fisher矩阵可以用来度量模型参数（权重）对损失函数的敏感度，从而衡量参数的重要性**。如果某个权重对应的Fisher信息矩阵元素的值很大，说明该权重对损失函数的变化非常敏感，即该权重在模型训练中起到了重要的作用** 。比如在处理复杂语义理解的任务时，某些负责捕捉关键语义信息的权重，其对应的Fisher矩阵元素值可能较大。
  • 表示权重不确定性：Fisher矩阵的逆矩阵可以近似表示参数估计的协方差矩阵，反映了模型权重的不确定性。较小的协方差意味着权重估计更准确，模型对这些权重的信心更高；反之，较大的协方差表示权重的不确定性较大。
  • 辅助权重更新 ：在一些优化算法中，Fisher矩阵用于计算参数更新的步长。例如在自
了解本专栏 订阅专栏 解锁全文
AI智能体 | 使用Coze制作茶艺和茶生活混剪视频（附保姆级教程）
李同学Lino的博客
05-01 242
最近刷视频的时候，发现这种【情感、治愈、茶生活】的视频非常火爆，动不动就几十万播放量。进去发现全是混剪的视频，结合着煮茶生活与惬意的生活作为背景，分享着人生哲理。传统做法要么结合着意境自己拍摄，成本非常高；要么就是找素材进行混剪，极其麻烦。那么今天我将手把手教大家利用Coze搭建一个【茶艺混剪】的工作流，一键生成茶艺混剪视频。
2️⃣ Coze创建智能体教学（2025年全新版本）
李同学Lino的博客
04-07 1242
扣子平台提供强大支持，可将智能体轻松集成至各类社交平台，使智能体得以服务更为庞大的用户群体。当下支持集成的平台如下：​1️⃣豆包：作为聚焦 AI 内容创作的平台，非常适合发布充满创意、娱乐性强的智能体。​2️⃣飞书：适合发布用于办公协作的智能体，助力团队提升工作效率。​3️⃣微信：借助公众号或小程序的形式，能够服务海量微信用户。​4️⃣抖音：适合发布与短视频相关的智能体，为用户提供创意与娱乐服务。​
厉害啦！扣子 (coze) 抓取插件能读抖音文案，用 deepseek 整理，链接读取等功能超棒，不容错过！扣子免费系列教程（20）
涛涛讲AI
02-27 5604
欢迎来到涛涛聊 AI，今天给大家分享一个功能特别强大的插件，这个插件有链接读取功能。下面是插件的一些介绍。我们利用这个插件来做一个读取抖音文案的小工具。这个插件功能可不少。它不仅能返回网页的原始内容，像标题、具体内容、链接这些都能获取到，而且还能对这些内容进行筛选和解析。不管你是要做网页内容分析，还是从各种网页里提取有价值的信息，这个插件都能派上大用场。
最新扣子(Coze)案例教程：最新抖音视频文案提取方法替代方案，音频视频提取文案插件制作，手把手教学，完全免费教程
andy_68147772的博客
04-03 1853
这里要注意一下，如果我们要使用阿里云百炼平台的API接口进行视频音频的文案提取，就需要一个插件，把百炼平台提供的SDK进行封装。📢 当然，如果你也想开发一个和我一样的插件，可以到我的知识星球领取插件源代码，以及插件开发的视频教程，创建自己的视频文案提取插件，这样就完全无需考虑代码安全性的问题了。（加入方法见文章结尾）📢 使用提示：这里要注意一下，百炼平台的API KEY的免费额度使用完后，是要收费的，如有大量使用的同学，请及时关注自己的账户情况。创建好以后，我们点击「创建我的API-KEY」。
利用coze提取并修正抖音视频文案
u013191411的博客
07-16 3477
抖音有不少有用的干货视频，但是往往看一遍就忘了，我就在想能不能**把视频文案提取出来保存到自己的笔记里面**，方面后续温故知新。 最终可以实现**集成到newapi里，随时随地只要把抖音视频分享链接丢给他，就能给我修正后的文案**，舒服！
最新扣子(Coze)实战案例：3分钟用扣子导出100篇文案，搞定视频批量读取写入飞书多维表格，完全免费教程
andy_68147772的博客
12-09 8502
最近有很多同学咨询关于飞书表格批量读取和写入的方法，今天斜杠君就全面详细的为大家讲解一下飞书表格读取和写入的来龙去脉 。 之前斜杠君也针对飞书多维表格工作流做过详细的教程和视频讲解。与本节教程的区别是：之前的方式是单线程的输出到飞书多维表格。 所以这次斜杠君带来了如何使用批量的方式来对飞书表格进行读取和写入教程，希望可以帮助到大家。
头条视频文章采集神器，助你轻松提升工作效率
2301_80092922的博客
01-26 206
1.概括身为头条号的关注者与运营者，我深刻理解头条视频文章对于我们的重要性。人工收集实在耗时且流程繁琐，因此，在此为您推荐一种智能批量获取头条视频文章的方式，助您提升工作进度。2.视频源选择首要任务是寻找到可靠的视频来源。
【AI落地】如何创建字节的coze扣子工作流 ——以“批量获取抖音视频文案”为例
青禾tester
01-15 6206
使用 coze 扣子创建工作流，利用大模型实现我们的任何小需求。
Cursor + Coze 工作流打造网页内容提取插件 教程
Yeadon_2003的博客
11-19 3540
Cursor 是一款革新性的代码编辑器，它在保留 VS Code 熟悉界面的同时，集成了强大的 AI 功能。他大概长这样，与普通 vscode 编译器差不多，但是多了一个言出法随的 composer 功能，能够自然语言交互写代码修 bug本教程介绍了主要开发流程，但在实际开发中可能遇到各种细节问题，如图标样式优化、错误处理等、特别是 cursor 的 coding 过程。但是我不在一篇文章内详尽所有可能，经过我的抛砖引玉，你们应该能拓展一点思路，对于文章中不懂得东西可以在网上 get。
Coze+海螺AI,实现一键生成爆款儿童古诗启蒙视频！（附完整代码）
zhouzhou520520的博客
04-25 1336
Coze+海螺AI,实现一键生成爆款儿童古诗启蒙视频！（附完整代码）
首发！高阶版读书分享视频,Coze工作流一键生成！（附完整代码提示词）
zhouzhou520520的博客
04-28 1210
首发！高阶版读书分享视频,Coze工作流一键生成！（附完整代码提示词）
年涨粉50W的博主都在用！用Coze+多维表格批量分析小红书赛道，运营效率直接翻10倍（附保姆级教程）
李同学Lino的博客
04-17 333
做流量运营的都懂，找爆款关键词就像在迷宫里摸黑找出口——翻笔记、筛热词、记飙升词，Excel表格堆满20个标签页还是摸不透平台算法。但今天我将教大家如何对小红书进行【赛道分析】，只要往「Coze智能体」里敲一个行业关键词，3分钟后全平台爆款基因自动解剖完成！对标博主、流量黑马、飙升话题、隐形蓝海词全给你刨出来，别人蹲半个月数据站岗，你吃一碗泡面就能摸清小红书的对标赛道底牌。
B站神级插件！B站视频字幕提取，支持总结B站视频、翻译字幕内容
2401_87295449的博客
09-11 3922
将 B 站视频的字幕单独提取出来，以列表的形式展示在侧边栏，并且可以通过点击字幕跳转到对应时间线。众所周知，从视频中获取信息的效率很低，而阅读文字则更加高效可控，然后有大佬做了这个浏览器扩展。哔哩哔哩字幕列表，B站视频字幕提取脚本，并且可以自动跳转到对应的时间线。它可以显示视频对应的字幕列表，点击可跳转视频对应位置，比较适合知识学习类的视频。字幕是视频自带的，少数视频未带有字幕，就无法显示。显示在屏幕右侧弹幕列表上方，多了字幕列表。我测试了一下，效果确实可以呀！大部分视频都可以显示字幕。
最新扣子(Coze)案例教程：小红书爆款书单推荐视频工作流！3分钟10个爆款视频，文学赛道书籍推荐视频日更必备工具，完全免费教程
最新发布
andy_68147772的博客
05-04 2533
这一步很重要，因为我们生成视频的方式是通过「剪映小助手合成视频」的功能，所以首先我们要创建一个剪映的草稿，这样之后通过剪映小助手的工具箱导入到剪映，然后把视频导出。这里我们要为开头的部分生成过场的书籍切换动画，所以我们要随机生成8本书籍，根据自己的需要，这里的书籍数量可以按自己的需要进行修改。关键帧的主要作用是生成动画，我们在上面的视频中可以看到，开头的部分有一个书籍放大的动画效果，这个就是用关键帧插件实现的。这里把前面生成的中文字幕翻译成英文，分别用到了大模型节点，以及剪映小助手中的添加字幕插件。
高阶玩法：Coze+DeepSeek打造一站式视频制作工作流（建议收藏）
m0_63171455的博客
02-06 4765
最近在研究使用Coze工作流制作视频，虽然其官方支持的视频插件有限，但合理组合使用，也能覆盖不少我们的应用场景。比如下面这个账号，其主要分享认知思维的内容。以口播的方式直接阐述认知观点。搭配简洁的背景和深度的解读，总能吸引人停留关注。小红书主页案例：那是否可以利用Coze，实现一站式视频生成的工作流呢？试一下不就知道了？账号拆解我们可以直接将账号截图丢给DeepSeek-R1模型，让其先进行深度分析和拆解参考DeepSeek的分析结果，可以确定制作此类视频的关键信息，为后续工作流搭建理清思路。
视频号的文案怎么提取出来？长期可用的两种方法
weixin_48817974的博客
02-25 678
在视频号网页版中，你可以打开对应的视频，然后使用这些插件提取文案。在视频号上，直接寻找爆款内容，提取并进行二次创作，你也能迅速打造出爆款。这款工具不仅支持下载视频号里的视频，还可以复制视频号里视频文案，还可以提取视频内容文字，还可以复制视频连接，甚至连封面都可以保存。尽管稍显繁琐，手动输入却是直接且准确的方法，尤其适合简短文案，能避免OCR错误，同时促进对文案的理解与灵感激发。总之，选取适合的方法提取视频号文案不难，无论是截图识别、插件辅助还是手动录入，都能助你捕捉灵感，创作精彩内容。
DeepSeek+Coze实战：一键获取对标账号所有视频，自动存入表格，10倍提效
ytt0523_com的博客
03-17 1802
我们今天分享了如何用deepseek+coze一键获取对标账号的所有视频，并自动存入飞书表格。整个过程非常简单直观。即使不懂编程也能轻松完成，让你不用再花钱购买采集工具。希望这个小技巧能帮助大家提升工作效率。我的DeepSeek部署资料已打包好（自取↓）但如果你想知道这个工具为什么能“听懂人话”、写出代码 甚至预测市场趋势——答案就藏在大模型技术里！❗️为什么你必须了解大模型？1️⃣ 薪资爆炸：应届大模型工程师年薪40万起步，懂“Prompt调教”的带货主播收入翻3倍。
给小白朋友的Coze入门指南
mmhh1024的博客
04-30 2164
专为普通用户设计，无需编程基础就能快速创建智能聊天机器人（Bot）和自动化工具。简单来说，它像“AI版的乐高积木”——通过拖拽模块、添加插件，普通人也能轻松搭建属于自己的AI助手。Coze（中文名“扣子”）是字节跳动推出的。
手把手教你用coze文生图、图像抠图、视频文案提取及改写
bigData1994pb的博客
04-11 504
1.文生图案例 ：包含工作流、插件参数配置，介绍了“提示词优化”插件（如sd_better_prompt）可智能优化提示词，还有图像生成插件可通过文字描述或添加参考图生成图片，以及智能体角色设置。​2.图像抠图 ：有工作流和插件参数配置，cutout插件能自动去除图片背景、支持自定义抠图对象，用户可选择输出图模式，适用于多种图片处理场景。​。
【入门】【入门】三角形类别
11-04
在计算机程序设计中，尤其是面向对象编程中，我们可能会创建一个"三角形"类别（也称为类或类结构），作为几何形状的一种抽象表示。三角形是一个基本的图形，它由三条线段（边）连接三个点（顶点）构成。这个类通常会包含属性，如边长或角度，以及一些方法，如计算周长、面积等。 例如，在Python中，一个简单的三角形类可能如下所示： ```python class Triangle: def __init__(self, side1, side2, side3): self.side1 = side1 self.side2 = side2 self.side3 = side3 # 计算周长 def perimeter(self): return self.side1 + self.side2 + self.side3 # Heron公式计算面积（假设所有边都是实数） def area(self): s = self.perimeter() / 2 return (s * (s - self.side1) * (s - self.side2) * (s - self.side3)) ** 0.5 # 使用示例 triangle = Triangle(3, 4, 5) print("Perimeter:", triangle.perimeter()) print("Area:", triangle.area()) ``` 在这个例子中，`Triangle`类就是一个基础的三角形分类，提供了初始化边长的方法和计算周长和面积的方法。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ZhangJiQun&MXP

等到80岁回首依旧年轻

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值