伯克利『全栈深度学习』2022最新课程；谷歌『基于Transformers的通用超参数优化』经验分享；动图编辑器；前沿论文 | ShowMeAI资讯日报

ShowMeAI ShowMeAI 博客等级 墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 1w累计阅读 1.1w+平均单平台 已同步平台 优快云 微信公众号 微博 知乎 掘金 百家号 博客园 抖音 小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网 我也要 码龄5年
关注
原创 最新推荐文章于 2026-09-18 14:01:39 发布 1w 阅读 AI 写同款· GEO 优化 ›
Deepfake检测模型-PyDeepFakeDet项目复现实验报告-深度学习 该实验是对于https://github.com/wangjk666/PyDeepFakeDet模型的复现。PyDeepFakeDet 是一款集成的、可扩展的 Deepfake 检测工具。目标是提供最先进的 Deepfake 检测模型以及用于在常用 Deepfake 数据集上训练和评估新模型的接口。 阅读详情

👀日报合辑 | 📆电子月刊 | 🔔公众号下载资料 | 🍩@韩信子

工具&框架

🚧 『PyDeepFakeDet』Deepfake 换脸检测库

https://github.com/wangjk666/PyDeepFakeDet

PyDeepFakeDet 是由复旦大学视觉与学习实验室开发的一个集成的、可扩展的 Deepfake 检测工具。

其目标是提供最先进的 Deepfake 检测模型，以及在常用的 Deepfake 数据集上训练和评估新模型的接口。

🚧 『EasyCV』PyTorch 一站式计算机视觉工具箱

https://github.com/alibaba/EasyCV

EasyCV 是一个涵盖多个领域的基于 Pytorch 的计算机视觉工具箱，聚焦自监督学习和视觉transformer关键技术，覆盖主流的视觉建模任务例如图像分类，度量学习，目标检测，关键点检测等。

🚧 『Motionity』Web 界面的动图编辑器

https://github.com/alyssaxuu/motionity

Motionity 是一个免费和开源的网络动画编辑器。它是 After Effects 和 Canva 的混合体，具有强大的功能，如关键帧、遮盖、过滤等，并集成了浏览内容的功能，轻松拖入你的视频即可处理。

🚧 『Jumanji』用 JAX 写的行业驱动的硬件加速强化学习环境

https://github.com/instadeepai/jumanji

https://instadeepai.github.io/jumanji/

Jumanji 是一套用 JAX 编写的强化学习（RL）环境，为行业驱动的研究提供干净、硬件加速的环境。 Jumanji 的高速环境能够实现更快的迭代和更大规模的实验，同时降低复杂性。Jumanji 起源于 InstaDeep 的研究团队。

🚧 『OCRmyPDF』为扫描 PDF 增加 OCR 功能

https://github.com/ocrmypdf/OCRmyPDF

http://ocrmypdf.readthedocs.io/

PDF 是存储和交换扫描文件的最佳格式，但是难以修改。 OCRmyPDF 工具将图像处理和 OCR 文字识别功能应用于 PDF 编辑，轻松地为扫描的 PDF 文件添加 OCR 文本层，使其能够被搜索或复制粘贴。

博文&分享

👍 『Full Stack Deep Learning』伯克利·全栈深度学习·(2022 免费课程)

https://fullstackdeeplearning.com/course/2022/

https://www.youtube.com/playlist?list=PL1T8fO7ArWleMMI8KPJ_5D5XSlovTW_Ur

FSDL是一个学习社区，将人们聚集在一起，学习和分享全栈最佳实践：从问题选择、数据管理和选择 GPU 到 Web 部署、监控和再培训。这是2022年最新版『全栈深度学习课程』，内容包括：

  • ① 深度学习技术（包括CNN, RNN, Transformers等）
  • ② AI伦理内容（介绍responsible AI/Ethics的一些研究内容）
  • ③ 测试跟模型解释（其中对测试部分的归纳非常系统）、AI部署和监控

课程安排如下：

  • 第1讲：课程愿景和何时使用 ML
  • 第2讲：开发基础设施和工具
  • 第3讲：故障排除和测试
  • 第4讲：数据管理
  • 第5讲：数据管理
  • 第6讲：持续学习

实验安排如下：

  • 实验1-3：CNN、Transformers、PyTorch Lightning
  • 实验4：实验管理
  • 实验5：故障排除和测试
  • 实验6：数据注释
  • 实验7：Web 部署
  • 实验8：Web 部署

👍 『OptFormer: Towards Universal Hyperparameter Optimization with Transformers』基于 Transformers 的通用超参数优化

https://ai.googleblog.com/2022/08/optformer-towards-universal.html

超参数优化对机器学习非常重要，对于机器学习模型的性能具有决定性的作用。在 Google 公司内部，Google Vizier 作为默认使用的机器学习部署过程的超参数优化平台，在过去 5 年中被调用超 1000 万次。

这篇 Google 的博客分享了 OptFormer 这一基于 Transformer 的超参数调整框架，使用灵活的、基于文本的表示，从Google Vizier 追踪到的大规模优化数据中学习。

数据&资源

🔥 『Representation Learning for Reinforcement Learning』面向强化学习的表示学习相关文献列表

https://github.com/fuyw/RepL4RL

🔥 『Awesome Stable-Diffusion』Stable Diffusion 模型相关资源大列表

https://github.com/awesome-stable-diffusion/awesome-stable-diffusion

研究&论文

可以点击 这里 回复关键字 日报，免费获取整理好的论文合辑。

科研进展

  • 2022.08.04 『看图说话』 Prompt Tuning for Generative Multimodal Pretrained Models
  • 2022.09.02 『看图说话』 LiteDepth: Digging into Fast and Accurate Depth Estimation on Mobile Devices
  • 2022.08.31 『计算机视觉』 Dual-Space NeRF: Learning Animatable Avatars and Scene Lighting in Separate Spaces

⚡ 论文：Prompt Tuning for Generative Multimodal Pretrained Models

论文时间：4 Aug 2022

领域任务：Image Captioning, Visual Entailment, 看图说话

论文地址：https://arxiv.org/abs/2208.02532

代码实现：https://github.com/ofa-sys/ofa

论文作者：Hao Yang, Junyang Lin, An Yang, Peng Wang, Chang Zhou, Hongxia Yang

论文简介：Prompt tuning has become a new paradigm for model tuning and it has demonstrated success in natural language pretraining and even vision pretraining./调优prompt已成为模型调优的新范式，它已在自然语言预训练甚至视觉预训练中显示出成功。

论文摘要：调优prompt已成为模型调优的新范式，它在自然语言预训练甚至视觉预训练中都表现出了成功。在这项工作中，我们探索了提示调谐向多模态预训练的转移，重点是生成性多模态预训练模型，而不是对比性模型。具体来说，我们在统一的序列到序列的预训练模型上实施提示调谐，以适应理解和生成任务。实验结果表明，轻量级的提示调谐可以达到与微调相当的性能，并且超过了其他轻量级的调谐方法。此外，与微调模型相比，提示性调谐模型对对抗性攻击表现出更好的鲁棒性。我们进一步发现，包括提示长度、提示深度和重新参数化在内的实验因素对模型性能有很大的影响，因此我们从经验上对提示调谐的设置提出了建议。尽管观察到了这些优点，我们仍然发现了提示调谐的一些局限性，并相应地指出了未来研究的方向。代码可在 https://github.com/OFA-Sys/OFA 获取。

⚡ 论文：LiteDepth: Digging into Fast and Accurate Depth Estimation on Mobile Devices

论文时间：2 Sep 2022

领域任务：Data Augmentation, Monocular Depth Estimation，数据增强

论文地址：https://arxiv.org/abs/2209.00961

代码实现：https://github.com/zhyever/litedepth

论文作者：Zhenyu Li, Zehui Chen, Jialei Xu, Xianming Liu, Junjun Jiang

论文简介：Notably, our solution named LiteDepth ranks 2nd in the MAI&AIM2022 Monocular Depth Estimation Challenge}, with a si-RMSE of 0. 311, an RMSE of 3. 79, and the inference time is 37 m s ms ms tested on the Raspberry Pi 4./值得注意的是，我们名为LiteDepth的解决方案在MAI&AIM2022单眼深度估计挑战赛}中排名第二，在Raspberry Pi 4上测试的si-RMSE为0.311，RMSE为3.79，推理时间为37ms。

论文摘要：单眼深度估计是计算机视觉界的一项重要任务。虽然很多成功的方法都取得了很好的效果，但它们中的大多数都是计算昂贵的，而且不适用于实时的设备推断。在本文中，我们的目标是解决单眼深度估计的更多实际应用，其中的解决方案不仅要考虑精度，还要考虑移动设备上的推理时间。为此，我们首先开发了一个基于端到端学习的模型，其权重大小很小（1.4MB），推理时间很短（在Raspberry Pi 4上为27FPS）。然后，我们提出了一个简单而有效的数据扩充策略，称为R2 crop，以提高模型的性能。此外，我们观察到，只用一个单一损失项训练的简单轻量级模型将遭受性能瓶颈。为了缓解这个问题，我们采用了多个损失项来在训练阶段提供足够的约束。此外，通过一个简单的动态再加权策略，我们可以避免耗时的损失项的超参数选择。最后，我们采用了结构感知的蒸馏法来进一步提高模型的性能。值得注意的是，我们名为LiteDepth的解决方案在MAI&AIM2022单眼深度估计挑战赛}中排名第二，si-RMSE为0.311，RMSE为3.79，在Raspberry Pi 4上测试的推理时间为37ms。值得注意的是，我们提供了该挑战的最快解决方案。代码和模型将在 https://github.com/zhyever/LiteDepth 上发布。

⚡ 论文：Dual-Space NeRF: Learning Animatable Avatars and Scene Lighting in Separate Spaces

论文时间：31 Aug 2022

领域任务：计算机视觉

论文地址：https://arxiv.org/abs/2208.14851

代码实现：https://github.com/zyhbili/Dual-Space-NeRF

论文作者：YiHao Zhi, Shenhan Qian, Xinhao Yan, Shenghua Gao

论文简介：Previous methods alleviate the inconsistency of lighting by learning a per-frame embedding, but this operation does not generalize to unseen poses./以前的方法通过学习每一帧的嵌入来缓解照明的不一致性，但这种操作并不能推广到未见过的姿势。

论文摘要：在一个典型的空间中对人体进行建模是捕捉和动画的一种常见做法。但当涉及到神经辐射场（NeRF）时，在典范空间中学习静态的NeRF是不够的，因为即使场景照明是恒定的，当人移动时，身体的照明也会发生变化。以前的方法通过学习每一帧的嵌入来缓解光照的不一致性，但这种操作并不能推广到未见过的姿势。鉴于照明条件在世界空间中是静态的，而人体在典型空间中是一致的，我们提出了一个双空间的NeRF，用两个MLPs在两个独立的空间中模拟场景照明和人体。为了连接这两个空间，以前的方法大多依靠线性混合蒙皮（LBS）算法。然而，动态神经场的LBS的混合权重是难以解决的，因此通常用另一个MLP来记忆，这对新的姿势没有通用性。虽然可以借用参数化网格的混合权重，如SMPL，但插值操作会引入更多的伪影。在本文中，我们建议使用巴里中心映射，它可以直接泛化到未见过的姿势，并且令人惊讶地取得了比使用神经混合权重的LBS更好的结果。在Human3.6M和ZJU-MoCap数据集上的定量和定性结果表明了我们方法的有效性。

我们是 ShowMeAI，致力于传播AI优质内容，分享行业解决方案，用知识加速每一次技术成长！

◉ 点击 日报合辑，在公众号内订阅话题 #ShowMeAI资讯日报，可接收每日最新推送。

◉ 点击 电子月刊，快速浏览月度合辑。

◉ 点击 这里 ，回复关键字 日报 免费获取AI电子月刊与论文 / 电子书等资料包。

收录于
ShowMeAI日报 ⛽ 用知识加速每一次技术进步

当前文章被收录于：

ShowMeAI日报 ⛽ 用知识加速每一次技术进步
373 篇文章 115 人学习

ShowMeAI带你一览领域发展前沿，抓住最新发展机会！📬 订阅专栏，第一时间接收推送。 🎡 关注 ShowMeAI，获取结构化成长路径和全套资料库，用知识加速每一次技术进步~

订阅专栏 查看详情
标签
#人工智能 #深度学习 #机器学习 #计算机视觉 #全栈深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
Transformer的优化算法与超参数调优 近年来，Transformer模型在自然语言处理领域取得了巨大成功，成为机器翻译、文本摘要、问答系统等任务的首选模型。Transformer模型的强大性能得益于其独特的自注意力机制和强大的特征提取能力。然而，训练一个高效的Transformer模型并非易事，需要选择合适的优化算法和进行精细的超参数调优。优化算法的选择和超参数的设置对模型的训练速度和最终性能至关重要。 阅读详情

相关推荐

自然语言处理之文本分类：Transformer模型的超参数调整

在机器学习和深度学习中，超参数是模型训练前需要手动设定的参数，它们不能通过训练过程自动学习。超参数的设定直接影响模型的训练过程和最终性能。例如，在Transformer模型中，超参数包括模型的维度、注意力头数、层数、学习率等。这些参数需要根据具体任务和数据集进行调整，以达到最佳的模型性能。在自然语言处理（NLP）中，文本分类任务是基础且重要的应用之一。Transformer模型，自2017年Google的研究者提出以来，因其在序列到序列任务上的卓越表现，迅速成为NLP领域的主流模型。

zhubeibei168的博客 880

Transformer模型中的超参数选择和调整有何经验？

Transformer模型作为一种强大的深度学习架构，其性能和效果受到超参数的选择和调整的影响。正确选择和调整超参数可以提升模型的性能和泛化能力，而错误的选择可能导致性能下降。本文将分享一些经验和策略，帮助您在使用Transformer模型时进行超参数的选择和调整。Transformer模型中的超参数选择和调整有何经验？第一部分：常见的Transformer模型超参数第二部分：超参数调整策略第三部分：经验和实践建议。

njhhuuuby的博客 8106

Transformer实战（25）——自动超参数优化提升Transformer模型性能

本文首先介绍了的超参数与训练中自动学习的参数之间的区别，并列举了常见的模型结构超参数和训练控制超参数。接着概述了超参数调优的三种策略：网格搜索、随机搜索和基于概率模型的贝叶斯优化。最后，以 Optuna 框架默认的 TPE 算法为例，演示了如何定义学习率和批大小的搜索空间、配置 Trainer 并调用 hyperparameter_search 执行超参数优化。

盼小辉丶的博客 3566

超详细Transformer 讲解

这篇文章分为以下几个部分 Transformer 直观认识 Positional Encoding Self Attention Mechanism 残差连接和 Layer Normalization Transformer Encoder 整体结构 Transformer Decoder 整体结构 总结 参考文章

qq_40550715的博客 4552

若依框架集成saToken

若依版本3.8.8，鉴权采用security框架，这种框架太重，项目中想实现对外提供接口功能。尽快减少修改原框架的逻辑基础上，采用satoken实现。

sccd2009的专栏 1483

shopee app算法分析第一篇

shopee app算法分析第一篇分析完整算法大概要好几篇,耐心等待下.国内只会发律师函,牛逼,一个律师套话,一个律师发函,大意了(警惕卡通律师头像),希望law可以保护好你,还是干国外好.

2533

【Transformer系列（5）】Transformer代码超详细解读（Pytorch）

手把手教你用pytorch代码实现transformer模型

路人贾的博客 1万+

HTTPDebugger实战：iTunes登录协议抓包与签名验证全解析

HTTPS抓包是分析客户端与服务端交互的重要手段，其原理是通过中间人证书解密TLS流量，从而观察请求与响应细节。在调试iTunes登录协议时，抓包能帮助我们定位签名验证失败、x-timestamp过期等棘手问题。然而，许多教程中常见的mumu模拟器抓包、fiddler手机抓包或charles抓包unknown问题，往往让新手陷入工具陷阱。本文以HTTPDebugger为切入点，从TLS握手到认证请求，系统拆解iTunes登录协议的关键字段与签名机制，覆盖证书配置、进程监听、域名过滤等实战经验，辅以Apple

weixin_30768881的博客 199

Transformer 之多头注意力

写在前边：学习 Transformer 的过程中，找到了博客中关于Transformer系统的介绍文章，感觉非常棒，于是进行了翻译。原文链接在文末。翻译主要采用 “DeepL+人工”的方式进行，并加入了一些自己的理解。

hellozhxy的博客 4119

S7-1200五轴伺服系统PLC控制方案与调试技巧

工业自动化领域中，多轴伺服控制是实现精密加工的核心技术。基于PROFINET实时通信协议和PLCopen运动控制标准，现代PLC（如西门子S7-1200）能够实现多轴高精度同步控制。其技术原理是通过等时同步模式确保各轴运动的时序一致性，结合PID调节和电子齿轮比实现位置闭环。这种方案在数控机床、3D打印等场景具有重要应用价值。本文以五轴联动系统为例，详细解析了S7-1200与V90伺服驱动器的硬件组态方案，包括PROFINET环网配置和IRT同步设置。在软件层面，重点介绍了基于TIA Portal的工艺对象

weixin_34332905的博客 417

【Unity Animation 2D】从零到一：骨骼绑定与IK动画实战指南

本文详细介绍了Unity中2D骨骼绑定与IK动画的实战流程，从角色素材准备、骨骼系统创建到权重绘制和IK设置，逐步指导开发者掌握2D动画制作技巧。通过反向动力学（IK）技术，实现更自然的角色动画效果，适用于游戏开发和动画制作。

weixin_30430677的博客 372

分享：Motionity-开源的Web端动画编辑器

Motionity是一个免费且开源的Web端动画编辑器，它结合了After Effects和Canva的优点，为用户提供了强大的动画编辑功能。支持视频剪切、图像搜索过滤、文本动画库、图层蒙版等功能。

sheji888的专栏 2487

Modbus协议全家桶（C#纯原生完整版）：ModbusRTU + ModbusTCP + ModbusASCII 协议规范+完整封装+工业级实战

你已经掌握了C#串口/网口原生核心API和工业通信协议本质，而今天的主角Modbus协议，是工业通信领域绝对的王者、通用的标准、入门的必修课，没有之一。凡是做工业通信开发，必会Modbus协议；市面上99%的工业设备（PLC、变频器、温控仪、传感器、流量计、扫码枪）都原生支持Modbus协议。Modbus协议不是单一协议，而是一个「协议家族」，我们常说的就是这个家族的三大核心成员，也是工业现场的全部Modbus应用形态。

这里只有干货：从 Modbus 通信到 MES 对接，从 YOLO 训练到工控机部署，带你搞定工业软件开发全流程。 566

python制作天气预报软件（UI界面）

接上一篇博客： 三.天气数据爬取（保存至本地excel表格中） 要实现断网也可查询天气数据，思路： 1.现在写一个爬虫 把所有城市的所需要的数据爬下来 存到文件（excel首选） 存储的字段是 城市 日期 跟详情 2.给爬虫加一个定时任务 （每天一次爬取到文件） 3.修改查询代码 每次查询根据 日期+城市 唯一性去文件里面查。然后取出详情 展示到页面 上代码： # coding=gbk impor...

Henry41132220011的博客 5411

如何设置反馈点

前面的POWER DC仿真都是忽略反馈线进行的仿真，如果单板压降不过，电源会自动调整输出电压，来满足负载的得到额定的电压.可以看到因为设置了反馈点，源端电压就被抬高到满足压降的值了。仿真上也可以自己添加反馈点，以得到抬高后的电源输出电压值。同样以下图的CPU的Core电源为例。按照流程正常设置好参数。

weixin_54787054的博客 1148

会计引擎：交易与核算分离的前世今生

一、为什么需要会计引擎 金融产品的设计，一如一块硬币需要兼顾两面：一面是为客户提供好的金融服务，满足客户支付结算、借贷、资产保值增值等方面的需求，并在这个过程中，以数字化的方式做好客户资产的登记，登记的载体，则是“分户”或“台账”，如客户存款户，是一种典型的分户--资金的增减变化都在一个账户中进行体现，而客户购买的银行理财，因为收益率、期限、投资标的不同，每一笔持有就形成一行记录，即为“台账”--这当然是不严谨但相对形象的表述。但是，“分户”和“台账”并没有必然的区别，以贷款为例，一些银行仍然存在所谓“

银行信息系统应用架构详解 986

PyDeepFakeDet 复现 Kaggle数据集

本项目是Windows 上的3060训练以及测试代码，暂无验证数据集。

m0_73720445的博客 374

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

github资源收藏地

不定期更新，收集整理的github资源，有关CV各个方向（异常检测、语义分割、医学图像、Transformer、attention、yolo系列）、算法、就业、论文、cv资源、摄影。

m0_61899108的博客 3551

C# WinForm 基于DirectShow.dll编写的程序，可边预览边保存视频，音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择（默认选中第一个）2.可录制wmv和avi两种格式的视频并且都带有音频，avi可以录制的分辨率和帧数进行选择，wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照，也可边录制视频边拍照4.添加了视频和音频的压缩功能（酌情使用）这次二次开发发现C#对DirectShow的相关信息太少，这次做完也不敢藏私共享出来，还望大家指正

温度PID控制PLC程序

温度PID稳定控制程序，适用于欧姆龙PLC，对其他PLC也具有很大参考价值

10分钟带你深入理解Transformer原理及实现

点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达 本文转自|深度学习这件小事基于 Transformer《Attention Is All You ...

小白学视觉 3399

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox（带书签），MATLAB统计学习工具

Motionity 开源项目教程

--- ## 项目介绍 Motionity 是一个由 alyssaxuu 开发的开源项目，专注于提供高效且直观的动画控制解决方案。该项目旨在简化前端开发者在网页或应用中实施复杂动画的过程，支持灵活的动画编排和实时预览功能，提升了开发效率和创意实现的可能性。通过 Motionity，用户能够轻松创建流畅的过渡效果和交互动作，增强用户体验。 ## 项目快速启动 要开始使用 Motionity，...

gitblog_00078的博客 453

Motionity开源项目安装与使用指南

--- ## 一、项目目录结构及介绍 Motionity项目基于GitHub仓库`https://github.com/alyssaxuu/motionity.git`，其组织结构严谨，旨在提供流畅的运动控制体验。下面是主要的目录结构及简要介绍： ``` motionity/ ├── src # 源代码主目录 │ ├── app.js ...

gitblog_00177的博客 395

transformer

翻译自 https://jalammar.github.io/illustrated-transformer/ Transformer模型结构 Transformer的主体结构图： 编码器解码器 模型分为编码器和解码器两个部分。 编码器由6个相同的层堆叠在一起，每一层又有两个支层。第一个支层是一个多头的自注意机制，第二个支层是一个简单的全连接前馈网络。在两个支层外面都添加了一个r...

小岁月太着急 7731

Learn NLP with Transformer (Chapter 7)

7. 文本分类 Task07 文本分类 本次学习参照Datawhale开源学习：https://github.com/datawhalechina/learn-nlp-with-transformers 内容大体源自原文，结合自己学习思路有所调整。 本章节主要内容包含三部分内容： pipeline工具演示NLP任务处理 构建Trainer微调模型 文本分类、超参数搜索任务 7.1. 简介 本章节将使用 Hugging Face 生态系统中的库——Transformers来进行自然语言处理工作(NLP)

weixin_45397053的博客 2388

动画与交互的未来：探索Motionity

是一个创新的项目，它将动画设计和编程无缝融合，为开发者和设计师提供了全新的交互式动画工具。通过简单易用的API，你可以创建出动态、丰富的用户界面，提升应用程序的用户体验。 ## 技术分析 Motionity的核心是基于WebGL和Three.js库构建的，这使得它在浏览器环境中运行得非常流畅，并且支持3D渲染。它使用JavaScript作为主要的编程语言，对于熟悉前端开发的程序员来说，上手非常...

gitblog_00038的博客 446

Motionity：免费Web动效编辑器入门指南，10分钟创建首个动画

Motionity是一款面向所有人的免费Web动效编辑器，无需安装即可在浏览器中轻松创建专业级动画。本文将带你快速掌握这款强大工具的核心功能，即使是设计新手也能在10分钟内完成第一个动画作品。 ## 为什么选择Motionity？ 作为一款基于Web的动效编辑工具，Motionity彻底打破了传统动画制作软件的复杂门槛。它无需安装庞大的客户端，只需打开浏览器就能开始创作，完美兼容各种设备。无论

gitblog_02536的博客 435

一文详解Transformers的性能优化的8种方法

前言自BERT出现以来，nlp领域已经进入了大模型的时代，大模型虽然效果好，但是毕竟不是人人都有着丰富的GPU资源，在训练时往往就捉襟见肘，出现显存out of memory的问题，或者训练时间非常非常的久，因此，这篇文章主要解决的问题就是如何在GPU资源受限的情况下训练transformers库上面的大模型。这篇文章源自Vadim Irtlach大佬在kaggle的开源notebook，感谢原作...

zenRRan的博客 7038
上一篇： 『华强买瓜』奇袭好莱坞！Jupyter也能创建可交互仪表板啦！超全面的英语论文写作套路；神经辐射场NeRF工具包；前沿论文 | ShowMeAI资讯日报
下一篇： 森林野火故事2.0：一眼看穿！使用 Panel和hvPlot可视化
点赞 1
评论 0
书签 书签 6
ShowMeAI
ShowMeAI
博客等级 码龄5年 6514粉丝 672原创
+ 关注 专栏目录 订阅专栏
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ShowMeAI

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值