国产光芯片重大突破!清华团队利用神经网络,首创全前向智能光计算训练架构

光学神经网络 Optical neural network 之前有个博士的课程需要写一个文献综述,于是选了个现在比较热门的话题“光学神经网络ONN”,和大家分享一下。 光学神经网络(Optical neural network, ONN)能有效减轻软件和电子硬件两者的部分运算,为替代人工神经网络提供了一种具有前景的方法。人工神经网络中耗能和耗时最多的部分是密集矩阵乘法。但在光学神经网络中,矩阵乘法可以在光速下执行。人工神经网络中的非线性在光学神经网络中也可以通过非线性光学元件实现。并且,一旦光学神经网络训练完成,这个结构可以在无额外能量输入的情况下执行光信号计算。此 阅读详情

自 2012 年以来,人工智能模型训练算力需求每 3-4 个月翻一番,每年人工智能训练模型所需算力增长幅度高达 10 倍。这就带来了一个挑战:我们如何让 AI 更快、更高效?答案可能就藏在光的世界里。

光学计算, 一个充满潜力的领域,主张利用光的速度和特性将机器学习应用的速度和能效提升到新的高度。但是,要实现这一目标,我们必须解决一个难题:如何有效地训练这些光学模型。过去,人们依赖于数字计算机来模拟和训练光学系统,但受限于光学系统所需的精确模型和大量的训练数据,这使得光学系统的能力受到了极大的限制。而且,随着系统复杂性的增加,这些模型的建立和维护变得越来越困难。

近期,清华大学戴琼海院士、方璐教授研究团队抓住了光子传播具有对称性这一特性,将神经网络训练中的前向与反向传播都等效为光的前向传播,开发出了一种全前向模式 (FFM, fully forward mode) 学习的方法。 通过 FFM 学习,研究人员不仅能够训练出具有数百万参数的深层光学神经网络 (ONNs),还能实现超敏感的感知和高效率的全光学处理,从而减轻了 AI 对光学系统建模的限制。

该研究以「Fully forward mode training for optical neural networks」为题,成功登上顶级期刊 Nature。

研究亮点:

  • 实现了在现场高效地并行进行机器学习操作,减轻了数值建模的限制

  • 推出了对于给定网络规模具有最先进性能的光学系统,FFM 学习也表明,训练具有数百万参数的最深光学神经网络可达到与理想模型相当的精度

  • FFM 学习不仅促进了快几个数量级的学习过程,还可以推动深度学习神经网络、超灵敏感知和拓扑光子学等领域的发展

在这里插入图片描述

论文地址:

https://doi.org/10.1038/s41586-024-07687-4

开源项目「awesome-ai4s」汇集了百余篇 AI4S 论文解读,并提供海量数据集与工具:

https://github.com/hyperai/awesome-ai4s

7 大数据集汇聚,在多层分类实验中创建相位设置为零的输入复场

该研究共使用了 7 种数据集,在多层分类实验中,每个样本均被用于创建相位设置为零的输入复场 (input complex field):

MNIST 数据集。 该数据集是一个包含 10 个类别的手写数字集合,由 6 万个训练样本和 1 万个测试样本组成。

Fashion-MNIST 数据集。 该数据集包含 10 个不同类别的时尚产品,同样由一个 6 万个样本的训练集和一个 1 万个样本的测试集组成。

CIFAR-10 数据集。 该数据集是 8 千万小图像数据集的一个子集,包含 5 万个训练图像和 1 万个测试图像。

ImageNet 数据集。 该数据集是一个由 WordNet 层次结构组成的图像数据库,在该层次结构中,每个节点由成百上千张图像描绘,总共有 1.2 亿张用于训练的图像和 5 万张用于测试的图像。

MWD 数据集。 该数据集包含 4 种不同户外场景(日出、晴天、下雨和多云)的天气状况图像。它总共包含 1,125 个样本,其中 800 个用于训练,325 个用于测试。

鸢尾花数据集。 该数据集由 3 种鸢尾花物种组成,每个物种有 50 个样本。数据集中的每个原始样本包含四个描述鸢尾花形状的条目。在 PIC 实验中,每个条目都被复制以创建四个相同的数据点,最后产生总共 16 通道的输入数据。

Chromium target 数据集。 该数据集由带有不同区域(反射区和半透明区)的玻璃铬板组成。反射区代表物理场景本身(字母目标 T、H 和 U),在训练过程中,使用单个反射区,并在同一平面内移动以产生 9 个不同的训练场景。

光学系统进行重新参数化,构建可微嵌入式光子神经网络 FFM

传统意义上,光学相关的人工智能都是通过离线建模和优化进行设计的,如下图 a 所示,这会导致设计效率和系统性能有限。不仅如此,一般的光学系统为了实现各种功能,会根据根据折射率的可调谐特性 (tunability),将光学系统分为调制区 (modulation regions,深绿色) 和传播区 (propagation regions,浅绿色) 两个不同的区域, 如下图 b 所示。

在这里插入图片描述

传统光学系统的设计图示

该研究发现,由麦克斯韦方程组控制的光学系统可以被重新参数化为可微嵌入式光子神经网络,且神经网络的梯度下降训练一直是推动其发展的关键因素。因此,该研究对于 FFM 的机器学习原理构建下图 c 所示, 由于光学系统中的部分区域可以映射到神经网络中与神经元连接,从而可以在输入和输出之间构建一个可微分的现场神经网络 (onsite neural network)。

在这里插入图片描述

FFM 的机器学习原理

紧接着,该研究利用空间对称互易性,数据和误差计算共享前向物理传播和测量,并且计算现场梯度 (onsite gradients) 以更新设计区域 (图 c 右上及左下区域) 的折射率。通过现场梯度下降,光学系统逐渐收敛 (图 c 右下区域)。

训练可用于对象分类的单层光神经网络,FFM 学习可达到与理想模型相当的精度

为了展示 FFM 学习的有效性,该研究首先使用基准数据集训练了一个用于对象分类的单层光神经网络,然后在下图 a 中展示了使用 FFM 学习的深度自由空间中光神经网络的自训练过程,并在下图 b 中可视化了其在 MNIST 数据集上的训练结果。

在这里插入图片描述

单层光神经网络训练图解

如下图 c 所示,实验光场和理论光场之间的结构相似性指数 (SSIM) 超过 0.97, 这表明相似性水平很高。而在下图 d 中,该研究进一步分析了多层光神经网络用于 Fashion-MNIST 数据集的分类。通过将层数从 2 逐步增加到 8,该研究发现利用 FFM 学习,神经网络性能可提高到 86.5%、91.0%、92.3% 和 92.5%,接近理论上的计算机模拟准确率。

在这里插入图片描述

多层光神经网络的训练结果

基于上述结果,该研究进一步提出非线性 FFM 学习,如下图 f 所示。在数据传播过程中,输出在进入下一层之前均进行了非线性激活,从而可记录非线性激活的输入并计算相关梯度。由于只需要前向传播,FFM 所提出的非线性训练范例适用于一般可测量的非线性函数,因此适用于光电和全光非线性光神经网络。不仅如此,非线性光神经网络的分类准确率从 90.4% 提高到 93.0%, 如下图 g 所示。

在这里插入图片描述

非线性 FFM 学习的训练结果

FFM 学习简化了复杂光子系统的设计,可实现全光现场重建和动态隐藏物体的分析

该研究还发现,FFM 学习克服了离线数值建模施加的限制,并简化了复杂光子系统的设计。 例如,该研究在下图 a, b 中分别展示了点扫描散射成像系统,以及利用粒子群优化 (PSO) 分析各种先进的优化方法。结果显示,基于梯度的 FFM 学习显示出更高的效率,在两个实验中经过 25 次设计迭代后收敛,在两种散射类型中的收敛损失值分别为 1.84 和 2.07。相比之下,PSO 方法至少需要 400 次设计迭代才能收敛,最终损失值为 2.01 和 2.15。

在这里插入图片描述

图示点扫描散射成像系统与优化方法比较

如下图 c 所示,该研究分析了 FFM 自设计的演变,显示出最初随机分布的强度轮廓逐渐收敛到一个紧密的点。在下图 d 中,该研究进一步比较了使用 FFM 和 PSO 优化焦点的半高全宽 (FWHM) 和峰值信噪比 (PSNR) 指标。在使用 FFM 的情况下,平均 FWHM 为 81.2 微米,平均 PSNR 为 8.46 分贝。

在这里插入图片描述

FFM 自设计演变分析与 PSO 优化焦点对比

该研究还发现,现场 FFM 学习为设计非常规成像模式提供了一个有价值的工具,特别是在无法精确建模的情况下, 如非视距任务 (NLOS) 等场景。如下图 a 所示,FFM 学习实现了全光现场重建和动态隐藏物体的分析。下图 b 则展示了 NLOS 成像。FFM 设计的波前恢复了所有 3 个字母的形状,每个目标的结构相似性指数达到 1.0。

在这里插入图片描述

非常规成像模式与 NLOS 成像图示

除了动态成像能力外,FFM 学习方法还允许对 NLOS 区域中的隐藏物体进行全光学分类。该研究比较了 FFM 与人工神经网络 (ANN) 的分类性能。结果如下图 c 所示,在有足够光子的情况下,FFM 和 ANN 具有相似的性能,但 FFM 仅需要更少的光子进行准确分类。

在这里插入图片描述

FFM 与 ANN 的分类性能比较

FFM 学习可扩展到集成光子系统的自设计,模拟需要大约 100 个周期才能收敛

该研究发现,FFM 学习方法可扩展到集成光子系统的自设计。如下图 a 所示,该研究使用串联和并联连接而成的对称光子核组成的集成神经网络来实现 FFM 学习。结果显示,矩阵的对称性允许误差传播矩阵和数据传播矩阵具有等效性。

在这里插入图片描述

FFM 在集成光子系统的扩展

下图 e 对整个神经网络的误差进行了可视化。结果显示,在第 80 次迭代时,FFM 学习显示出比计算机模拟训练更低的梯度误差。

在这里插入图片描述

神经网络误差的可视化

而在设计精度的演变中,如下图 f 所示,理想模拟和 FFM 实验都需要大约 100 个周期才能收敛,但 FFM 方法的精度最优。

在这里插入图片描述

理想模拟与 FFM 的设计精度对比

智能光计算产业链已经逐步成熟,或将站上新时代风口

值得一提的是,基于本篇论文的研究成果,研究团队推出了「太极-II」光训练芯片。 「太极-II」的研发距离上一代「太极」仅过了 4 个月,相关成果也登上了 Science。论文的实验结果显示,「太极」的能效是英伟达 H100 的 1,000 倍。 这种强大的计算能力正是基于研究团队首创的分布式广度智能光计算架构。
论文链接:

https://www.science.org/doi/10.1126/science.adl1203

借由太极系列新产品的推出,智能光计算再次在引爆业内。 但在现实层面来看,无论是物理硬件,还是软件开发,亦或者应用方面,智能光计算都还需要进一步优化与探索。事实上,智能光计算的研究体系已经日臻成熟,北京大学、浙江大学、华中科技大学等多家院所高校均涉足其中,相关学术交流也日益频繁。但在具体的应用方向,不同高校领军人物为代表的研究团队各有侧重。例如:

清华大学戴琼海院士团队: 该团队正是本篇论文的作者,他们所研发的下一代 AI 光电融合芯片,已经完成了在智能图像识别、交通场景、人脸唤醒等应用场景的实验。据报道,相同准确率下,该团队的研究成果比现有 GPU 算力提升 3 千倍,能效提高 400 万倍,有望颠覆自动驾驶、机器人视觉、移动设备等领域的传统计算思路。

华中科技大学董建绩团队: 该团队研发的光电混合芯片,完成了人类表情识别的应用。

上海交通大学徐绍夫团队: 该团队研发的系列光电融合芯片,完成了人工智能、信号处理等方面的应用,完成了医学图像重构等方面的计算实验。

可喜的是,在研究人员的不懈努力下,我国的智能光计算芯片的进度已经与国外基本基本持平。过去 5 年间,全球范围内布局光计算的公司从零星几家,迅速增加到了数十家。在国外,最具代表性的是致力于打造全球首屈一指人工智能超级计算机的 Luminous Computing,以及用光子技术提升 AI 和高性能计算工作负载的性能和节能水平的 Lightmatter,这两家公司也均已获得超过 1 亿美元的融资。

在国内,以曦智科技、光子算数为代表的企业也已经加入国际光计算产业竞争领域。 这些初创公司都以光计算为核心,主打基于光芯片的光计算加速器,并配套开展软件、系统、原理机的研制与开发。总之,我国的光计算产业链已经逐步成熟,相关的产学研体系已经有效运转并高效落地。我们也期待,在这个新时代的风口,智能光计算能够为数字经济与新质生产力的发展提供澎湃动能。

Nature+Science=ONNs(光学神经网络) 这项研究的核心是全前向智能光计算训练架构,以及“太极-II”光训练芯片的研制,这使得大规模神经网络的高效精准训练成为可能,同时摆脱了原有光计算系统对GPU离线建模的依赖。前向训练:实验展示了这种完全集成的相干光学神经网络架构,用于具有六个神经元和三层的深度神经网络,能够以410皮秒的延迟光学计算线性和非线性函数。原位反向传播:实验性地训练了一个三层四端口的硅光子神经网络,使用“原位反向传播”方法,通过光干涉测量前向和反向传播光的相位偏移电压梯度。 阅读详情

相关推荐

光学神经网络:原理、实现与图像识别应用

光学神经网络(PNN)是一种融合光学计算与深度学习的新型架构,其核心原理是利用光学元件实现非线性变换。通过空间光调制器(SLM)进行输入编码,配合透镜组和散射表面构成的光学变换层,系统能够以超低功耗完成高并行计算。从数学角度看,PNN的通用逼近能力源于其对多元多项式的逼近特性,这通过精心设计的系统矩阵S和反馈机制实现。在图像识别等计算机视觉任务中,PNN展现出显著优势,特别是在处理MNIST等数据集时,其准确率可达98%以上。关键技术包括相位调制、线性重组等光学处理方法,这些方法为构建高效能的光学计算系统提

weixin_33304686的博客 278

清华最新AI工作登上Nature!光神经网络训练!戴琼海院士、方璐教授领衔

点击下方卡片,关注“CVer”公众号AI/CV重磅干货,第一时间送达点击进入—>【Mamba/多模态/扩散】交流群添加微信号:CVer111,小助手会拉你进群!扫描下方二维码,加入CVer学术星球!可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料,及最前沿应用!发论文/搞科研/涨薪,强烈推荐!转载自:机器之心在刚刚过去的一天,来自清华的光电智能技术交叉创新团队突破智能光计算训练难...

阿木寺的博客 1147

概念解析 | 光电神经网络:optoelectronic neural network

据估计,如果能实现大规模的光电神经网络,其计算效率可能比传统的电子神经网络高出几个数量级。随着科技的发展,我们期待在未来看到这种新型计算平台的成熟和普及。不仅如此,光电神经网络的发展还可能推动光学和电子学领域的交叉融合,开启新的科研领域。然而,这种技术的计算需求是巨大的,既需要大量的电力,也需要大量的硬件资源。光电神经网络的工作原理是将神经网络的权重编码为光路中的不同阻力,而神经元的激活函数则通过非线性光学效应来实现。是一种新兴的计算平台,它利用光子(而不是传统的电子)来执行神经网络的操作。

NLOS的博客 1714

光神经网络ONN:直接对光信号进行神经网络处理

ONN 在神经网络中引入光学技术

ZILLIZ 1828

告别繁琐同步:Zotero与Obsidian双向联动新方案(基于Better BibTeX与MarkDBConnect)

本文详细介绍了一套基于Better BibTeX、Bibnotes Formatter和MarkDBConnect插件的Zotero与Obsidian双向联动方案。该方案通过建立智能数据通道,实现文献信息的自动同步与笔记的增量更新,解决了手动同步的繁琐问题,并支持在两大工具间无缝跳转,极大提升了科研和知识管理的工作效率。

weixin_29213827的博客 646

通用定时器脉冲计数实验(STM32CubeMx配置)

通用定时器脉冲计数实验

a1169511636的博客 5510

登上Nature!清华大学:光学神经网络

【光学神经网络训练方法新突破】清华大学团队在《Nature》发表创新成果,提出全前向模式(FFM)训练方法,突破传统数字模拟限制。该方法直接在物理光学系统中执行训练,解决了反向传播算法无法应用的问题,实现数百万参数深度网络的训练,并在散射成像、非视距成像等场景取得突破性进展,达到亚光子级能效(5.4×10¹⁸次操作/秒)。研究团队还开源了4种前沿光学神经网络方案,包括: Netcast架构:实现86公里光纤链路上的分布式光子推理(98.8%准确率) 原位反向传播PNN:首次实验验证光子硬件反向传播(>

2501_92971633的博客 1105

Windows 11安装realtek audio control

Windows 11安装realtek audio control,解决无法链接RPC问题

m0_46144825的博客 8万+

国产光芯片重大突破!清华团队利用神经网络,首创全前向智能光计算训练架构...

自 2012 年以来,人工智能模型训练算力需求每 3-4 个月翻一番,每年人工智能训练模型所需算力增长幅度高达 10 倍。这就带来了一个挑战:我们如何让 AI 更快、更高效?答案可能就藏在光的世界里。 光学计算, 一个充满潜力的领域,主张利用光的速度和特性将机器学习应用的速度和能效提升到新的高度。但是,要实现这一目标,我们...

weixin_40660062的博客 818

【自动驾驶】汽车智能驾驶计算芯片

本文介绍汽车智能驾驶计算芯片的软硬件要求、 可靠性和安全性要求、 性能要求,和相应的试验方法。除了用于汽车智能驾驶, 其他领域的计算芯片可参照执行。

Mr.Cssust的博客 2633

统信UOS上Qt5.12.8离线安装保姆级教程(避坑网络登录与GCC选择)

本文提供统信UOS系统下Qt5.12.8离线安装的完整教程,涵盖环境准备、安装步骤、常见问题解决及开发优化建议。特别针对无网络环境下的登录验证跳过、GCC版本匹配等关键问题提供解决方案,帮助开发者快速搭建稳定的Qt开发环境。

weixin_30666401的博客 464

突破Transformer十年瓶颈!中国团队重写大模型底层架构

导读:从2017年谷歌发布那篇《Attention is All You Need》开始,Transformer就像一台V8发动机,带着AI行业狂飙了整整八年。但今天,这台发动机开始"发烧"了——显存爆炸、算力黑洞、长文本处理能力到达天花板。就在硅谷还在给这台老发动机做"改装"时,中国团队直接掀翻了桌子:我们不修发动机了,我们要换一台!2017年,Transformer诞生于谷歌,中国AI开始了八年的"跟跑"——我们搭积木、调参数、堆数据,把Transformer玩出了花,但底层始终是谷歌定义的范式。

HHX_01的博客 591

Solidworks曲面建模学习(三)——样条曲线

本文主要演示平面的空间样条曲线的一些绘制。

东东不熬夜的博客 6508

[AI资讯·0609] SamAltman建立了庞大投资帝国,通义千问Qwen2发布即爆火,OpenAI泄密者公布165页文件,奥特曼百万年薪挖角谷歌TPU人才……

SamAltman建立了庞大投资帝国,但不持OpenAI股票;个人资产包括房产和多家公司股权。他曾在YCombinator担任总裁,并投资40家公司,有五家估值增长100倍以上。尽管他不参与OpenAI决策,但其利益与公司业务存在复杂关系,引发监督和透明度争议……

老牛啊 1334

华为使用MicroG安装并使用Google服务教程

鉴于众多华为手机用户因无法使用Google服务而感到不便,我经过多次摸索和测试,总结了一份简单易懂的教程,希望能够帮助到大家。无论是需要使用Google Play商店下载应用,还是需要使用Google服务进行工作和学习,本文将详细介绍如何在华为手机上安装并使用Google服务。二、前置条件软件要求:Aurora Store(替代Google Play商店)、MicroG Companion、MicroG Server(替代Google框架)

weixin_41926602的博客 3万+

手把手教你在ARM64架构下编译和部署Milvus:从环境搭建到Docker镜像制作全攻略

本文详细介绍了如何在ARM64架构下编译和部署Milvus,包括环境搭建、源码下载与编译、Docker镜像制作等关键步骤。通过本文的方法,您可以快速构建适用于ARM64设备的Milvus编译环境,并解决常见的编译错误。同时,还提供了基于Docker Compose的测试方法,帮助用户高效地完成向量数据库的部署与应用。这是一次深入探索开源AI工具的实用指南,为开发者在多种硬件架构上的创新应用提供了强有力的支持。

小盒子的博客 1268

51c大模型~合集111

OpenAI 的某发言人表示:「为了提高清晰度和安全性,我们增加了一个额外的后处理步骤,其中模型会审查原始的思维链,删除任何不安全的内容,然后简化某些复杂的思维。可以看到,虽然 ChatGPT 确实完成了任务并展示了总结版的思维链,但似乎并未如 OpenAI 发言人说的那样给出与提示词语言同样语言的总结版。北大-灵初联合实验室表示,Align-DS-V的多模态强推理能力是VLA模型大脑端的核心,接下来的研究训练计划,是利用多模态推理模型的跨模态穿透能力,实现action穿透,最终实现真正高效的VLA模型。

whaosoft~aiotの开发板商城 2320

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

【免费下载】 光学神经网络(Optical Neural Network)实战指南

--- ## 项目介绍 光学神经网络(Optical Neural Networks, ONNs)是一种利用光物理特性进行计算的先进人工神经网络架构,旨在通过光的干涉、衍射等现象加速神经网络的运算过程,提高效率并降低能耗。本项目由Haoyun Liang维护,位于[GitHub](https://github.com/haoyunliang/Optical-Neural-Network.git...

gitblog_00814的博客 1673

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

光学神经网络(Optical Neural Networks,ONNs)

光学神经网络是一种利用光学器件来模拟和实现神经网络推理功能的计算模型。

2401_87632893的博客 883

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

关于「光学神经网络」的一切:理论、应用与发展

在电场作用下,沿平行和垂直于电场方向的偏振光波的折射率n//和n⊥在介质中会发生不同的变化,它们之间的差值Δn与电场的二次方幂成正比,从而产生诱导双折射。目前已经出现了石墨烯、PCM、EIT等优秀的非线性激活剂,但在光域实现非线性功能还面临着巨大的挑战:首先,光非线性相对较弱,其产生一般需要很高的光功率,大大增加了能耗。未来,我们可以尝试实现这种光学衍射神经网络,并加入非线性工作,比如使用光折射晶体和磁光陷阱等非线性光学介质,或者使用现有的已经研究过的非线性激活函数,通过实验来弥补它的缺失。

QUANTUM_CHINA的博客 5622

无痛涨点!光学神经网络才是天降紫微星!

AI科研灵感致力于成为您在人工智能领域的领航者,定期更新人工智能领域的重大新闻与最新动态,和您一起探索AI的无限可能。立即关注我们,开启您的AI学习之旅!

Aimoxin111的博客 1775

个人学习记录:多尺度衍射U-Net:采用采样和跳过连接建模的鲁棒全光深度学习框架

衍射深度神经网络作为一种全光学学习框架,在运行速度、数据吞吐量和能耗方面具有很大的潜力。网络的深度和层间的错位是制约其进一步发展的两个问题。本文提出了一种基于多尺度特征融合的鲁棒全光网络框架(多尺度衍射U-Net, MDUNet)。通过引入采样和跳过连接,可以显著提高网络的深度扩展和对齐鲁棒性。

Elvisfall的博客 1943

AI大模型落地应用场景:LLM训练性能基准测试

训练性能在本文指机器(GPU、NPU或其他平台)在指定模型和输入数据的背景下,完成一次端到端训练所需要花费的时间,考虑到不同模型的训练数据量和训练轮次(epoch)差异,此处定义的性能是在完成一个batch训练所需花费的时间。而端到端通常是指完成一个AI模型单步训练的过程。也就是说,本文所讨论的性能的衡量和性能的优化,都是站在模型角度上。单batch总时间 = 数据加载时间 + 模型前反向时间 + 优化器时间 + 模型后处理时间 + 通信时间 + 调度时间数据加载时间。

m0_63171455的博客 3384

光学神经网络:进展与挑战(Optical Neural Networks: Progress and Challenges)

本文综述了光学神经网络(ONNs)的研究进展与挑战。随着人工智能发展面临传统电子计算的物理极限,ONNs凭借光计算在速度、能耗和并行性方面的优势成为新兴计算范式。文章系统介绍了ONNs的设计原理,包括基于衍射元件、4f系统和MZI网格等光学实现方法,并对比分析了非集成式(体光学)和集成式(片上)ONNs的特点。研究表明,ONNs在计算密度、非线性激活和可扩展性等方面仍面临挑战,但通过光电融合架构和新型材料有望突破瓶颈。未来ONNs将在保持低功耗优势的同时,向更高计算性能和实用化方向发展。

超级学长(博士研究生) 607

突破算力瓶颈:光学神经网络从原理到实践的全新探索(2024最新框架)

光学神经网络(Optical Neural Networks, ONNs)是一种利用光子传播特性实现神经网络计算的创新架构。不同于传统电子计算依赖电荷流动,ONNs通过模拟光的干涉、衍射和偏振等物理现象完成矩阵运算,将复杂的数学模型映射到微观光学系统中。这种"以光代电"的计算范式,正在重新定义人工智能的硬件基础。 光学神经网络架构 *图1:光学神经网络基本架构示意图(alt:光子计算 神经网络加

gitblog_01156的博客 551

【光学神经网络】探索未来计算的革新之路

【光学神经网络】探索未来计算的革新之路 光学神经网络,一个基于PyTorch平台的创新实现,正悄然打开人工智能与光学结合的新篇章。本文将带你深入了解这一融合了深度学习与光学原理的前沿项目——Optical-Neural-Network,揭示它如何通过模拟光的衍射特性,挑战并重构我们对机器学习的传统认知。 项目介绍 Optical- Neural-Network 是一项大胆尝试,旨在再现论文《全光学...

gitblog_01146的博客 572
上一篇: Llama 3.1中文微调数据集已上线,超大模型一键部署
下一篇: 开营啦!| 上海交通大学 AI for Bioengineering 暑期学校开营仪式圆满举行!
HyperAI超神经
博客等级 码龄7年 8873粉丝 1753原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值