如何计算一个神经网络模型的时间复杂度

最新推荐文章于 2024-08-19 20:13:56 发布

Jnchin

最新推荐文章于 2024-08-19 20:13:56 发布

阅读量4.3k

点赞数 6

分类专栏：深度学习人工智能

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.youkuaiyun.com/qq_38237214/article/details/119750561

版权

神经网络深度学习

深度学习同时被 2 个专栏收录

6 篇文章

订阅专栏

5 篇文章

订阅专栏

在计算机中，加法运算比乘法运算快很多，所以在估计计算量的时候我们主要计算要做多少次乘法。

在神经网络中，主要的运算是矩阵乘法。矩阵乘法的计算量是这样计算的：

一个 $a\times b$ 的矩阵乘以一个 $b\times c$ 的矩阵要做 $abc$ 次乘法，所以 $abc$ 就是两个矩阵相乘的计算量了。若 $a$ 为主导变量，则其复杂度为 $O(a)$ ；同理，若 $b$ 为主导变量，则其复杂度为 $O(b)$ 。

这就是我们计算神经网络复杂度的依据。

【举个例子】

计算某两层网络 $h(x)=max(0,xW_1+b_1)W_2+b_2$ 的复杂度？

假设矩阵 $x$ 是 $n\times d$ 的， $W_1$ 是 $d\times 4d$ 的， $W_2$ 是 $4d\times d$ 的。

所以第一层是 $n\times d$ 的矩阵乘以 $d\times 4d$ 的矩阵，得到一个 $n\times 4d$ 的矩阵，计算量为 $n\times d\times 4d$ ；第二层就是 $n\times 4d$ 的矩阵乘以 $4d\times d$ 的矩阵，得到一个 $n\times d$ 的矩阵，计算量为 $n\times 4d\times d$ 。（其中激活函数和加法运算的计算量忽略不计）

所以总的计算量是：

$n\times d\times 4d+n\times 4d\times d=8nd^{2}$

若n足够大，其复杂度为 $O(n)$ ，若d足够大，则复杂度为 $O(d^{2})$ 。

【参考文章】

《如何计算算法的复杂度》

《线性Transformer应该不是你要等的那个模型》中的“评估计算量”（强烈建议对Transformer感兴趣的同学读一下这篇文章）

评论 2

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。