共轭函数两个性质的证明

最新推荐文章于 2023-09-12 16:14:52 发布

阿米什

最新推荐文章于 2023-09-12 16:14:52 发布

阅读量6.9k

点赞数 6

CC 4.0 BY-SA版权

分类专栏：机器学习文章标签：共轭函数机器学习

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.youkuaiyun.com/weixin_42258608/article/details/87610618

本文探讨了共轭函数（对偶函数）在机器学习中的应用，特别是其在支持向量机和生成对抗网络（GAN）中的角色。介绍了共轭函数的两个关键性质：1) 任何函数的共轭函数都是凸函数；2) 凸函数的共轭函数的共轭函数是其本身。通过数学推导证明了这两个性质，并用高中数学和机器学习的凸函数概念进行了对比。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

学习机器学习的时候有涉及到共轭函数（也叫对偶函数），这边文章总结一下共轭函数的学习

共轭函数的定义：对于函数 $f(x)$ 其定义如下：

$f^{*}(t)=\max_{x\in dom(f)}\{xt-f(x)\} \rightline{\text(1)}$

$dom(f)$ 表示函数 $f(x)$ 的定义域，可以这样理解这个函数：首先它是关于 $t$ 的函数，给定一个 $t$ 值时，关于 $x$ 的函数 $xt-f(x)$ 在定义域上的最大值，即 $f^{*}(t)$ 对应的值

共轭函数在支持向量机的数学理论证明有涉及过，在最近火的不行的Gan生成对抗神经网络进阶版本的数学推理中也发挥着神奇的作用（听说待学习）

因为它有两个非常好的性质：

1. 无论 $f(x)$ 是否是凸函数，其共轭函数都是凸函数

2. 凸函数的共轭函数的共轭函数是它自己

首先解释一下凸函数，机器学习里面的的凸函数和以前高中数学学到的凸函数有点不一样，在机器学习里面 $y=x^{2}$ 是凸函数， $y=-x^{2}$ 是凹函数，简单来说，机器学习里面的凸函数有下面的性质（也是凸函数的定义之一）：

$f(\theta x_{1}+(1-\theta)x_{2})\leq \theta f(x_{1})+(1-\theta))f(x_{2}))(\1\geq \theta\geq 0) \rightline{\text(2)}$

可以简单的从下图理解：（

最低0.47元/天解锁文章

200万优质内容无限畅学

评论 1

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。