向量二范数的求导问题

现有目标函数:
f(x)=12∥Ax−b∥22 f(x)=\frac{1}{2} \parallel Ax-b \parallel_2^2 f(x)=21Axb22
其中A∈RN×mA\in \mathbb{R}^{N \times m}ARN×m,x∈Rmx \in \mathbb{R}^mxRm,b∈Rnb\in \mathbb{R}^nbRn
则求f′(x)f^{'}(x)f(x)的推导如下:
f(x)=12∥Ax−b∥22=12(Ax−b)T(Ax−b)=12(xTAT−bT)(Ax−b)=12(xTATAx−xTATb−bTAx+bTb) \begin {aligned} f(x)&=\frac{1}{2} \parallel Ax-b \parallel_2^2 \\ &=\frac{1}{2}(Ax-b)^T(Ax-b)\\ &=\frac{1}{2}(x^TA^T-b^T)(Ax-b)\\ &=\frac{1}{2}(x^TA^TAx-x^TA^Tb-b^TAx+b^Tb) \end {aligned} f(x)=21Axb22=21(Axb)T(Axb)=21(xTATbT)(Axb)=21(xTATAxxTATbbTAx+bTb)
利用如下性质:
∂ xTDx∂x=(D+DT)x∂DTx∂x=D∂xTD∂x=D \begin {aligned} \frac{\partial \ x^TDx}{\partial x}&=(D+D^T)x \\ \frac{\partial D^Tx}{\partial x}&=D\\ \frac{\partial x^TD}{\partial x}&=D \end {aligned} x xTDxxDTxxxTD=(D+DT)x=D=D
则有
∂f(x)∂x=12{[ATA+(ATA)T]x−ATb−ATb}=12{2ATAx−2ATb}=ATAx−2ATb=AT(Ax−b) \begin {aligned} \frac{\partial f(x)}{\partial x}&=\frac{1}{2} \{[A^TA+(A^TA)^T]x-A^Tb-A^Tb \} \\ &=\frac{1}{2} \{ 2A^TAx-2A^Tb \}\\ &=A^TAx-2A^Tb\\ &=A^T(Ax-b) \end {aligned} xf(x)=21{[ATA+(ATA)T]xATbATb}=21{2ATAx2ATb}=ATAx2ATb=AT(Axb)


∂f(x)∂x=AT(Ax−b) \frac{\partial f(x)}{\partial x}=A^T(Ax-b) xf(x)=AT(Axb)

评论 9
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值