深度学习小白——最优化问题

最新推荐文章于 2025-02-13 22:39:48 发布

原创

最新推荐文章于 2025-02-13 22:39:48 发布 · 1.1k 阅读

0 ·

CC 4.0 BY-SA版权

这篇博客探讨了深度学习中的最优化问题，旨在找到最小化损失函数的权重值W。介绍了三种方法：随机搜索、随机本地搜索和梯度下降。其中，梯度下降通过计算梯度来迭代更新参数，而在实践中，为了确保准确性，通常会进行梯度检查，比较分析梯度法和数值梯度法的结果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

基于参数的评分函数将原始图像像素映射为分类评分值（如一个线性函数）

损失函数可以衡量某个具体参数集的质量好坏，有softmax 和 SVM 等不同实现方式

一、最优化

我们的目的就是找到能够使损失函数值最小的W值

方法一：随机搜索，随机指定W的值准确度：7%

bestloss = float("inf") # Python assigns the highest possible float value
for num in xrange(1000):
  W = np.random.randn(10, 3073) * 0.0001 # generate random parameters
  loss = L(X_train, Y_train, W) # get the loss over the entire training set
  if loss < bestloss: # keep track of the best solution
    bestloss = loss
    bestW = W
  print 'in attempt %d the loss was %f, best %f' % (num, loss, bestloss)