TF分布式问题

最新推荐文章于 2025-08-14 12:19:48 发布

转载最新推荐文章于 2025-08-14 12:19:48 发布 · 132 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/bregman/p/10754709.html

文章标签：

#人工智能

碰到一个没解决的问题。用tensorflow 分布式异步更新模式训练模型, 模型中带正则项, 每个batch的损失函数为
\[\lambda \|W\|_1 + \frac 1 {N_j} \sum_i^{N_j} {\rm logloss}(x_i,y_i, W) \]
发现迭代稳定后，正则项大小\(\lambda \|W\|_1\)与worker个数\(n\)成正比。相当于求解
\[ \lambda \|W\|_1 + \frac n {N_j} \sum_i^{N_j} {\rm logloss}(x_i,y_i, W) \]

原因没想清楚，留着后面思考。

转载于:https://www.cnblogs.com/bregman/p/10754709.html