xxy_的博客

Xavier初始化：条件：正向传播时，激活值的方差保持不变；反向传播时，关于状态值的梯度的方差保持不变。初始化方法：W∼U[−6ni+ni+1,6ni+ni+1]W\sim U[-\frac{\sqrt6}{\sqrt{n_i+n_{i+1}}},\frac{\sqrt6}{\sqrt{n_i+n_{i+1}}}]W∼U[−ni​+ni+1​​6​​,ni​+ni+1​​6​​]假设...

背景：    最近做实验的过程中发现，平均交叉熵损失（Average Cross Entropy，ACE）升高时，分类模型的准确率（Accuracy，ACC）也会出现升高的情况。起初认为这是反直觉的，还以为是自己程序里又bug。经查阅发现也有人遇到相同的问题，并且对这个现象给出了解释（详情见参考链接1）。    通过一下午的认真思考，尝试将ACC与ACE之间的关系进行整理。我理解不对的地方，或者有...

1. 逻辑回归sklearn.linear_model.LogisticRegression(penalty=’l2’, dual=False, tol=0.0001, C=1.0, fit_intercept=True, intercept_scaling=1, class_weight=None, random_state=None, solver=’liblinear’,...

一、前期准备下载以下文件（地址自行百度，以下列出的是本文使用的版本）：1. NVIDIA显卡驱动：NVIDIA-Linux-x86_64-390.48.run2. 

今天发现自己在深度学习的路上又踩到了一个大坑。参考链接：https://blog.youkuaiyun.com/john_xyz/article/details/61211422交叉熵函数：tf.nn.softmax_cross_entropy_with_logits(_sentinel=None, labels=None, logits=None, dim=-1, name=None)注意：这个操作的输入l...

1. 安装cuda时一直会遇到 visual studio Integration 失败，尝试了多种方法都无法解决（包括换vs版本，换显卡驱动版本，换cuda版本），最终解决方法为重装了一个较新的win10版本（win10 1703）2. 最终安装版本：显卡驱动：39135-win10-64bit-international-whqlvs2015 update3 cuda_9.0.176_win1...

原文：https://mp.weixin.qq.com/s/C5Xq2P5v3lGmFOivJ_PTzw 在4月15日举行的2018京东人工智能创新峰会上，①京东集团副总裁、AI平台与研究部负责人周伯文揭开了京东技术布局下的 AI 战略全景图，概括起来说就是“三大主体、七大应用场景和五个人工智能产业化的布局方向”，即：以 AI 开放平台、AI 基础研究、AI 商业创新三个主体，通过产学研相结合，高...

在最近的深度学习的实（tiao）战（can）过程中发现，Batch Size对于收敛的影响还是挺大的，经查阅资料（详情->https://www.zhihu.com/question/32673260/answer/71137399），现整理总结如下：1. 随着batch size的增加，相同数据量的处理速度增加，所需时间减少（不超过内存容量的情况下）。2. 随着batch size的增加，...

本文结构：我的阅读笔记  1.ResNet之Building block  2.ResNet之CIFAR-10实验结构其他资料  1.ResNet作者何凯明博士在ICML2016上的tutorial演讲  2.Bottleneck  3.diss ResNet的论文论文翻译 ------------------------------------------...