深度学习softmax代码段

Tensor 的测试和遇到的问题
1、不是所有的tensor都可以带入到with代码块中执行并计算的，下方变量theta是一个以平均概率在-1到1之间随机获取数字，当单独在with中执行的时候，结果如下
例：theta=tf.Variable(tf.random_uniform([n+1,1],-1.0,1.0),name=‘theta’)
运行结果：
Tensor(“random_uniform:0”, shape=(4, 1), dtype=float32)
Process finished with exit code 0
疑问点：为什么在with代码块中执行完tensor后输出的结果
还是一个tensor，并没有填充数据。
出现nan值的情况
1 没有进行归一化，导致数据溢出。
例子：

上图中的因为x的数据选择了bias后的二没有选择归一化之后的数据，最终导致的结果是nan…，数据溢出。（联想：对数据进行操作，都是采用的复制？然后存入新的空间中？并没有改变原来的数据？嗯！应该是这样的吧）
关于for循环的理解

译：num表示数字10000，training_op表示计算最小的mse，每一批数据的每条数据都进行一次mse计算然后叠加起来形成一个损失的总和然后再反过来去修改theta。if块表示的是每一个批次数据处理后对mse进行计算并输出。theta.eval()表示计算本次迭代之后的theta值，print(best_theta)已经跳出for循环之外了，并没有参与到for循环之内，表示的意思是本轮for循环结束之后输出theta的值（10000次循环之后的整体结束之后输出的最终值）。
小碎知识点
1、再cmd中numpy的arange和外部的range不同。
arr=np.arange(10)
print(arr)
print("/////////////////////////")
for i in range(10):
print(i)
输出结果：
[0 1 2 3 4 5 6 7 8 9]
/////////////////////////
0
1
2
3
4
5
6
7
8
9
结论：arange输出的是一组集合，而range输出的是是个分散的常量。
相同点：都是从范围内从小到大取数，并且排列出来，只是输出的行书不 同而已。
注意点：cmd中的输出可以有print（x）也可以之际打x同样也会输出x的值。
2、np.random.shuffle(x)的使用和解释
测试：对样本数据集scaled_houing_data_plus_bias进行打乱，每次循环采样数据的时候采样的数据不一样。（盲点：看清了，一组数据有很多，再矩阵里面找小的样本集）测试结果如下：

3 在神经网络中逻辑回归、softmax回归的原理区别



逻辑回归中的输出仅适用于单个而分类的问题，但是softmax则适用于多分类的问题，并且将多分类的问题转换为了而分类的问题。softmax中的损失函数公式为 p1=e（z1）/（e(z1)+e（z2）+e（z3))
loss=1logH(p1)
(ylogh( θ））
本质：当使用softmax进行往回传播梯度下降的时候他受到了上一层所有的w权重的影响，所以每一个softmax回归都是受到了其他的w的影响，牵一发而动全身的感觉。
总结：深度学习里面做回归那么最后一层不要加任何的激活函数，如果要是做分类那么百分之99都是用到softmax来做的。
4 、w矩阵建立是按照输入神经元的维度和输出神经元的维度确认的，维度=输入神经元个数输出神经元个数。
5、批量梯度下降的softmax输出的loss损失函数是 加和、再加和ylog（y_pred)

图中的(tf.reduce_sum(y*tf.log(y_pred)),reduction_indices=[1]) 意思说相加，后面的reduction_indices是说按照列来相加，这样总体求出来的是一个m行1列的列向量，式中的tf.reduce_mean是说将所有的损失全都加起来然后取一个平均数。