YoungITの博客

逻辑回归是一个非线性模型，但是是其背后是以线性回归为理论支撑的。线性模型的表达形式可由下式简化为y的输出范围没有任何限制，即 (−∞,+∞)。而作为一个分类器，我们需要输出的是位于 0 和 1 之间的合法概率值。将“概率”转换为“分类”的工具是“阶梯函数”即转为发生y=1和发生y=0的概率为但是，阶梯函数是不连续的，不可导。因此，使用对数几率函数来在一定程度上近似阶梯函数，将线性回归模型的预测值转化为分类所对应的概率。从另一个角度解释为什么选择的是对数几率函数。

梯度消失：在深度神经网络中，激活函数（如sigmoid、tanh等）的导数在接近0的区域内取值很小，导致在反向传播时，梯度也变得很小，甚至趋近于0，这会导致模型的学习变得非常缓慢或停滞不前，称为梯度消失问题。在判断过拟合时，可以观察模型的训练集误差和测试集误差，如果训练集误差较小，但测试集误差较大，则说明模型存在过拟合问题。需要注意的是，过拟合和欠拟合不是绝对的，而是相对的，需要根据具体问题和数据特点来选择合适的模型和调整模型的超参数，以提高模型的性能和泛化能力。

可以通过调整优化算法的参数，例如，学习率、迭代次数、批量大小等，来寻找最优的超参数组合。调整样本权重和特征权重：可以通过调整subsample和colsample_bytree参数来控制样本和特征的采样比例，以提高模型的鲁棒性和泛化能力。调整核函数的参数：可以通过调整核函数的超参数，例如，高斯核函数的gamma参数和多项式核函数的degree参数等，来寻找最优的超参数组合。调整迭代次数和批量大小：可以通过调整迭代次数和批量大小来控制模型的训练速度和收敛性能，以提高模型的准确率和泛化能力。

手搓决策树：用决策树将其应用于分类蘑菇是可食用还是有毒的任务。

使用sklearn创建高次多项式线性模型 ，在训练集上进行训练。对训练数据进行预测，找出训练误差。预测测试数据，得出测试误差。

（简单说就是将softmax整合进loss计算中，并在神经网络最后一层的softmax层变成线性激活层）训练过程中将 softmax 和 loss 结合起来，可以获得更稳定和准确的结果。注意：输出预测不是概率！如果所需的输出是概率，则输出应由 softmax处理！与sigmoid不同，softmax可以多个输出，每个输出以概率的形式表示。Tensorflow 有两种可能的目标值格式，损失的选择定义了预期的格式。这是所有损失的平均值。

tf.keras.layers.Normalization` 是 TensorFlow 中的标准化层，它可以将输入数据标准化为均值为 0，方差为 1 的数据。具体来说，`tf.keras.layers.Normalization` 实现了以下操作：1. 对输入数据进行逐个特征的标准化，即对每个特征计算其均值和标准差，然后对该特征进行标准化。2. 可以指定标准化的轴（axis），默认为最后一个轴（即特征轴）。