Software Engineer、Artificial Intelligent

是一种训练技巧，允许在训练过程中使用低于32位浮点的数值格式（如16位浮点数），从而节省内存并加速训练过程。PyTorch 的 AMP 模块能够自动识别哪些操作可以安全地使用16位精度，而哪些操作需要保持32位精度以保证数值稳定性和准确性。

Swishxx⋅σβx其中σz1e−z1​原始版本中 β=1，后续研究发现可训练参数β能获得更好效果。该函数结合了ReLU的线性响应特性和Sigmoid的平滑特性。建议从固定 β=1 开始，当模型参数量>1M时考虑可训练参数版本。

将模型的输出转换为概率分布，使得模型能够输出每个类别的概率值。Softmaxai​∑j1n​eaj​eai​​其中，ai​是输入向量中的第i个元素，n是输入向量的长度。将输入向量中的每个元素转换为一个概率值，使得所有输出的概率值之和为 1。这样，Softmax 函数可以将模型的输出解释为一个概率分布，从而方便地进行多分类任务。在零点不可微，负输入的梯度为零，会产生永不激活的死亡神经元。复杂度可能会有点高，因为要做求和。

整流线性单位函数（Rectified Linear Unit, ReLU），又称修正线性单元，是一种人工神经网络中常用的激活函数，通常指代以斜坡函数及其变种为代表的非线性函数。ReLUxmax0x当输入x0时，输出等于输入；当输入x≤0时，输出为 0。传统的激活函数如 Sigmoid 和 Tanh 存在梯度消失和计算效率较低的问题。ReLU 函数解决了这些问题，具有计算简单、不易出现梯度消失等特点。

以下是激活函数系列的相关的所有内容:一文搞懂激活函数在神经网络中的关键作用逻辑回归：Sigmoid函数在分类问题中的应用tanh⁡(x)=ex−e−xex+e−x\tanh(x)=\frac{e^x - e^{-x}}{e^x + e^{-x}}tanh(x)=ex+e−xex−e−x​求导：ddxtanh⁡(x)=ddx(ex−e−xex+e−x) \frac{d}{dx} \tanh(x) = \frac{d}{dx} \left( \frac{e^x - e^{-x}}{e^x + e^{

欢迎来到我的主页：【本篇文章收录于专栏【以下是激活函数系列的相关的所有内容。

逻辑回归的预测函数hθxhθ​xhθxgθTx11e−θTxhθ​xgθTx1e−θTx1​gz11e−zgz1e−z1​是 Sigmoid 函数。θ\thetaθ是模型参数向量。xxx是特征向量。

Sigmoid函数（Logistic函数）是机器学习中最经典的激活函数之一，是一个在生物学中常见的S型函数，也称为S型生长曲线。在信息科学中，由于其单增以及反函数单增等性质，常被用作神经网络的激活函数，将变量映射到0,1之间。σx11e−xexex1σx1e−x1​ex1ex​函数图像呈现典型的 “S−∞∞−∞∞01(0, 1)01对称性：关于点(0, 0.5)中心对称可导性：处处可导。

AUC是指ROC曲线下方的面积，它的取值范围是从0到1。AUC的具体含义是：如果随机选择一个正样本和一个负样本，分类器将正样本排在负样本前面的概率。AUCPyy−AUCPy​​y​−​其中y\hat{y}_+y​​和y−\hat{y}_-y​−​分别是模型对正样本和负样本的预测得分。因此，AUC实际上衡量了模型区分正负样本的能力。

本文以MNIST数据集为例，全面介绍了使用Scikit-learn进行机器学习实验的流程。首先概述了Scikit-learn在分类、回归、聚类和降维等任务中的应用，然后详细说明了数据加载、预处理和模型训练步骤。文章深入讲解了精确率、召回率、F1分数、混淆矩阵和ROC曲线等评估指标，并通过代码示例展示了如何计算和解读这些指标。此外，探讨了阈值调整对模型性能的影响。最后，通过绘制ROC曲线和计算AUC值，评估了模型的整体性能，为读者提供了一个使用Scikit-learn进行机器学习实验的实用指南。

线性回归是一种用来预测和分析数据之间关系的工具。它的核心思想是找到一条直线（或者一个平面），让这条直线尽可能地“拟合”已有的数据点，通过这条直线，我们可以预测新的数据。eg：假设你想预测房价，你知道房子的大小（面积）和房价之间有关系。线性回归可以帮助你找到一条直线，表示“房子越大，房价越高”的关系。yθ0θ1xyθ0​θ1​xyyy是房价（目标变量）。xxx是房子的大小（特征）。θ0\theta_0θ0​是截距（当房子大小为 0 时的房价）。θ1。