Jay_Franklin的博客

本文从最大似然估计出发，推导出逻辑回归的交叉熵损失函数，并分析了其指数级惩罚错误预测的特性。通过手写实现梯度下降训练过程，展示了参数更新的数学推导和代码细节，比较了全批量梯度下降（BGD）与随机梯度下降（SGD）在计算效率、收敛路径等方面的差异。BGD每次使用全部样本更新参数，梯度精确但计算量大；SGD每次随机采样单个样本，计算高效但梯度存在噪声。文中还强调了损失函数数值与导数的区别，以及工程实现中的数值稳定性处理技巧。

摘要 感知器(Perceptron)是Frank Rosenblatt于1958年提出的首个可学习的线性分类模型。本文通过分析感知器的Python实现代码，揭示了其与Adaline模型的关键差异：感知器基于阈值化后的离散标签更新权重，而Adaline使用激活前的连续输出。感知器背后隐藏的"感知器准则"损失函数虽然缺乏严格数学基础，但通过次梯度下降实现了有效的在线学习。其权重更新公式Δw=η·(target-predict(xi))·xi体现了赫布学习规则，具有明确的几何解释和生物学基础。感知器与Adalin

本文详细介绍了Adaline自适应线性神经元的数学原理与实现。作为感知器的重要改进，Adaline首次引入连续可导的损失函数与梯度下降方法，奠定了神经网络训练的基础框架。文章从代码实现出发，系统推导了Adaline的均方误差损失函数及其梯度公式，解释了平方误差和1/(2n)系数的设计考量。通过严格的数学证明，阐明了梯度下降能保证损失函数单调下降的原理。最后针对NumPy矩阵运算中的常见误区，特别指出一维数组与行列向量的本质区别。全文以鸢尾花数据集为案例，展示了Adaline从理论推导到实战应用的全过程。

本文介绍了机器学习的基本概念和Python实现方法。机器学习分为监督学习、无监督学习和强化学习三种类型，各自适用于不同任务。文章明确了机器学习术语和符号系统，解释了训练样例、特征、目标等核心概念。在Python实现方面，介绍了Numpy、Scikit-Learn、PyTorch等主流库的特点和用途，其中Scikit-Learn是最流行的机器学习库，PyTorch以其灵活性和动态计算图著称。这些工具库为机器学习研究开发提供了高效支持，可通过pip或conda安装使用。