三余知行

神经网络学习的核心是计算损失函数的梯度，即求损失函数关于网络参数的偏导数。而网络的计算可以理解成一系列基本运算的复合，因此我们可以通过了解这些基本运算的导数求解方式，以及结合链式法则归纳出这些基本运算的复合形式的求导规律，来完成网络的梯度的高效计算。这就是误差逆传播算法的基本原理。

BP 算法是迄今最成功的神经网络学习算法，通常神经网络（不限于前馈神经网络）都使用 BP 算法进行训练。“BP 网络”特指使用 BP 算法训练的多层前馈神经网络。BP 算法实质是 LMS（Least Mean Square）算法的推广。LMS 试图使网络的输出均方误差最小化，用于神经元激活函数可微的感知机学习，LMS 推广到由非线性可微神经元组成的多层前馈网络，就是 BP 算法。

损失函数（loss function）是表示神经网络性能“恶劣程度”的指标，即当前神经网络对监督数据有多么不拟合，多么不一致。在神经网络模型中，均方误差、交叉熵误差、绝对误差、Kullback-Leibler Divergence 和 Hinge Loss 等都具有实际价值，选择何种损失函数通常取决于特定问题的需求、目标以及数据的特征。

本文我们通过手写 Python 代码实现了一个简单的神经网络 SimpleNet，并使用 MNIST 数据集演示了 SimpleNet 的完整训练过程，最终我们对模型训练过程中训练集和测试机的识别精度做了跟踪验证，从结果可以看出，随着学习的进行，训练集和测试集的识别精度都很快从不足 10% 提高到了 94% 以上，SimpleNet 对测试集中未曾“见过”的图片也具备了准确的识别能力，这验证了 SimpleNet 的泛化能力。

梯度下降法是神经网络训练的核心算法，通过梯度下降法，我们可以找到使损失函数最小的权重参数，从而使神经网络的推理结果更加准确。梯度下降法是一个迭代的过程，需要不断调整参数，直至损失函数收敛。在实际应用中，我们还会使用一些优化算法（如 `Adam`、`RMSprop` 等）来加速梯度下降的过程，具体的优化算法我们将在后续篇章中详细介绍。

激活函数是神经网络的核心组件之一，其对于模型的性能是至关重要的。不同的激活函数在输出范围、计算复杂度、梯度表现和适用场景等方面存在显著差异。选择合适的激活函数应根据具体任务的需求、网络结构与数据特性进行考量。随着深度学习的发展，激活函数的类型、性质及其设计原则也在不断演进。了解各种激活函数的特性，有助于设计更有效的神经网络结构。

神经网络是一种机器学习算法，它的目的是自动学会**端到端**任务的处理逻辑。这里说的端到端，便是指任务的最初输入端到最终输出端。神经网络的推理过程主要前向传播的过程，我们可以将输入数据通过网络的各个连接进行传递，每个神经元接收到上一层神经元传递的信息，并根据自身的权重和激活函数进行计算，然后将计算结果传递给下一层神经元。通过多个层次的计算和传递，神经网络就具备了对输入数据进行复杂逻辑处理的能力，并产生网络所需的端到端的预测或分类结果。

感知机经历了从起初的热潮到冷却，再到现代深度学习复兴的过程。其简单而有效的结构与思想成为了现代人工智能的基石，指引了神经网络在各个领域的广泛应用与发展。感知机的基本结构与学习算法为现代复杂神经网络的设计奠定了理论基础，是理解更高级模型的关键。尽管受限于线性可分性，但其概念与学习算法是现代深度学习（如卷积神经网络、递归神经网络等）的发展提供了基础。感知机的思想指引研究者探索新的激活函数、优化算法及网络架构，从而推动深度学习领域的不断创新。

人工神经网络（ANN）是深度学习领域的核心概念，而深度学习几乎已经是现代人工智能（AI）的代名词，其对 AI 的发展起到了重要的推动作用。我们将围绕 ANN 的基本概念与原理、发展历史和近来趋势、应用领域等进行由浅入深的探讨，慢慢全面而细致地沉浸到这个重要主题的探索与剖析中去。

随着对高效向量检索需求的不断增长，Milvus 在未来的数据分析和人工智能领域继续扮演着举足轻重的角色，助力企业和开发者解决各类复杂的数据挑战。本文通过探讨 Milvus 的基本特点与技术原理、环境搭建与数据管理、基本使用与最佳实践，能够全面理解 Milvus 的强大功能及高效性能，并为构建智能化、高效率的数据处理平台打下坚实基础。

向量作为一种灵活而强大的数学表示方式，无论是在特征表示、模型训练还是高效检索中，向量都扮演着不可或缺的角色。向量不仅是信息的载体，更是智能化发展的重要推动力。向量在多个领域中的广泛应用凸显了它作为机器学习和人工智能中重要工具的价值。从自然语言处理到计算机视觉，从推荐系统到信息检索，从音频处理到社交网络分析，向量展示了其强大的表达与理解能力。随着向量技术和相关算法的不断发展，向量将愈发重要，成为推动智能化革新的核心力量。

在大数据与 AI 的时代，向量数据库在高效搜索与相似度检索场景中扮演了至关重要的角色。Faiss（Facebook AI Similarity Search）作为一款强大的开源向量数据库，以其优越的性能和灵活的配置选项，成为处理高维向量检索的理想选择。本文将探讨 Faiss 的基本特点与核心技术原理、基础维护，以及基本使用，从而帮助用户搭建出高效的向量数据库解决方案。

HNSW 算法以其独特的高效特性，在信息检索、大数据处理、与深度学习结合等多个领域展现出广泛的应用潜力和灵活性。随着技术的快速发展，HNSW 不仅在对抗传统搜索系统的瓶颈方面取得了重大的突破，同时在实时动态检索中正渐渐发挥出更为重要的作用。未来的研究可以进一步集中在 HNSW 在动态数据环境中的优化与创新应用，以期在信息检索领域实现更多的创新与突破。

在大 AI 时代，高维数据的处理与检索一直是一项重要的技术需求。面对高维数据的海量增加，传统的数据处理方法往往无法应对存储和计算开销的挑战。PQ（积量化）算法以其高效性受到广泛关注，旨在通过量化技术对数据进行压缩，并提高近似搜索的效率。本文将深入探讨 PQ 算法的基本原理，包括量化与码本的构建、维度灾难与内存开销的分析，以及积量化的创新与应用。

局部敏感哈希（Locality Sensitive Hashing, LSH）是一种用于高维数据相似性检索的算法，通过将相似的高维数据点映射到相同的“桶”（bucket）中，从而提高相似性检索的效率。随着数据量的不断增长，LSH 在图像检索、文本数据处理、推荐系统等众多领域中展现出极大的潜力。以下是对 LSH 算法的原理、优缺点、改进算法与应用场景进行深入探讨。

K-Means 聚类算法因其高效性和易用性，已广泛应用于各种领域。K-Means 与嵌入模型结合的使用是有效的无监督学习策略，能够帮助我们在复杂数据集上进行有效的聚类和模式识别。K-Means 聚类算法与向量数据库的结合极大地提升了高维数据的处理能力，让管理员能高效地存储、检索和分析数据。在实际应用中，K-Means 聚类算法广泛用于文本分析、图像处理、推荐系统和其他数据分析领域。

本文从 RAG 的检索与增强生成两个阶段和 RAG TRIAD 出发，介绍了一套完整 RAG 系统评测的指标体系。通过熟悉这些指标概念，借助合适的评估框架和工具，可以快速进行 RAG 系统监控和定量评估，从而显著提升 RAG 系统的性能，为用户提供更准确、更可靠的服务。

本文将探讨 RAG 系统优化进阶与 Reranker 技术在 RAG 系统中的应用，从技术原理到性能评估，再到实际应用，全面解析提升 RAG 系统性能。

本文详细介绍了 RAG 技术的起源、原理、优势、应用场景以及与 LLM 的比较，同时指出了 RAG 技术的局限性，并对其未来进行了展望。RAG 技术的发展，无疑将为 GenAI 领域带来革命性的变化。

机器学习实践篇 - 模型训练的工作原理：线性回归模型、多项式回归模型、分类模型（Logistic 回归、Softmax 回归）、梯度下降、正则化线性模型等；

ML 实践篇 - 分类系统：图片数字识别；数据准备、二元分类器训练、二元分类器的性能评估（交叉验证、混淆矩阵、查准率、查全率、P-R 曲线、ROC 曲线等）、多类分类器、误差分析、多标签分类器、多输出分类器等；

ML 实践篇 - 机器学习项目（回归任务：房价中位数预测）落地全流程：项目分析、数据环境搭建与数据获取、数据探索、数据准备与处理 Pipeline、模型选择与模型训练、模型微调优化、机器学习系统部署、监控、维护等；

机器学习基础 - 概览：什么是机器学习？什么情况需要引入机器学习？机器学习有哪些应用场景？机器学习怎么分类？机器学习领域的主要挑战是什么？如何对模型进行验证和评估？

Python 机器学习 - Pandas 数据分析：Series 和 DataFrame 的基本操作、Index 的使用、表格拼接、表连接、聚合运算、案例等；

Python 机器学习 - Matplotlib 数据探索：图的基本结构、绘图的详细步骤、完整的绘图样例、常见图形、诸多应用案例（自行车租赁数据分析、航班乘客变化分析、鸢尾花花型尺寸分析、餐厅小费情况分析、泰坦尼克号海难幸存状况分析）等

Python 机器学习 - Numpy 矩阵运算：数组的初始化、数组取值与赋值、数据类型、数学运算（加减乘除、平方根、内积、矩阵乘法、转置、点积、点乘、求和、累加、累乘、均值、排序）、矩阵广播、矩阵逻辑运算、二维数组的拼接与裁剪、文件输入输出、softmax 计算等；

Python 基础 - 常见模块；内建模块：datetime、collections、base64、struct、hashlib、hmac、itertools、contextlib、urllib、XML、HTMLParser、Tkinter、turtle 等；第三方模块：Pillow、requests、chardet、psutil 等；

Python 基础 - 进程：multiprocessing、Pool、subprocess、进程间通信；线程：threading、Lock、GIL、ThreadLocal；分布式通信等；

Python 基础 - Python I/O 编程：文件读写、StringIO 与 BytesIO、文件和目录、序列化等；Python 正则表达式：re 模块；

Python 基础 - 面向对象编程、高级特性：__slots__、@property、多重继承、定制类、元类、枚举类等