qq_42880092的博客

数据蒸馏（Knowledge Distillation，KD）是一种从2015年开始业内常见的技术做法，是指通过一系列算法和策略，将原始的、复杂的模型进行去噪、降维、提炼等操作，从而得到更为精炼、有用的模型。DeepSeek据说就是通过对各个成熟大模型进行蒸馏后产生的，而且它再经过蒸馏后，输出7b、14b等模型参数较少的模型，可以进行本地部署。：教师模型输出的概率分布（通常经过温度缩放）包含类别间的关系信息（如“猫”与“老虎”的相似性），比硬标签（One-hot编码）更丰富。

多层神经网络（Multi-Layer Neural Network），也称为深度神经网络（Deep Neural Network, DNN），是机器学习中一种重要的模型，能够通过多层次的非线性变换解决复杂的分类、回归和模式识别问题。

神经元的计算一般是计算输入值的权重，如上图，ax表示输入，wx表示输出，z表示结果。神经元通过微弱的电信号进行运算和信号传递，多个生物神经元彼此之间相互连接，就构成了复杂的生物神经网络。假设小明要回家过年，打开12306，开始买票，他浏览了一遍，然后把打算要买的车票加入候补。人工神经元可以简化为一个黑盒，接收多个输入，经过运算（一般是加权）后，产生多个输出。再输入一张G高铁车票，运算结果与小明的结果不一致，就修改权重，比如加大w1权重值。假设输入一张K普通车票，运算结果与小明的选择一致，那权重不变。

专家系统（Expert System，简称 ES）是人工智能领域的一种重要应用，旨在模拟人类专家在某一特定领域的知识和推理能力，通过计算机系统解决复杂问题。专家系统结合了知识库、推理机制和用户接口，能够在特定领域内提供与专家相当甚至超过专家水平的决策支持。专家系统的目标是将人类专家的专业知识和经验形式化，并将其嵌入计算机中，供非专家用户使用。这种系统的核心优势是能够在特定领域进行深入的分析与推理，帮助用户做出高质量的决策。专家系统是一个模拟专家在特定领域中解决问题的计算机程序，它具有以下两个关键特性：专家系

计算机视觉（，简称 CV）是人工智能（AI）领域中的一个重要分支，旨在使计算机能够像人类一样“看”并理解数字图像或视频。它结合了计算机科学、数学、图像处理、模式识别、机器学习等多个学科，广泛应用于图像识别、目标检测、图像生成、视频分析等领域。计算机视觉的核心目标是通过对图像或视频中的信息进行分析，提取出有意义的特征或物体，从而实现各种智能任务。通过计算机视觉，计算机能够“感知”世界，处理并理解人类视觉信息。

自动文本摘要是将长篇文章或文档的关键信息提炼成简短摘要的技术。根据生成摘要的方式，分为抽取式摘要（Extractive Summarization）和生成式摘要（Abstractive Summarization）。

神经网络是深度学习的基础，其灵感来源于人类大脑的神经元连接。最初的神经网络（感知器）是通过简单的数学模型模拟神经元（就是大脑的细胞）之间的连接。

是机器学习中的一个核心步骤，涉及使用数据来调整模型的参数，使其能够在特定任务上达到预期的表现。训练过程的目标是通过反复优化，使模型能够准确预测或分类新的数据。在训练过程中，以监督学习为例，模型不断根据输入数据和其对应的输出（标签）来调整自身的参数，从而减少误差并提高精度，其他模型方法类似。

机器学习是人工智能的一个重要分支，是人工智能的一个子集。它无需显式编程，而是通过数据和算法使机器能够自动学习和改进，从而实现智能行为。机器学习依赖于算法来识别数据中的模式，并通过这些模式做出预测或决策。机器学习是实现人工智能的一种手段，但AI不仅仅局限于机器学习，还包括许多其他方法和技术，比如专家系统、规则推理、搜索算法、自然语言处理等多种技术。以上这些是常见的机器学习的技术，但随着技术的发展，还有很多新的技术在不断涌现。对于复杂应用，一般是几种技术综合使用。

不同的机器学习算法可以用来训练同一种类型的模型（例如，神经网络模型、支持向量机模型等），但使用的算法可能不同。一个算法可以用来训练多个模型：同一个算法（例如，支持向量机、神经网络、线性回归等）可以在不同的数据集上训练出不同的模型，具体的模型取决于训练过程中数据的特性、参数设置等。算法不直接提供预测，而模型直接应用于预测：例如，训练一个神经网络模型的算法是通过反向传播调整神经网络的权重，而神经网络模型则可以用于具体的任务，如图像分类或自然语言处理。在机器学习中的含义：算法是用于训练、优化或调优模型的过程。

AI的基础是大量的数据。数据是训练AI模型的“燃料”，一般数据越多，AI模型训练的效果越好。数据清洗：比如缺失值处理（删除或使用均值、中位数、最频繁值填补）、异常值处理（一般删除），进行格式化，统一数据单位等，从而获得想要的数据格式。包括计算机科学、数学、统计学、语言识别、图像识别、自然语言处理、专家系统、机器学习，计算机视觉等。数据拆分：对处理后的数据集进行分组，一般70%-80%的数据用于训练，20%-30%的数据用于验证和测试。数据标注：指的是对数据的属性进行描述，比如图像的类别、文本的情感等。