duzm200542901104的专栏

部署DeepSeek-R1-Distill-Qwen-7B，进行编码推理

本文介绍一种叫做DiskANN的磁盘索引算法，它基于Vamana graph，DiskANN在大数据集上搜索非常有效。

Knowhere是milvus向量咨询引擎的核心，它将好几个向量相似搜索库聚集在一起（包括faiss、hnswlib、annoy）。Knowhere也被设计支持异构计算。它控制在什么硬件（CPU或GPU）上执行索引构建和查询请求.为什么取Knowhere作为名字的原因就是因为它知道在哪里执行这些操作。更多类型的硬件包括DPU和TPU将会在未来的版本中进行支持。

milvus的数据插入，索引构建和数据查询的实现细节

milvus有两种部署模式：独立部署和集群。两种模式具有相同的功能。我们可以根据自己数据集的大小，数据的流量等来选择最适合的模式。当前milvus独立部署模式不能直接在线升级为milvus集群模式。

根据数据面与控制面相隔离的原则，从可扩展性和灾难恢复来看，Milvus由4个相互独立的层组成，他们分别是访问层，协调服务，工作节点和存储

Milvus采用共享存储和计算分离的架构，并且可以水平扩展它的计算节点，依据数据面与控制面向分离的原则，Milvus由四部分组成：访问层、协调服务、工作节点、存储。这些层都是互相独立的以用来解决易扩展和灾难恢复。

Prefix Tuning是2021.01提出来的，在它之前，我们使用prompt主要是人工设计模板或者自动化搜索模板，也就是prompt范式的第一阶段，就是在输入上加上prompt文本，再对输出进行映射。这种离散模板对模型的鲁棒性很差。所以后续的研究都将离散生成prompt方式转成连续的方式。Prefix Tuning是在模型输入前添加一个连续的且是任务特定的向量序列，该序列称之为prefix，然后在训练的时候固定PLM的所有参数，只更新优化特定任务的prefix。

LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS，直接翻译过来就是大模型的低秩适配2021年微软提出的LoRA，它的灵感来自于 Li和 Aghajanyan等人的一些关于内在维度（intrinsic dimension）的发现：模型是过参数化的，它们有更小的内在维度（low intrinsic dimension）。于是假设模型在任务适配过程中权重的改变量是低秩（low “intrinsic rank”）的，由此提出LoRA方法。

参数有效的微调，该微调仅仅微调非常少（额外的）模型参数，而不需要微调模型的所有参数，这将显著的降低计算和存储成本，同时也能产生与完全微调模型相当的性能，这是不是让我们欣喜若狂，实现了我们既要……又要……的夙愿。其实PEFT是一个统称，不同的实现策略让PEFT又有进一步的分类，今天先列出来huggingface的peft包支持的微调方法，后续我再仔细讲解不同的peft方法的异同和相应的微调代码：PROMPT_TUNINGMULTITASK_PROMPT_TUNINGP_TUNINGPREFIX_TUN

针对google/vit-large-patch32-384模型进行微调，根据自己的数据来训练自己的分类。大模型出现以后，我们不需要再重头来训练我们的模型，直接根据已经训练好的大模型进行微调即可

利用Dataset.from_generator()函数，通过定义一个生成器，就能根据将我们本地自定义的数据转换成大模型需要的任何的格式类型。

利用Trainer提供的api，只需要简简单单的九步，十几行代码就能进行大模型的微调，你要不要动手试一试？

如果我们需要的语言中没有可用的大语言模型，或者我们要预测的数据集与我们选择的大语言模型训练的数据集非常不同，我们就需要使用适合我们的数据的tokenizer从头开始重新训练模型，训练tokenizer可以不必从头开始

TrainingArguments是Hugging Face Transformers库中用于训练模型时需要用到的一组参数，用于控制训练的流程和效果。本文章详细列出了90个参数的解释，供大家选用

通过手动输入一段话来测试我们情感分类的大模型准确率，并且介绍了如何获取对应的预测下标和使用softmax函数来计算出相应的概率

通常大家觉得大模型微调比较麻烦，其实只要看到这篇博客，就能实现文本的分类，直接代码贴进去运行即可，非常的便捷。

在实际任务中，原始数据集未必完全含有解决任务所需要的充足信息。通过分析任务场景的复杂性和当前数据集的短板，对现有数据有针对性做一些数据增强/增广的策略的修改，以提供更加多样性的、匹配任务场景复杂性的新数据，往往可以显著的提高模型效果。数据增强是一种挖机数据集潜力的方法，可以让数据集蕴含更多让模型有效学习的信息。这些方法是领域和任务特定的，扩大训练数据集，抑制过拟合，提升模型的泛化能力。

在前面的几篇中，我们学习了使用卷积神经网络进行图像分类，比如手写数字识别是用来识别0~9这十个数字。与图像分类处理单个物体的识别不同，目标检测它识别的不仅是物体，还是多个物体，不仅要确定物体的分类，还要确定物体的位置。比如下图：目标检测不仅要告诉我们这张图片上既有小狗也有小猫，还要告诉小狗处于左边红色方框内，而小猫处于右边的红色方框内。也即目标检测的输出结果是【目标分类+目标坐标】

本文介绍了使用LeNet这个经典的卷积神经网络来在MNIST数据集上实现手写体数字识别任务

本文讲解了卷积神经网络里面涉及的几个概念，比如如何计算卷积，卷积核，过滤器，填充，步幅，感受野，同时也说明为什么会有输入多通道，输出多通道。池化怎么做，怎么进行批归一化和丢弃

不同的深度学习任务需要有各自适宜的损失函数，本文我们通过修改计算损失的函数，从均方误差（常用于回归问题F.square_error_cost()）到交叉熵误差（常用于分类问题F.cross_entropy），把预测的准确率提高到了98%以上

本篇文章通过经典的四层全连接神经网络构建手写数字识别，两个隐藏层构建之后增加了激活函数，大大的提升了预测准确率，但还是没法满足工业上的应用

1、数字识别是计算机从纸质文档、照片或其他来源接收、理解并识别可读的数字的能力，目前比较受关注的是手写数字识别。手写数字识别是一个典型的图像分类问题，已经被广泛应用于汇款单号识别、手写邮政编码识别等领域，大大缩短了业务处理时间，提升了工作效率和质量。2、MNIST是深度学习领域标准、易用的、成熟的手写数字识别模型数据集，包含50 000条训练样本和10 000条测试样本。从测试数据的结果来看，其实本次成功的数据是0，一万条数据，没有一个是预测成功的。

1、定义：监督学习是从标记的训练数据来推断一个功能的机器学习任务。在监督学习中，每个实例都是由一个输入对象（通常为矢量）和一个期望的输出值（也称为监督信号）组成。2、举例：通过已知病例学习诊断技术那样，计算机要通过学习才能具有识别各种事物和现象的能力。3、使用场景：监督学习方法是目前研究较为广泛的一种机器学习方法，例如神经网络传播算法、决策树学习算法。

深度学习的模型开发的五个步骤：1、数据处理；2、模型设计；3、模型训练；4、参数保存；5、模型预测

1、召回率（Recall）：正样本有多少被找出来（召回了多少）2、精确率（Precision）：检测为正样本的结果中有多少是正确的（猜的精确性如何）3、准确率（Accuracy）：预测正确的比例（正负样本）样例：假设我们手上有60个正样本，40个负样本，我们要找出所有的正样本，系统查找出50个，其中只有40个是真正的正样本，计算上述各指标。TP（true positives）: 将正类预测为正类数 40FN（false negatives）: 将正类预测为负类数 20FP（false

衡量模型预测值和真实值差距的评价函数被称为损失函数，说的再通俗一些，就是我们需要设计一个函数来评估预测值与真实值的差距范围，差距大说明模型还需要进一步优化。最简单的损失函数就是拿预测值减去真实值，然后求绝对值，如果预测的完全正确，那么绝对值的结果就是0。实际业务中我们不会选择这个函数，因为太简单了。前面我们说到了当计算出来预测值之后，通过损失函数就能计算出其与真实值之间的差距。算法训练的目标就是通过找到对应的模型参数，实现预测值与真实值的误差最小化。这个寻找最优模型的方法即为优化算法。

人工神经网络（Artificial Neural Networks，简写为ANNs）也简称为神经网络（NNs）或称作连接模型（Connection Model），它是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。与人的神经元之间进行神经冲动的传播形式类似，神经网络也是一个处理单元连接另外一个处理单元，每一个处理单元称为一个。大量节点按照不同的层次排布，形成多层的结构连接起来，即称为神经网络。，通过不同种类的层之间相互堆叠，形成了一个完整的、能够实现一定功能的复杂网络。

简单解释人工智能、机器学习、深度学习的相关概念