- 博客(112)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 【动手学深度学习】3.5. 图像分类数据集
Fashion-MNIST是一个服装分类数据集，由10个类别的图像组成。函数，获取Fashion-MNIST数据集，返回训练集和验证集的数据迭代器。现在已经准备好使用Fashion-MNIST数据集，便于下面的章节调用来评估各种分类算法。可以通过框架中的内置函数将Fashion-MNIST数据集下载并读取到内存中。通过内置数据迭代器，我们可以随机打乱了所有样本，从而无偏见地读取小批量。我们将使用Fashion-MNIST数据集，作为图像分类数据集。我们将高度像素，宽度像素图像的形状记为或（,）。
2025-06-13 21:59:04
354
原创 【动手学深度学习】3.3. 线性回归的简洁实现
在实现复杂模型时，使用框架预定义的层可以简化过程。我们定义一个模型变量net，它是Sequential类的实例，用于将多个层串联在一起。尽管当前模型仅包含一个层，但使用Sequential可以熟悉标准流程。全连接层（fully-connected layer）是单层网络架构，每个输入通过矩阵 - 向量乘法得到每个输出。在 PyTorch 中，全连接层在Linear类中定义，需要指定输入和输出特征形状。计算均方误差使用的是MSELoss类，也称为平方范数。默认情况下，它返回所有样本损失的平均值。
2025-06-10 20:55:15
813
原创 【动手学深度学习】3.2. 线性回归的从零开始实现
线性回归模型通过矩阵 - 向量乘法将输入特征X与权重w相乘，再加偏置 b 得到输出。广播机制会将标量 b 加到每个分量上。"""线性回归模型"""使用平方损失函数，同时，需将真实值 y 的形状转换为与预测值 y_hat 相同。"""均方损失"""采用小批量随机梯度下降（SGD），每步用随机抽取的小批量计算损失梯度，朝减少损失方向更新参数。更新大小由学习速率 lr 决定，用批量大小 batch_size 规范化步长。
2025-06-10 20:42:23
1101
原创 【动手学深度学习】3.1. 线性回归
另外，我们将更多的数学运算放到库中，而无须自己编写那么多的计算，从而减少了出错的可能性。损失函数（loss function）：用于衡量目标实际值与预测值之间的差距，通常为非负数，且数值越小表示损失越小，完美预测时损失为 0。（gradient descent）是一种通用的优化方法，通过计算损失函数关于模型参数的导数（梯度），沿着梯度递减方向更新参数以降低误差。对于复杂模型（如深度神经网络），损失平面上存在多个最小值，实践中更关注找到在未见数据上低损失的参数组合，即实现良好的。
2025-06-06 21:16:13
826
原创 C++：回调函数
是一种以函数指针作为参数的函数。这种函数可以在代码的其他部分被调用，从而实现一种类似高级编程语言中的“回调”机制。是一种编程模式，它允许将代码（函数）作为参数传递给其他函数，并在特定事件发生后被调用。
2025-06-01 20:18:42
251
原创 【动手学深度学习】2.5. 自动微分
来使用，而不是用来计算梯度的变量。这时，就可以用“分离计算图”的方法，把计算图中的一部分“切断”，让它不参与反向传播。换言之，对于任何a，存在某个常量标量k，使得f(a)=k*a，其中k的值取决于输入a；神经网络中，计算图 = 节点（神经元/参数/数学运算等）+ 边（数据流动方向）。这里，我们的目的不是计算微分矩阵，而是单独计算批量中每个样本的偏导数之和。它从输出端（损失函数）开始，向输入端（模型参数）反向计算梯度。有时，我们希望将某些计算移动到记录的计算图之外。，自动计算出目标函数关于模型参数的导数。
2025-05-30 23:01:42
2014
原创 【动手学深度学习】2.4. 微积分
泛化（generalization）：数学原理和实践者的智慧，能够指导我们生成出有效性超出用于训练的数据集本身的模型。我们可以连结一个多元函数对其所有变量的偏导数，以得到该函数的梯度（gradient）向量。现在考虑一个更一般的场景，即函数具有任意数量的变量的情况。导数可以被解释为函数相对于其变量的瞬时变化率，它也是函数曲线的切线的斜率。微分和积分是微积分的两个分支，前者可以应用于深度学习中的优化问题。梯度是一个向量，其分量是多变量函数相对于其所有变量的偏导数。是一个具有 n 个变量的函数。
2025-05-30 22:56:55
1055
原创 C++：设计模式--工厂模式
抽象工厂模式可以向客户端提供一个接口，使得客户端在不必指定产品的具体类型的情况下，能够创建多个产品族的产品对象。核心工厂类不再负责产品的创建，这样核心类成为一个抽象工厂角色，仅负责具体工厂子类必须实现的接口，通过专门定义一个类来负责创建其他类的实例，被创建的实例通常都具有共同的父类。2.提供一个具体工厂类：实现了在抽象工厂创建产品的工厂方法。3.提供一个抽象产品类：抽象产品中声明了产品具有的业务方法。1.提供一个抽象工厂类：声明一组创建一族产品的工厂方法。1.提供一个抽象工厂类 ：所有具体工厂类的父类。
2025-05-27 22:08:50
1695
原创 Conda：环境移植及更新1--使用conda-pack
在相同Linux设备上移植Miniconda3（Anaconda3同理）常用方法有。直接拷贝法：直接拷贝整个Miniconda3文件夹。声明：资源可能存在第三方来源，若有侵权请联系删除！使用conda-pack：使用。
2025-05-27 21:56:23
399
原创 CMSIS-NN：2.神经网络到CMSIS-NN的转换
该网络的输入是一个32x32像素的彩色图像，它将被分类到10个输出类之一。当输入张量维度是4的倍数时，使用arm_convolve_HWC_q7_fast（），因为这可以很好地利用8位操作上的SIMD 32读取和交换行为。最大池的输出的Q格式与其输入格式相同，因为该算法在CMSIS-NN中是如此实现的。CMSIS-NN只支持几个层，不支持的层，应尝试CMSIS-NN和CMSIS-DSP功能的等效组合。饱和效应：网络中的激活函数，当输入值过大或过小，它们的输出值会趋于饱和，即输出值接近于最大或最小值。
2025-05-24 19:25:44
965
原创 CMSIS-NN：1.简介
提供一个DSP（数字信号处理器）功能库，它包括了一系列与信号处理相关的数学函数和算法常用数学函数，如加法、乘法、平方、平方根、指数、对数等；信号处理算法，如滤波器设计、傅里叶变换、快速傅里叶变换等。ARM_MATH_DSP库可简化信号处理和数字计算任务的实现过程，并且可以提高计算效率和性能。在CMSIS-NN库中，可以使用ARM_MATH_DSP库来进行神经网络的计算优化。提供的数学函数接口，用于实现多向量扩展整数运算。提供以下功能：支持多种数据类型：包括整数、浮点数和固定点数。
2025-05-24 19:12:35
663
原创 C++：动态刷新打印内容
本文介绍一个用于命令行动态覆盖输出的C++实现（Display类）；效果说明：普通输出会直接换行显示。分段输出（如进度条）会在同一行动态刷新，模拟进度条效果。中文内容也能正确显示和自动换行。你可以修改参数，观察自动换行效果。
2025-05-23 23:24:44
417
原创 【动手学深度学习】2.2. 数据预处理
处理缺失的数据时，我们可根据情况选择用插值法和删除法。对数值缺失值用均值插值，对类别缺失值编码为独立特征。预处理原始数据，并将原始数据转换为张量格式的步骤。声明：资源可能存在第三方来源，若有侵权请联系删除！软件包是Python中常用的数据分析工具中，最终将数据转为张量格式，适配后续模型训练。本节我们将简要介绍使用。读取 CSV 文件。）的模拟数据并保存。
2025-05-22 21:40:35
197
原创 【动手学深度学习】2.1. 数据操作
torch张量和numpy数组将共享它们的底层内存，就地操作更改一个张量也会同时更改另一个张量。其次，张量类支持自动微分。：涵盖存储、操作与预处理，核心技能为高效管理表格数据（样本为行，属性为列）。：矩阵运算是处理多维数据的基础，重点理解基本原理与实现，如矩阵乘法与操作。指向的张量，而是指向新分配的内存处的张量。：张量元素通过索引访问，第一个元素索引0，最后一个元素索引-1。张量维度：1轴为向量，2轴为矩阵，更高维度无特定数学名称。要将大小为1的张量转换为Python标量，我们可以调用。
2025-05-22 21:38:26
826
原创 【动手学深度学习】1.4~1.8 深度学习的发展及其特征
从第一代的Caffe、Torch和Theano，到第三代的PyTorch、MXNet的Gluon API和Jax，这些工具极大地简化了深度学习模型的构建和训练，使得复杂的神经网络建模变得容易。：2005年后，随着计算能力提升（如GPU）和大规模数据集（如MNIST）的出现，深度学习逐渐复兴，结合深度神经网络与反向传播算法，推动了现代AI的突破。最近在深度学习方面取得的许多进展，大都是由廉价传感器和互联网规模应用所产生的大量数据，以及（通过GPU）算力的突破来触发的。整个系统优化是获得高性能的关键环节。
2025-05-21 20:27:26
788
原创 【动手学深度学习】1.3. 各种机器学习问题
"回归"指的是通过建立输入变量（自变量）与输出结果（因变量）之间的数学关系模型，来预测一个具体的数值结果。比如，给定一组用户的网页浏览记录，我们能否将具有相似行为的用户聚类呢？与环境互动的学习模式推动机器学习从静态预测迈向动态决策，解决更复杂的现实问题，但需应对环境反馈、动态变化及策略影响等挑战。：输入是音频录音，输出是对应的文本记录，音频帧数远多于文本字符数，属于输出比输入短得多的序列到序列学习。预测标签：将没有见过的样本特征放到“已完成学习的模型”中，使用模型的输出作为相应标签的预测。
2025-05-21 20:22:58
1167
原创 【动手学深度学习】1.1~1.2 机器学习及其关键组件
然后，它在可以减少损失的方向上优化参数。深度学习与经典方法的区别主要在于：前者关注的功能强大的模型，这些模型由神经网络错综复杂的交织在一起，包含层层数据转换，因此被称为。在上面的监督学习问题中，要预测的是一个特殊的属性，它被称为。然而，在训练数据上表现良好的模型，并不一定在“新数据集”上有同样的性能，这里的“新数据集”通常称为。在机器学习中，我们需要定义模型的优劣程度的度量，这个度量在大多数情况是“可优化”的，这被称之为。当每个样本的特征类别数量都是相同时，其特征向量是定长的，这个长度被称为数据的。
2025-05-20 22:57:15
750
原创 【动手学深度学习】系列
《动手学深度学习》第二版由李沐等人编著，系统讲解深度学习基础知识与核心技术，涵盖卷积神经网络、循环神经网络、注意力机制等前沿模型，结合Jupyter笔记本提供可运行的代码实践。本书以交互式学习为特色，通过理论讲解与代码实操相结合的方式，帮助读者从零构建AI知识体系，配套丰富教学资源和社区支持，适合学生、工程师及研究者入门与进阶。
2025-05-20 22:47:11
958
原创 sherpa-ncnn：音频处理跟不上采集速度 -- 语音转文本大模型
具体是，调用sherpa-ncnn-alsa_Test时，音频是实时采集的，在采集到音频后会对音频数据进行额外处理。音频处理速度跟不上音频采集速度时。在音频额外处理期间，停止音频识别采集，在运行结束时恢复音频识别采集。在其他API处理这个句子时，语音还在实时采集，这是就会导致处理速度跟不上音频采集速度。在音频额外处理期间，停止音频识别采集，在运行结束时恢复音频识别采集，以避免数据溢出。这个错误表明音频处理速度跟不上音频采集速度，导致缓冲区溢出。类中，添加暂停和恢复音频采集的功能，即。
2025-05-19 21:30:47
398
原创 CLIP：论文阅读 -- 视觉模型
CLIP（Contrastive Language–Image Pre-training）是一种创新的计算机视觉模型，旨在解决传统目标检测模型依赖固定分类体系和大量标注数据的局限性。该模型通过在4亿对互联网收集的图文数据上进行预训练，采用“预测图文匹配”的简单任务，成功从零开始学习到强大的图像表征能力。突破固定分类限制：利用自然语言作为通用接口，既能引用已学视觉概念，也可描述新类别，实现零样本迁移（zero-shot transfer），无需针对特定任务微调跨任务泛化性能。
2025-05-19 21:21:30
1894
1
原创 sherpa-ncnn：Endpointing（断句规则）
如果激活了其中任何一个，我们假设检测到终端节点。在以下示例中，解码内容后，当尾随静默的持续时间大于用户指定的值。中，我们要求它必须先解码一些内容，然后才能计算尾随的静默。当尾随静默的持续时间达到 2.4 秒时，没有解码任何内容。在尾随静默的持续时间达到 2.4 秒之前，解码了一些内容。Python API中，您可以在构造。Python API中，您可以在构造。Python API中，您可以在构造。C++ API中，您可以在创建。C++ API中，您可以在创建。C++ API中，您可以在创建。
2025-05-08 20:18:01
388
原创 sherpa：介绍
sherpa是项目的部署框架。sherpa支持在各种平台上部署与语音相关的预训练模型，并提供多种语言绑定。目前，sherpa拥有以下子项目：项目安装难度困难容易神经网络库PyTorchncnnCPU支持arm32arm64arm32arm64**RISC-V**GPU支持是（使用CUDA支持 NVIDIA GPU）是是（使用Vulkan支持 ARM GPU）操作系统支持macOSmacOS,iOSAndroidmacOS,iOSAndroid是否支持 batch_size > 1。
2025-05-08 20:14:43
479
原创 GLIBC：GLIBCXX not found
当GLIBC出现版本不满足时，可下载预编译的libstdc++和libc的库，在使用时指定即可。例如，ARM64平台Linux aarch64，存在以下报错：GLIBCXX not found。此时，可下载预编译的libstdc++.so.6和libc.so.6，在运行时指定即可。以下wget命令下载的文件，可能会下载不完整，推荐浏览器中下载。声明：资源可能存在第三方来源，若有侵权请联系删除！
2025-05-06 17:44:22
445
原创 GCC：Linux x86_64 编译 Linux aarch64 上运行的程序
编译类型：编译器和目标程序都是相同架构的编译过程，被称为本地编译。编译器和目标程序运行在不同架构的编译过程，被称为交叉编译。编译工具链命名：如 gcc-arm-xxx-x86_64-aarch64-none-linux-gnu：gcc-arm-xxx: 表示ARM 架构工具链。x86_64: 工具链的目标平台。aarch64: 生成的可执行文件或目标代码的目标架构，默认采用小端字节序。
2025-05-06 17:42:58
624
原创 sherpa-ncnn：Linux_x86交叉编译Linux_aarch64上的sherpa-ncnn -- 语音转文本大模型
本文介绍，在 Ubuntu x86 计算机上通过交叉编译为嵌入式 Linux（aarch64, 64 位）构建 sherpa-ncnn。将文件夹里面的.bin，.param，.txt文件拷贝到开发板上去。如果直接在arm板上构建 sherpa-ncnn，请参考。sherpa-ncnn-alsa：用于通过读取带有。声明：资源可能存在第三方来源，若有侵权请联系删除！sherpa-ncnn：用于解码单个wav文件；开发板上使用alsa架构从MIC说话测试。第一步：安装交叉编译的工具链。第二步：设置环境变量。
2025-05-05 08:31:30
928
原创 sherpa-ncnn：Linux_x86交叉编译Linux_arm32上的sherpa-ncnn -- 语音转文本大模型
本文介绍，在 Ubuntu x86 计算机上通过交叉编译为嵌入式 Linux（arm，32 位）构建 sherpa-ncnn。将文件夹里面的.bin，.param，.txt文件拷贝到开发板上去。如果直接在arm板上构建 sherpa-ncnn，请参考。sherpa-ncnn-alsa：用于通过读取带有。声明：资源可能存在第三方来源，若有侵权请联系删除！sherpa-ncnn：用于解码单个wav文件；了解有关生成的二进制文件的用法。第一步：安装交叉编译的工具链。第二步：设置环境变量。单个语音文件解码测试。
2025-05-05 08:26:39
436
原创 sherpa-ncnn：Linux(x86/ARM32/ARM64)构建sherpa-ncnn --语音转文本大模型
sherpa-ncnn-alsa：用于通过读取带有。声明：资源可能存在第三方来源，若有侵权请联系删除！sherpa-ncnn：用于解码单个wav文件；开发板上使用alsa架构从MIC说话测试。了解有关生成的二进制文件的用法。的麦克风进行实时语音识别；单个语音文件解码测试。
2025-04-25 08:43:58
412
原创 sherpa-ncnn：构建Android APK -- 语音转文本大模型
（1）github访问失败问题：修改为镜像（kkgithub.com）（1）安装你的Android Studio，请参阅。（1）安装你的Android NDK，请参阅：。声明：资源可能存在第三方来源，若有侵权请联系删除！下载预训练模型模型并将其放入。了解所有可用的预训练模型。
2025-04-25 08:39:56
1013
原创 基于 LangChain 搭建简单 RAG 系统
最后我们需要整合检索与生成，这里可以使用LangChain表达式语言（LangChain Execution Language，LCEL）来方便快捷地构建一个链，将检索到的文档、构建的输入 Prompt 以及模型的输出组合起来。随后是输入 Prompt 的设置，LangChain 的 Prompt Hub 中提供了多种预设的 Prompt 模板，适用于不同的任务和场景。构建好知识源后，接下来开始构建基础 RAG 系统。加载完成后，由于加载的文档可能过长，不适合模型的上下文窗口，需要将文档分割成合适的大小。
2025-04-04 17:52:10
627
原创 【大模型基础_毛玉仁】6.5 实践与应用--RAG、Agent、LangChain
RAG实践与应用、Agent、LangChain、LlamaIndex
2025-04-04 17:43:17
1746
原创 【大模型基础_毛玉仁】6.4 生成增强
比如，由于模型对训练数据中低频出现的知识掌握不足，而对更“流行”（高频）的知识掌握更好，因此实体的流行度作可以作为伪训练数据统计量。不过，RAG 中不同用户查询经常检索到相同的文本，而且常见的查询通常数量有限。该方案将问题的不断细化，然后分别对细化的问题进行检索增强，力求给出全面的答案，以覆盖用户需要的答案。然而，随着输入文本长度的增加，KV-cache 的 GPU 显存占用会显著增加，甚至超过模型参数的显存占用。去除冗余文本的方法通过对检索出的原始文本的词句进行过滤，从中选择出部分有益于增强生成的部分。
2025-04-03 22:45:03
1233
原创 【大模型基础_毛玉仁】6.3 知识检索
接下来介绍几种常用于构建和管理向量数据库的软件库，它们支持上述的相似性索引算法。Faiss是由Meta AI Research开发的一个优化密集向量相似性搜索和聚类的库，提供多种索引算法，包括基于空间划分、量化和图的方法，部分算法支持GPU加速。Faiss专注于高效索引和搜索功能。但不包含数据存储、管理、分布式支持和安全性措施等功能。相比之下，向量数据库是一种更全面的解决方案，整合了相似度索引算法、数据存储、管理、分布式支持和安全性措施，适用于更复杂的RAG应用场景表 6.1: 常见的向量数据库。
2025-04-03 22:39:16
1101
原创 【大模型基础_毛玉仁】6.2 检索增强生成（RAG）架构
不同之处在于，Atlas 在预训练和微调过程中，检索器和语言模型参数同步被更新，检索器学习向语言模型提供最相关的文档，而语言模型则学习如何利用这些文档来 改善其对查询的响应。这种微调的方式使得检索器能够在检索的同时，学习如何更有效地支持语言模型的需求，而语言模型则可以更好地适应并利用检索到的信息，以进一步提升 RAG 的性能。考虑到大语言模型的开源/闭源、微调成本等问题，RAG中的大语言模型可以是参数不可感知/调节的“黑盒”模型，也可以是参数可感知和微调的“白盒”模型。多个功能模块的软件系统。
2025-04-01 22:08:12
1055
原创 【大模型基础_毛玉仁】6.1 检索增强生成（RAG）简介
检索增强生成RAG）旨在通过检索和整合外部知识来增强大语言模型生成文本的准确性和丰富性，其是一个集成了外部知识库、信息检索器、大语言模型等多个功能模块的系统。
2025-04-01 21:59:36
776
MSP430数据手册+用户手册中英文
2020-10-18
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人