- 博客(51)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 一个月学完《动手学习深度学习》-day1
矢量化加速（Vectorization Acceleration）是一种通过将标量计算（逐个处理数据）转换为向量化计算（批量处理数据）来提升程序运行效率的技术。其核心思想是利用现代处理器的 SIMD（Single Instruction, Multiple Data，单指令多数据） 架构，通过一条指令同时对多个数据执行相同操作，从而提高计算吞吐量。数据对齐与内存布局优化将数据按SIMD寄存器长度（如64字节对齐）排列，减少内存访问延迟。使用连续内存布局（如C语言的行优先存储），避免缓存失效。
2025-03-04 10:04:51
1004
原创 select和epoll的详细区别
selectepollselect和epoll都是 Linux 中用于 I/O 多路复用的机制，但epoll更加高效且适用于大规模并发场景。select的性能会随着监视的文件描述符数量线性下降，而epoll使用事件通知机制，性能几乎不受文件描述符数量的影响。在大多数高并发场景下，epoll是首选；而对于小规模应用或跨平台需求时，可以考虑使用select。通过理解select和epoll的不同特性，可以在不同场景中选择最合适的 I/O 复用技术来实现高效的 I/O 处理。
2024-09-29 11:33:57
2069
原创 SIGCHLD` 信号详解
SIGCHLD信号用于父进程处理子进程状态变化，例如子进程退出、停止或恢复。主要用途：回收子进程资源，避免僵尸进程，并监控子进程状态。信号处理：使用waitpid来回收已终止的子进程，确保信号处理器中使用非阻塞的waitpid，以避免阻塞父进程。
2024-09-29 10:52:35
996
原创 部署 InternLM2-Chat-1.8B 模型进行智能对话
与 studio-conda 等效的配置方案4.340.24.13.8.30.1.99。
2024-06-23 18:18:10
227
原创 茴香豆的使用
RAG 模型的核心在于两大部分：检索器（Retriever）和生成器（Generator）。检索器的作用是从一个庞大的数据集中，根据输入的问题或者提示，快速有效地检索出最相关的信息或文档。这一步骤通常利用向量空间模型，将问题和文档库中的文档转化为高维空间中的向量，通过计算向量之间的相似度来找出最相关的文档。检索到的相关文档随后被传递给生成器。生成器通常是一个基于Transformer的神经网络模型，如GPT或BERT，它使用检索来的文档作为上下文信息，结合原始输入（如问题），生成文本输出。
2024-06-23 16:33:43
667
原创 Lagent和AgentLego的使用
mkdir -p /root/agentstudio-conda -t agent -o pytorch-2.1.2cd /root/agentconda activate agentgit clone https://gitee.com/internlm/lagent.gitcd lagent && git checkout 581d9fb && pip install -e . && cd …git clone https://gitee.com/internlm/agentlego.git
2024-06-20 02:33:41
802
原创 Xtuner微调
进入家目录 （~的意思是 “当前用户的home路径”）cd ~创建版本文件夹并进入，以跟随本教程拉取 0.1.17 的版本源码进入源码目录从源码安装 XTuner。
2024-06-19 20:41:33
869
原创 困惑度作为nlp指标的理解示例
为了更清晰地说明困惑度的计算过程以及如何通过困惑度判断模型的优劣，我们可以通过一个简单的例子来演示。假设我们有一个非常简单的文本语料库和两个基础的语言模型进行比较。
2024-06-16 16:28:02
722
原创 书生浦语作业2
前半段的逻辑还行，故事情节也比较具体，后半段就没有逻辑了，非常的假大空。而且频繁使用转接词（但是）在让它生成用于指针分析的c++代码中，要求它补全两个函数，但是只给出了概念性代码，不能实际运行。
2024-06-11 21:46:52
170
原创 变分自编码器（VAE）的数学原理以及实现
变分自编码器（VAE）是一种基于神经网络的生成模型，它结合了深度学习和贝叶斯推断的概念。VAE的主要目标是学习输入数据的潜在表示，并能够生成新的数据实例。
2023-12-26 10:59:48
1799
原创 LoRA（Low-Rank Adaptation）
LoRA（Low-Rank Adaptation）是一种针对深度学习模型的参数调整方法，特别适用于大型预训练模型如GPT-3或BERT。它通过在模型的原有权重上添加低秩（low-rank）矩阵，以有效且资源高效的方式实现模型的微调。
2023-12-12 22:50:40
1044
原创 Stable Diffusion的数学原理
Stable Diffusion是一种深度学习模型，用于生成和操作图像。它主要基于变分自编码器（Variational Autoencoders, VAEs）和扩散模型（Diffusion Models）的结合。
2023-12-12 17:04:56
1657
原创 深度可分离卷积
逐点卷积的计算是在深度卷积的每个通道上应用 1x1 卷积核，并将结果相加。每个 1x1 卷积核应用于所有通道的同一位置，产生新的特征图。深度卷积独立处理每个输入通道，而逐点卷积负责组合这些通道的特征，这样的分解方式比标准卷积更加高效。深度卷积涉及对输入特征图的每个通道独立应用单个卷积核。深度卷积的输出是一组分离的特征图，每个通道一个。逐点卷积是一个 1x1 的卷积，用于将深度卷积的输出通道组合和混合。深度可分离卷积是一种高效的卷积操作，它将传统的卷积操作分解为两个部分：深度卷积和逐点卷积。
2023-12-09 19:22:31
1229
原创 激活函数数学详解以及应用场景解释
应用 Sigmoid 激活函数的计算过程是将这个特征图中的每个元素通过 Sigmoid 函数转换。应用 Tanh 激活函数的计算过程是将这个特征图中的每个元素通过 Tanh 函数转换。其中 ( x_i ) 是一个特定输出节点的输入，分母是所有输出节点输入的指数和。应用 ReLU 激活函数的计算过程是将这个特征图中的每个元素与 0 比较，取较大者。Tanh 函数的输出是零中心的，这使得在某些情况下，它比 Sigmoid 函数表现更好。Sigmoid 函数是一个经典的激活函数，通常用于二分类问题中。
2023-12-09 18:46:24
1946
原创 卷积详解和并行卷积
ps：在 TensorFlow Keras 中，构建 Sequential 模型的正确方式是将层作为列表传递，而不是作为一系列单独的参数。而不是model=models.Sequential(layers，layers)
2023-12-08 21:46:34
4508
原创 AlexNet 网络详解
AlexNet 是深度学习和计算机视觉领域的一个重要里程碑，它在 2012 年 ImageNet 挑战赛中获得冠军，显著提高了图像分类的准确率。AlexNet 是第一个成功应用于大规模视觉识别任务的深度卷积神经网络。
2023-12-06 11:31:55
1673
原创 ResNet（残差网络）详解
ResNet（残差网络）是一种深度神经网络架构，主要用于解决深度学习中的梯度消失和梯度爆炸问题，特别在深层网络的训练中表现出色。
2023-12-06 11:21:55
2061
原创 clang的AST源码分析
RecursiveASTVisitor的模版类DeducedTypeVisitor。被RecursiveASTVisitor调用。注意getDeducedType。
2023-12-04 18:33:45
665
原创 贝叶斯分类器（Bayesian Classifier）
贝叶斯分类器是基于贝叶斯定理的一类统计分类方法。它们在给定数据的条件下，通过计算不同类别的概率来进行分类。
2023-12-03 23:55:35
1373
原创 集成学习（Ensemble Learning）
集成学习是一种机器学习方法，它结合了多个模型的预测结果以提高整体性能。这种方法的基本思想是，多个模型一起工作比单个模型单独工作更有效。
2023-12-03 23:53:00
1296
2原创 支持向量机（SVM）
支持向量机（SVM）是一种流行的监督学习方法，用于分类和回归任务。它的目标是找到一个最优的决策边界（超平面）来区分不同类别的数据。
2023-12-02 21:37:36
1313
原创 matplotlib可视化PCA后的重建图像及重建误差
该代码段展示了如何使用Matplotlib（通常缩写为plt）进行数据可视化。通过以上的plt函数，我们可以对PCA的重建效果进行可视化，并观察不同维度下的重建误差变化。
2023-12-01 18:38:58
562
原创 零LDA（Linear Discriminant Analysis）详解
零LDA是一种特殊的线性判别分析方法，用于处理具有高维特征但样本数量较少的情况。在这种情况下，传统的LDA由于“小样本问题”而变得不稳定，零LDA提供了一种解决方案。
2023-12-01 18:20:00
1117
原创 线性判别分析（LDA）原理详解及实现
线性判别分析（Linear Discriminant Analysis，LDA）是一种用于分类和降维的方法。其目标是寻找一个线性组合，使得不同类别的数据在新的维度上具有最大的可分性。计算类内散度矩阵和类间散度矩阵：计算矩阵 SW−1SBS_W^{-1}S_BSW−1SB 的特征值和特征向量：选择特征值最大的特征向量：将数据投影到新的坐标轴上：SW=∑i=1c∑x∈Di(x−mi)(x−mi)T S_W = \sum_{i=1}^{c} \sum_{\mathbf{x} \in D_i} (\math
2023-12-01 17:12:10
3709
原创 主成分分析（PCA）
协方差是衡量两个变量之间线性关系的统计量。对于两个随机变量 ( X ) 和 ( Y )，其协方差定义为：CovXYEX−μXY−μYCovXYE[(X−μXY−μY)]其中，EEE是期望值运算符，μX\mu_XμX和μY\mu_YμY分别是XXX和YYY的均值。对于给定的方阵AAA，特征向量vvv和对应的特征值λ\lambdaλAvλvAvλv这里，AAA是一个方阵，v。
2023-11-30 16:08:43
1261
原创 简单的最小距离分类器
最小距离分类器（Minimum Distance Classifier）是一种简单的分类算法，它基于计算数据点到不同类别中心的距离来进行分类。它通常用于二维或多维数据的分类。
2023-11-30 15:15:04
2274
原创 谱聚类算法
谱聚类（Spectral Clustering）是一种基于图论的聚类方法，适用于识别复杂的数据结构，特别是在传统聚类方法（如K-means）表现不佳时。
2023-11-29 17:21:54
487
原创 C_means算法
模糊C均值（C-means）算法步骤算法概述模糊C均值算法是一种基于隶属度的聚类方法，允许单个数据点属于多个聚类中心。这种属于程度由隶属度表示。初始化数据输入：输入数据集，指定聚类数量 (C)、模糊系数 (m)（通常为2）、误差阈值和最大迭代次数。隶属度初始化：随机初始化隶属度矩阵，使得每个数据点对各聚类的隶属度之和为1。更新聚类中心根据当前的隶属度矩阵计算每个聚类的中心。聚类中心是数据点的加权平均，权重是其隶属度的 (m) 次幂。更新隶属度对于每个数据点和每个聚类，基于数据点与
2023-11-29 17:14:26
928
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人