- 博客(93)
- 收藏
- 关注
RSS订阅原创 机器学习 - 强化学习详解
通过对 Q-learning 和 PPO 算法的深入剖析，可以看到强化学习的核心在于通过与环境的持续交互，智能体能够不断调整其策略或值函数，以实现最优决策。Q-learning 通过更新 Q 表来找到最优策略，而 PPO 则通过策略优化直接改进策略网络，使智能体能够在复杂环境中稳定学习。无论哪种算法，其最终目的都是帮助智能体在各种状态下做出最优决策，从而实现预期的目标。
2024-08-11 18:21:52
3756
原创 模型部署 - docker
要在 Linux 上使用 Docker 部署大模型，涉及到将模型和其依赖项打包进 Docker 容器，然后在容器中运行模型服务。通过这些步骤，你可以在 Linux 上使用 Docker 部署并运行大模型。如果你的模型需要使用 GPU 加速，你需要安装 NVIDIA Docker 以便在 Docker 容器中使用 GPU。如果你的模型需要使用 GPU 加速，需要安装 NVIDIA Docker，以便在 Docker 容器中使用 GPU。容器启动后，模型服务会在指定的端口（例如 8080）上运行。
2024-08-10 17:42:44
1894
2
原创 大模型 - 分布式训练方法汇总
在深度学习和模型训练中，利用 GPU 进行加速是常见的做法，而在拥有多张显卡的情况下，学会查看本地的 GPU 列表并合理选择分布式并行训练的方法是提高训练效率的重要手段。
2024-08-10 15:25:08
1471
原创 深度学习 - 数据存储形式对比(pkl/CSV/JSON等)
在讨论深度学习中 .pkl 格式与其他常见文件格式（如 CSV、JSON、HDF5、Parquet 等）的区别时，重点可以放在它们如何处理数据的序列化、存储和读取。这些区别直接影响到文件格式的性能、存储效率和使用场景。
2024-08-09 15:02:55
1622
原创 LoRA 的基本原理和操作步骤
Low-Rank Adaptation (LoRA) 是一种技术，用于在有限的计算资源和训练数据下，针对特定任务微调大型预训练模型。LoRA 的核心思想是将原始模型的参数矩阵分解为两个低秩矩阵，从而减少需要微调的参数量。下面详细讲解 LoRA 的原理和具体过程。
2024-08-07 14:41:27
1221
原创 使用LoRA微调LLaMA3
在这个案例中，我们将使用LoRA微调LLaMA3模型，进行一个文本分类任务。我们将使用Hugging Face的Transformers库来完成这个过程。
2024-08-07 14:39:11
1676
3
原创 图数据库 - Neo4j 的 Py2neo 使用
通过本文的介绍，我们详细了解了如何使用 Py2neo 进行各种复杂的图数据库操作，包括索引与约束、事务处理、批量操作、图算法、与 Pandas 的集成，以及 NodeMatcher 和 RelationshipMatcher 的使用。这些功能可以帮助我们更高效地管理和分析图形数据，从而在实际应用中发挥图数据库的强大优势。
2024-07-30 18:25:33
1710
2
原创 多标签多分类损失计算 - BCEWithLogitsLoss详解
通过以上示例，我们可以看到在不同参数设置下的具体应用。每个参数都能显著影响损失的计算方式，从而适应不同的任务需求。参数作用示例结果weight对每个类别设置不同的权重，用于加权计算损失如果为True，损失将会被平均，否则会被求和（已弃用，使用reduction参数）reduce如果为True，损失将会被求和（已弃用，使用reduction参数）reduction指定损失的归约方式，可以是'none''mean'或'sum'通过这个代码实现，您可以更好地理解的计算过程及其各个参数的作用。
2024-07-27 17:33:11
1886
原创 二分类损失 - BCELoss详解
BCELoss (Binary Cross-Entropy Loss) 是用于二分类问题的损失函数。它用于评估预测值和实际标签之间的差异。在 PyTorch 中，BCELoss是一个常用的损失函数。以下是 BCELoss 的详细计算过程和代码实现。
2024-07-27 17:29:13
4697
原创 序列标注任务 - CRF条件随机场
原理：序列标注任务是指给定一个输入序列，为每个元素分配一个标签。例如，给一句话中的每个词打上词性标签（名词、动词等）。生活化场景：想象你在读一本小说，书中每个人物的名字都要用不同颜色的高光笔标出来。这就像在进行命名实体识别（NER），你需要识别出哪些词是人名，然后标注出来。原理：HMM是一种用于序列标注的模型，它假设序列中的状态之间有隐含的马尔可夫过程。而MEMM则结合了最大熵模型的思想，用来建模当前状态和观察值之间的关系。生活化场景。
2024-07-15 10:00:33
944
原创 图数据库 - Neo4j简介
Neo4j 是一个基于图的数据库管理系统，它使用图形理论来表示数据关系。这种数据库与传统的关系型数据库不同，它更适合处理高度互联的数据结构。通过理解和使用 Neo4j 与 Cypher 语法，我们可以高效地处理和分析图数据，解决复杂的关系问题。无论是社交网络分析、推荐系统还是欺诈检测，Neo4j 都能提供强大的解决方案，使得数据处理更加直观和高效。
2024-07-12 20:29:00
3278
原创 深度学习 - 模型剪枝技术详解
模型剪枝（Model Pruning）是一种通过减少模型参数来降低模型复杂性的方法，从而加快推理速度并减少内存消耗，同时尽量不显著降低模型性能。这种技术特别适用于资源受限的设备，如移动设备和嵌入式系统。模型剪枝通常应用于深度神经网络，尤其是卷积神经网络（CNNs）。通过本文的讲解和代码示例，您应该对模型剪枝技术有了更全面的了解。模型剪枝是一种有效的模型压缩技术，可以显著减少模型的计算和存储需求。在实际应用中，需要根据具体需求选择合适的剪枝方法和剪枝比例，并通过微调恢复剪枝后的模型性能。
2024-07-09 09:59:12
4897
2
原创 大模型 - 知识蒸馏原理解析
知识蒸馏通过教师模型提供的软标签引导学生模型，使得学生模型不仅关注硬标签的分类准确性，还能从软标签中学习更丰富的类别间关系，从而在模型压缩的同时尽量保留性能。这种方法特别适用于在资源受限的环境中部署高效的深度学习模型。
2024-07-07 12:00:00
3835
原创 python中的原子操作简介
原子操作是指一个不可分割的操作，即这个操作在执行的过程中不会被其他操作打断或干扰。在计算机科学中，原子性（Atomicity）意味着操作要么全部完成，要么全部不完成，没有中间状态。在多线程编程中，原子操作确保了在执行该操作时，其他线程无法访问或修改共享数据，从而避免了竞争条件（Race Condition）和数据不一致问题。原子操作在多线程编程中是确保数据一致性和避免竞争条件的重要概念。虽然Python中某些简单的操作是原子的，但对于更复杂的操作，通常需要使用锁来确保原子性。
2024-07-05 14:24:40
1395
原创 NLP - Softmax与层次Softmax对比
词汇Softmax 概率层次Softmax 概率apple0.4450.525banana0.1640.0702cherry0.2700.3472date0.1210.0575以上结果显示了传统Softmax和层次Softmax的概率计算方法及其结果。通过构建霍夫曼树，层次Softmax显著减少了计算复杂度，特别适用于处理大规模词汇表的任务。特点Softmax层次Softmax计算复杂度O(N)O(log(N))优点简单直接，适用于小型词汇表。
2024-07-04 15:29:32
1801
原创 NLP - 基于bert预训练模型的文本多分类示例
本项目旨在使用DistilBERT模型对给定的标题文本进行多分类任务。项目包括从数据处理、模型训练、模型评估到最终的API部署。该项目采用模块化设计，以便于理解和维护。
2024-07-03 20:32:39
1695
原创 机器学习 - 文本特征处理之 TF 和 IDF
TF（Term Frequency，词频）和IDF（Inverse Document Frequency，逆文档频率）是文本处理和信息检索中的两个重要概念，常用于计算一个词在文档中的重要性。
2024-07-02 15:28:18
1253
原创 python 内存管理机制
Python 的内存管理系统结合了引用计数和垃圾收集，确保高效的内存使用并帮助防止内存泄漏。理解并利用 Python 的内存管理技术，如最小化循环引用和高效使用数据结构，可以显著提高 Python 应用程序的性能和可靠性。
2024-06-20 11:18:12
2212
原创 NLP - word2vec详解
CBOW模型的目标是通过上下文预测中心词。给定一个上下文窗口中的多个词，CBOW模型尝试预测中心词。这种方法适用于大数据集，因为它更容易并行化。例如，给定一个句子 “The quick brown fox jumps over the lazy dog”，假设我们选取 “jumps” 作为中心词，那么上下文词可以是 [“The”, “quick”, “brown”, “fox”, “over”, “the”, “lazy”, “dog”]。CBOW模型尝试通过这些上下文词来预测 “jumps”。
2024-06-15 19:55:22
1898
1
原创 深度学习 - RNN训练过程推演
在每个时间步中，隐藏状态hth_tht是由当前输入xtx_txt和前一个时间步的隐藏状态ht−1h_{t-1}ht−1共同决定的，并且这些更新后的隐藏状态会在接下来的时间步中使用。这就保证了 RNN 能够捕捉和记住序列信息，并在整个序列训练过程中逐步优化权重。
2024-06-13 17:11:50
1408
2
原创 深度学习 - CNN
定义和基本概念卷积神经网络（CNN）是一种专门用于处理具有网格结构数据（如图像）的深度学习模型。它们在图像识别和计算机视觉领域表现尤为突出。与传统的全连接神经网络不同，CNN利用局部连接和共享权重的方式，能够有效减少参数数量，提高计算效率。CNN在图像处理中的优势局部连接：只处理图像的局部区域，减少参数量。共享权重：同一个滤波器在图像不同位置扫描，进一步减少参数量。池化操作：通过降采样减少数据维度，提取重要特征。
2024-06-11 15:58:22
1922
5
原创 transformer - 注意力机制
Transformer 中的注意力机制通过查询（Q）、键（K）和值（V）捕捉输入序列中元素之间的相关性，利用多头注意力机制增强模型的表达能力。通过缩放点积、应用 softmax、加权求和值向量，模型能够有效地调整输入序列中的信息权重。位置编码确保了位置信息的保留，残差连接和层归一化加速了训练，前馈神经网络进一步处理了注意力输出。编码器和解码器的结合使得 Transformer 能够高效地进行序列到序列的任务，如机器翻译和文本生成。
2024-06-09 17:30:37
1680
原创 深度学习 - 梯度下降优化方法
梯度下降（Gradient Descent）是一种用于优化机器学习模型参数的算法，其目的是最小化损失函数，从而提高模型的预测精度。梯度下降的核心思想是通过迭代地调整参数，沿着损失函数下降的方向前进，最终找到最优解。
2024-06-08 11:49:47
1840
1
原创 深度学习 - softmax交叉熵损失计算
Softmax 函数将原始的预测值转换为概率分布。），Softmax 后的预测概率分布为。），Softmax 后的预测概率分布为。对于第一个样本，真实标签为 1（对于第二个样本，真实标签为 2（Softmax 结果为。Softmax 结果为。因此，最终的交叉熵损失。约为 1.1205。
2024-06-08 11:26:27
1400
1
原创 深度学习 - 激活函数
激活函数具体效果常见问题及解决方案Sigmoid训练速度较慢，梯度消失问题显著，适用于输出层概率预测。梯度消失：使用 ReLU 或其他激活函数。训练不稳定：标准化输入数据。慢收敛：调整学习率。ReLU通常能提供较好的训练效果和模型性能，但可能会遇到 Dying ReLU 问题。Dying ReLU：使用 Leaky ReLU 或 Parametric ReLU。输出不平衡：使用 Batch Normalization。过拟合：应用正则化技术。Leaky ReLU。
2024-06-07 10:42:49
1571
原创 深度学习 - 构建神经网络
概念解释：生活中的例子：想象你是一个厨师，正在调整一个菜谱，使它更加美味。每次你改变一个配料的量，比如盐或糖，你都会尝试这个菜，然后根据味道的变化决定是否需要进一步调整。这就像在神经网络中计算梯度：你调整网络的参数（配料），观察输出（菜的味道），然后根据输出的变化来更新参数（调整配料）。示例代码：运行结果：解释：计算图与梯度计算：运行结果：解释：相对于的梯度是。梯度计算公式：反向传播：所以：∂out∂xi=13×6yi×1=2yi\frac{\partial out}{\partial x_i}
2024-06-06 11:41:22
1623
2
原创 深度学习 - 张量的广播机制和复杂运算
张量的广播机制（Broadcasting）是一种处理不同形状张量进行数学运算的方式。通过广播机制，PyTorch可以自动扩展较小的张量，使其与较大的张量形状兼容，从而进行元素级的运算。
2024-06-05 20:30:38
1791
原创 深度学习 - PyTorch简介
PyTorch的特点和优势动态计算图、易用性、强大的社区支持、与NumPy兼容。安装和环境配置运行结果1.9.0 # 具体版本可能不同配置虚拟环境（推荐使用venv或conda# 创建虚拟环境# 激活虚拟环境基本数据类型和张量操作# 从列表创建张量print(a)运行结果。
2024-06-04 20:32:04
1255
原创 机器学习 - 不均衡学习和异常点检测
不均衡数据集：指数据集中不同类别的数据数量差异很大，通常是正负样本比例严重失衡。例如，在医疗诊断中，患病患者（正样本）远少于健康患者（负样本）。重要性：在许多实际应用中，如医疗诊断、欺诈检测等，少数类样本往往代表重要的情况。忽略少数类可能导致严重后果，例如未能检测出欺诈交易。异常点检测：识别数据集中与多数数据显著不同的数据点。例如，网络流量中的异常请求或金融交易中的异常行为。重要性：在网络安全、金融监控等领域，检测异常行为有助于预防潜在威胁。
2024-05-29 16:30:11
1570
原创 机器学习常见英文
随着该领域的不断发展，算法、数据处理技术和计算能力的进步正在推动越来越复杂的模型的发展，这些模型正在变革行业并解决复杂问题。在机器学习领域，从原始数据到可操作洞察的过程是一个复杂的过程，涉及各种步骤和方法。是一种技术，其中数据集被分成多个折叠，模型在不同的折叠上进行训练和测试，以获得平均性能评分。，包括**长短期记忆（LSTM）**网络，被设计用于处理序列数据，如时间序列或自然语言。框架通过将数据预处理到模型评估的步骤集成在一起，简化了这一过程，确保了一致性和可重复性。机器学习的一个基本概念是。
2024-05-27 09:30:00
1998
原创 lightGBM 集成学习模型 - 以银行风控业务为例
GBDT是一个集成学习方法，它通过逐步添加决策树来构建模型，每一步都试图修正前一步模型的错误。
2024-05-26 20:09:52
1191
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人