- 博客(352)
- 收藏
- 关注
RSS订阅原创 生成模型概念和应用领域
生成模型（Generative Models）是机器学习和人工智能领域的重要研究方向，旨在学习数据的分布并生成新的样本。近年来，生成模型在图像生成、文本生成、语音合成、推荐系统等领域取得了显著进展。从自回归模型到生成对抗网络，再到扩散模型，生成模型的技术不断演进，生成样本的质量和多样性显著提升。未来，生成模型将在多模态生成、科学计算、伦理安全等方面继续取得突破，为人工智能的发展注入新的动力。生成模型的目标是学习数据的概率分布 ( P(X) )，并能够从中采样生成新的数据样本。
2025-02-10 15:04:28
758
原创 检测远程服务器是否与本地连接
通过这些工具和命令，你可以全面检测远程服务器与本地之间的连接状态，包括网址和端口的连通性。根据具体需求选择合适的工具进行排查。
2025-01-14 21:04:54
711
原创 深度学习模型适应两种不同的正态分布
通过上述策略，可以有效地使深度学习模型适应两种不同的正态分布。具体选择哪种策略取决于任务的具体需求和数据的特性。通常需要结合多种策略进行实验和调优，以达到最佳效果。
2025-01-14 09:40:32
613
原创 RuntimeError: Input type (torch.cuda.HalfTensor) and weight type (torch.cuda.FloatTensor) should be
（16位浮点数，即float16（32位浮点数，即float32`）。要解决这个问题，你需要确保输入张量和权重张量具有相同的数据类型。
2025-01-09 21:26:02
609
原创 浅谈Beam Search
是一种启发式搜索算法，常用于序列生成任务（如机器翻译、文本生成、语音识别等）。它在每一步生成时，保留当前最优的 ( k ) 个候选序列（( k ) 为 beam width），而不是像贪心搜索那样只保留一个最优解。通过这种方式，它能在一定程度上避免局部最优，同时减少计算量。Beam Search 是一种高效的序列生成算法，通过保留多个候选序列，能够在保证生成质量的同时减少计算量。以上代码展示了如何使用 PyTorch 实现一个简单的 Beam Search。
2025-01-02 22:31:37
710
原创 网络模型中fuse()函数作用以及使用前后对比
在深度学习网络中，fuse()函数通常用于将多个层或操作融合在一起，以优化推理速度或简化模型结构。这种操作在推理阶段特别有用，因为它可以减少计算量，提高推理效率。以下是一个基于 PyTorch 的示例，展示了如何将卷积层和批量归一化层进行融合，并对比使用融合和不使用融合的效果。
2024-12-27 11:12:13
549
原创 trunc_normal_ 函数
库中用于初始化张量的一种方法。这个函数将张量的元素用截断的正态分布（高斯分布）值进行填充。截断的正态分布是指在给定的均值和标准差的范围内生成的随机数，但限制在一定范围内，以避免生成过大或过小的值。这个函数通常用于初始化神经网络中的权重，以确保权重值在合理的范围内，从而帮助模型更快地收敛。下面是一个示例，展示如何使用。
2024-12-26 15:35:51
302
原创 浅谈nn.Identity()
是 PyTorch 中的一个模块，它的作用是直接返回输入值而不作任何修改。这个模块通常用作占位符，在不需要对输入进行任何操作时使用。的使用场景通常是在需要保持网络结构不变，但希望有条件地跳过某些层时。
2024-12-26 10:44:48
462
原创 @register_model 装饰器
使用 装饰器来注册模型类有以下几个优势：自动化注册：易于扩展：动态实例化：代码组织清晰：减少重复代码：以下是一个使用 装饰器注册模型的完整示例：示例说明定义模型注册装饰器：定义模型类并注册：动态创建模型实例：通过这种方式，可以实现模型的自动注册和动态实例化，提高代码的灵活性和可维护性。
2024-12-25 21:52:34
682
原创 Squeeze-and-Excitation (SE) 模块
Squeeze-and-Excitation (SE) 模块是一种神经网络架构中的注意力机制，旨在通过学习每个通道的重要性来增强网络的表示能力。这种机制最早由 Jie Hu 等人在 2017 年的论文《Squeeze-and-Excitation Networks》中提出。SE 模块通过全局信息的“挤压”（squeeze）和每个通道的“激发”（excitation）来重新校准特征的通道权重。
2024-12-25 21:28:19
1215
原创 浅谈归一化
归一化是深度学习中加速训练、提高模型稳定性和性能的重要技术。不同的归一化方法有各自的适用场景和优劣，选择合适的归一化方法对模型性能的提升至关重要。通过理解和灵活应用这些技术，可以更好地优化深度学习模型。
2024-12-25 17:01:23
593
原创 浅谈1×1卷积层
1x1卷积层是一种特殊的卷积层，其卷积核大小为1x1。尽管看起来很简单，但1x1卷积层在神经网络，尤其是卷积神经网络（CNN）中，具有多种重要作用：改变通道数：增加非线性：信息整合：计算效率：参数量减少：卷积核大小：计算复杂度：空间信息捕捉：高效的计算和参数量：灵活的通道数调整：1x1卷积层广泛应用于各种深度学习模型中，包括但不限于：下面是一个使用1x1卷积层的简单示例，演示其在改变通道数方面的作用：代码解释定义1x1卷积层模块：创建简单的神经网络：创建网络实例并打印模型结构：示例输入：前向传播：通
2024-12-25 16:58:33
596
原创 SiLU函数
SiLU (Sigmoid-Weighted Linear Unit) 函数，也被称为 Swish 函数，是一种激活函数。它的数学定义如下：其中，
2024-12-25 16:42:08
2795
原创 模型高效微调方式
除了LoRA（Low-Rank Adaptation）外，还有其他一些快速且效果好的模型微调方法。这些方法可以在保持模型性能的同时，减少计算和存储需求。以下是几种常见的方法：这种方法主要包括以下几种子方法：Adapter Layers是在预训练模型的各层之间插入小的适配层，适配层包含少量参数，用于捕获目标任务的特定信息。这种方法只需要微调适配层的参数，而保持预训练模型的其他参数不变。Prefix-Tuning在模型的输入前加上一个可学习的前缀，这个前缀的参数是可训练的，而模型的其他参数保持不变。这种方法主要
2024-12-23 21:07:29
663
原创 LoRA（Low-Rank Adaptation）模型微调
LoRA（Low-Rank Adaptation）是一种高效的模型微调方法，旨在通过矩阵分解和低秩近似技术来减少微调过程中的计算和存储需求。LoRA技术可以在大模型的基础上，利用较少的参数进行微调，从而大幅降低训练成本，并且能够在保持模型性能的同时适应新的任务或数据。低秩分解：适应性：预训练模型：低秩分解：微调低秩矩阵：预测与评估：以下是一个使用PyTorch框架实现LoRA微调的示例代码：代码说明数据集定义：模型定义：训练过程：通过这种方式，LoRA技术可以有效地减少模型微调过程中的计算和存储需求
2024-12-23 20:50:33
890
原创 领域自适应
领域自适应（Domain Adaptation）是一种技术，用于将机器学习模型从一个数据分布（源域）迁移到另一个数据分布（目标域）。这在源数据和目标数据具有不同特征分布但任务相同的情况下特别有用。领域自适应可以帮助模型更好地泛化到新的领域或环境，从而提高其在目标域上的性能。
2024-12-23 20:47:22
1075
原创 增量训练（持续学习）
增量训练（Incremental Training），也称为持续学习（Continual Learning）或在线学习（Online Learning），是一种机器学习方法，模型在接收到新的数据时，能够在不丢失之前学习到的知识的情况下进行更新。这种方法特别适用于数据不断到来或数据集非常大而不能一次性加载到内存中的场景。
2024-12-23 20:46:47
1058
原创 Ubuntu环境下统计进程资源利用率
在Ubuntu环境下，使用Python统计不同进程的资源利用率是一个相对简单且常见的任务。Python提供了多种方法来获取系统信息和进程状态，包括使用标准库中的模块和第三方库。
2024-12-23 17:26:34
290
原创 CMake配置TensorRT10.5.0
不同于之前版本的nvinfer、nvinfer_plugin和nvonnxparser，现在的新版本使用的是nvinfer_10、nvinfer_plugin_10和nvonnxparser_10。
2024-12-02 11:25:36
229
原创 Windows和Ubuntu系统下cmake和opencv的安装和使用
希望以上步骤能帮助你在Windows和Ubuntu系统下顺利完成相关操作，实现使用C++配置OpenCV读取图片并显示的功能。即可看到弹出一个窗口显示指定的图片内容。
2024-12-01 16:10:01
1102
原创 Cmake安装使用教程
CMake是一个开源的跨平台构建系统，主要用于软件的构建、测试和打包。它使用配置文件（CMakeLists.txt）来控制编译过程，并生成适用于不同编译器的项目文件。
2024-12-01 12:05:05
2343
原创 Python下载服务器端数据到本地
要使用Python连接远程服务器并下载指定文件夹下的数据，你可以使用多种方法，其中两种常见的方法是使用SSH协议和SFTP（SSH File Transfer Protocol）或者使用FTP协议。下面我将分别介绍这两种方法。
2024-11-18 11:02:00
868
1原创 bypy安装使用教程
Bypy是一个Python库，是百度云/百度网盘的Python客户端，可以帮助用户在本地电脑和远程服务器之间无缝地传输文件。
2024-11-15 16:26:54
2302
原创 vim教程
总之，Vim作为一款强大的文本编辑器，尽管有一定的学习曲线，但一旦掌握其基本和高级操作，将大大提升你的编辑效率。通过灵活的配置和丰富的插件，Vim可以满足各种编辑需求。希望这篇教程能够帮助你快速上手并深入掌握Vim。Vim是一款功能强大的文本编辑器，广泛应用于Linux系统。它不仅是一个编辑器，更是一个开发者必备的工具。
2024-11-14 16:15:09
866
原创 Ubuntu杀死指定进程
请记住，杀死进程可能会导致数据丢失或其他问题，因此在使用这些命令之前，请确保你了解它们的后果。如果你只是想停止一个特定的Python脚本，通常最好是从脚本内部处理，例如通过设置一个退出信号处理程序。请注意，这将杀死系统中所有正在运行的Python或Python3进程，所以请谨慎使用。在Ubuntu系统中，如果你想杀死所有具有特定名称的Python进程，可以使用。根据完整的命令行来匹配进程名，而不仅仅是进程名。如果你确定要杀死所有Python进程，可以使用。然后，你可以手动杀死这些进程，或者使用。
2024-11-13 14:57:06
1077
原创 tmux简介和使用
tmux是一个开源的终端复用器，它允许用户在一个终端窗口内访问多个独立的终端会话。这意味着你可以在一个窗口中创建多个虚拟终端（称为窗格），并且可以在这些窗格之间自由切换。tmux还支持会话分离和恢复，允许你在断开连接后重新连接回来，并且继续之前的工作，而不会中断正在运行的程序。
2024-10-28 12:32:05
1266
原创 Screen简介和使用
screen是一个由 GNU 项目提供的自由软件，用于允许用户在一个物理终端上启动一个会话，并在断开连接后重新连接回来。它是 Linux 系统下常用的终端复用器，类似于tmux，但比tmux更早出现。screen会话分离和恢复：可以在任何时候从会话中断开连接和重新连接。多窗口：在一个screen会话中可以创建多个窗口，每个窗口都可以独立运行不同的程序。滚动缓冲区：可以回顾会话的历史记录，即使在断开连接后。共享会话：多个用户可以同时访问同一个screen会话。脚本友好：可以通过脚本自动化screen。
2024-10-28 12:20:12
656
原创 网络部署：GPU加速和性能调优
GPU加速和性能调优是提高深度学习模型推理速度和效率的重要手段。在Qt中使用libtorch进行GPU加速时，需要确保硬件和软件配置正确，并在代码实现中充分利用GPU的并行处理能力。同时，通过模型优化、输入数据优化、推理优化以及调试和监控等策略来进一步提高性能。需要注意的是，不同的模型和任务可能需要不同的优化策略，因此需要根据具体情况进行选择和调整。
2024-09-27 14:31:41
864
原创 目标检测-小目标检测方法
每种方法和算法都有其优点和挑战，适当的选择和组合这些方法可以有效提升小目标的检测性能。根据具体的应用场景和计算资源需求，可以选择最适合的策略来优化模型的检测能力。
2024-09-06 16:26:01
2429
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人