- 博客(75)
- 收藏
- 关注
RSS订阅原创 详细分析swanlab集成mmengine底层实现机制--源码分析
参数custom_cfg的三种核心用途用途说明代码示例1. 新增统计方式为指标添加额外的统计方式（保留原指标）2. 覆盖统计方式改变指标的默认统计方式（不指定log_name3. 组合多个统计同时使用多种统计方法可以同时添加均值、最大值、最小值等多个统计如果你想统计其他自定义指标，可以通过custom_cfg配置。默认情况下，所有指标都会被记录custom_cfg是用来改变这些指标的统计方式（如均值、最大值、最小值）# 统计 accuracy（默认不会被捕获），这里新增一个指标dict(
2026-03-22 15:39:26
428
原创 优化加速模型训练涉及的参数：pin_memory,num_workers,batch_size
设置现象原因解决过低 (如 0, 1)GPU利用率低，CPU有空闲数据加载跟不上GPU计算逐步增加过高 (如 > CPU核心数)GPU利用率低，系统卡顿，内存占用高，可能报错进程间激烈竞争，内存溢出调低合适GPU利用率稳定在90%以上，内存稳定生产和消费达到完美流水线保持该设置和batch_size不是两个独立的参数，它们通过系统内存（RAM）和PCIe带宽这两个有限资源紧密耦合。如果只盲目调大其中一个，另一个很快就会成为瓶颈，甚至导致训练崩溃。参数本质增加的影响平衡原则。
2026-03-09 12:22:45
418
原创 归纳理解epoch、batch、batch size、step、iteration深度学习名词
在深度学习中，一个epoch表示模型完整遍历整个训练数据集一次。假设数据集有1000个样本，模型在训练过程中将这1000个样本全部学习一遍即为一个epoch。通常需要多个epoch才能使模型收敛。
2026-03-09 12:21:40
511
原创 列式存储 vs 行式存储
维度行式存储列式存储核心思想一行数据连续存储一列数据连续存储数据组织[行1], [行2], [行3], ...[列1], [列2], [列3], ...读整行⚡ 极快（1次I/O）🐢 慢（多次I/O）读整列🐢 慢（读所有行）⚡ 极快（1次I/O）聚合查询🐢 需要读所有列⚡ 只读需要的列压缩率🐢 低（数据类型混杂）⚡ 高（同类型+范围集中）插入/更新⚡ 快（直接追加）🐢 慢（需要维护多列）典型代表索引机制B-Tree, 哈希索引Zone Maps, 稀疏索引, 向量索引适用场景。
2026-02-27 10:57:40
602
原创 Ray 开源分布式计算框架-介绍-常用组件/库-并给出具体代码示例
Ray是一个开源分布式计算框架，专注于高性能、低延迟的机器学习和大规模任务并行处理。由 UC Berkeley 的 RISELab 开发，旨在简化分布式 Python 应用的开发。
2026-02-25 15:02:25
658
原创 Conda install安装了一些库，如何撤销操作
-revision 0这里的0表示会滚到version 0;那么rev1和rev2这两步的操作都会消失，回滚到rev0初始状态。
2025-08-01 19:00:00
551
原创 Omegaconf--一个用于管理配置文件和参数的超强python库
OmegaConf 是一个 Python 库，专门用于处理 层级化的配置管理（比如 YAML/JSON 配置文件），它提供了强大的功能来 动态加载、合并、覆盖和访问配置，特别适合深度学习、机器学习和复杂应用的配置管理
2025-06-27 18:13:55
656
原创 linux基础命令 之 文件过大通过命令查看包括分页、行号、格式化json
有时候遇到需要打开的文件数据量过多，无法格式化查看，可以通过命令方式 格式化、显示行号并且分页的方式查看数据，并且可以支持搜索并定位到指定关键词；
2025-06-18 20:30:00
483
原创 fiftyone-dataset使用基础
解决方法：指定覆盖写 添加参数overwrite=True, 默认为False。2.加载已有的dataset。3.查看所有datasets。4.删除指定dataset。
2025-05-14 23:45:00
419
原创 fiftyone-数据库配置和config与app_config配置文件
fiftyone数据库信息存在配置文件中：配置文件地址： ~/.fiftyone/config.json这个配置文件的作用：存放数据库地址信息；（如果不配置，fiftyone自己会有一个临时数据库，将数据写入临时数据库后，不具备缓存作用，临时数据库每次都会清空数据）
2025-05-14 23:30:00
369
原创 详解tar.gz, tar.xz, tar, gz后缀文件的区别
详解tar.gz, tar.xz,tar, gz后缀文件的区别`tar.gz`、`tar.xz`、`tar` 和 `gz` 是常见的文件压缩与归档格式，它们的区别主要在于文件的归档和压缩方式。
2024-10-15 22:11:08
6567
原创 (已解决)vscode使用launch.json进行debug调试报错：Couldn‘t spawn debuggee:embedded null byte
(已解决)vscode使用launch.json进行debug调试报错：Couldn't spawn debuggee:embedded null byte
2024-10-15 21:49:10
1340
原创 (附代码)psutil实时监控脚本运行过程中消耗的资源
如何避免使用top命令一直盯着屏幕，监控资源。在脚本中内置 资源监控代码，将实时资源变化记录到log文件，当脚本运行结束，监控也停止(附上代码)
2024-09-27 12:39:51
409
原创 初步了解SLAM
Simultaneous Localization and Mapping同时定位核建图。是一种在未知环境中，通过感知数据进行自主定位核地图构建的算法。多趟建图通过多次遍历和数据融合来提高地图的精度和详细程度，而重定位则是在已知地图中重新确定位置，以确保定位的准确性和连续性。
2024-09-10 20:19:16
638
原创 3d图像重建中psnr含义
PSNR（Peak Signal-to-Noise Ratio，峰值信噪比）是衡量图像或视频质量的常用指标，主要用于评价原始图像与重建图像之间的相似程度。附上代码示例
2024-09-06 12:36:24
1507
1
原创 vscode安装rest client插件，提示XHR failed
vscode安装rest client插件，提示XHR failed,已解决！
2024-09-02 21:59:45
365
原创 vscode+django开发后端快速测试接口(轻量版，免postman安装)
超级方便又好用的测试接口插件！！在vscode中只需要安装一个插件Rest Client即可完成接口测试，无需安装postman,vscode天生支持你发的HTTP请求，并给出响应。
2024-09-02 21:45:33
971
原创 conda环境迁移(20241015更新：新增conda环境中存在editable 包如何解决)
因为在服务器A上搭建好了conda虚拟环境，希望在服务器B上使用，重新再创建新环境，显然比较浪费时间，因此可以对服务器A已搭建环境打包迁移到服务器B上，解压后直接使用即可。
2024-08-31 20:50:53
1550
原创 显存碎片化与CUDA OOM解决
在深度学习中，训练模型往往会遇到cuda Out of memory的问题，有时候是因为显存不足，显存碎片化原因导致的，这里记录一下显存内存分配的原理以及碎片化形成的原因和解决方法
2024-05-22 16:23:44
2879
原创 vscode ssh远程服务器并通过代码程序以及terminal启动GUI
vscode中配置X11 /Xserver使得在ssh远程连接服务器时，可以直接在vscode中通过代码程序，terminal端以及debug模式打开GUI界面
2024-04-13 16:58:44
978
原创 安装cuda后只在root用户下可见，非root不可见问题
记录在安装cuda后，利用nvcc -V查看版本信息时，只能在root用户下可以正确显示，但是在非root用户下无法访问到cuda问题的原因和解决方法。
2024-04-08 21:33:16
1152
1
原创 ubuntu安装与卸载Nvidia驱动，anaconda,vscode，remote远程配置
记录在系统ubuntu中安装与卸载Nvidia驱动，安装anaconda, 安装vscode以及remote远程配置
2024-04-07 19:09:06
1354
原创 业界分布式训练框架学习笔记1
分布式训练框架的实现逻辑学习笔记1、Why?深度学习模型尺寸逐渐扩大，训练数据量显著上升。为了更好利用训练资源，提高效率。2、 分布式训练原理主要两种思路：一是模型并行，另一个是数据并行。（1） 模型并行即将一个模型分拆为多个小模型，分别放在不同设备上，每个设备可跑模型的一部分(例如，UNet网络就是将模型拆为两部分，分别在两块卡上训练)。存在的问题：模型在训练时需要更新梯度等，使得模型各部分之间关联性较大，因此这种方式效率较低，需要分散在不同设备之间的频繁通信，一般少用。（2） 数据并行
2022-05-10 18:33:01
853
原创 Linux--ubuntu命令积累
1. apt-key: 管理APT软件包的密钥常用参数：add filename 从文件中加载新的密钥到被信任的密钥中del kid 从被信任的密钥中删除指定密钥export keyed 将指定的密钥输出到标准输出设备exportall 将所有密钥输出到标准输出设备list 显示被信任密钥finger 显示被信任密钥的指纹adv 向pgp传递高级特性update 通过key包来更新key.
2022-04-21 15:00:08
355
原创 Goland 调试go使用-大白记录
前提环境检验：goland安装成功；go环境变量已配置，验证：cmd----输入go version可显示版本信息，如下：查看go 环境信息，通过命令go env实现，如下：主要关注下GOPATH至此，环境完成！Bug修复：git clone代码后，goland打开报错GoLand：Cannot resolve symbol以及sync dependencies ofxxx时也报错，但是运行官方示例代码就可以正常。后来发现是GOPATH设置问题，修改如下：
2022-04-21 14:57:21
4259
原创 Go语言实现对k8s中资源的增删改查
本文介绍利用go语言实现对k8s中pod/service/deployment资源的增删改查操作。（个人实际操作的记录，有错误欢迎指正呀~）K8s中有哪些资源？资源对象：deployment、service、ingress、replicaSet、pod、namespace、node等核心资源：pod service deploymentclient-go源码准备工作：已安装kubernetes集群和本地IDE环境配置完成。根据自己的kubernetes版本，下载对应源码：c
2022-04-21 14:56:40
1980
原创 docker中设置proxy代理环境变量
目录1.dockerfile中定义2.对于已构建好的 Image（1）传递永久环境变量（2） 临时传递3.对于已生成的容器：（1）永久设定环境变量（2）临时设定1.dockerfile中定义2.对于已构建好的 Image有两种方式：（1）传递永久环境变量在启动的时候传入参数：$ docker run --rm -it -e https_proxy="https://IP地址:端口" -e http_proxy="http://IP地址:端口" i
2022-04-15 10:37:43
5782
原创 Anaconda 迁移
step1: copy condadocker cp 本机conda虚拟环境路径 容器内虚拟环境路径查看虚拟环境路径：conda info -e例如：本机容器内：则，迁移命令为：docker cp /home/XXX/anaconda3/envs/py38torch18 容器IP:/opt/conda/envs/迁移完成后，进入容器，验证：conda info -e问题：1.遇到bash: /opt/conda/envs/py38torch18/
2022-04-15 10:22:45
2556
原创 Python系列学习汇总-持续记录
一、文件相关1. Pathlib模块，“/”含义1.ROOT_DIR = (Path(__file__).resolve().parent / '../../../').resolve()(1)Path(__file__).resolve()含义：Path是可以进行系统调用的 PurePath 子类；__file__表示表示显示文件当前的位置；.resolve()表示将路径或路径片段的序列解析为绝对路径;.parent()来自OpenPCDet系列中pcdet/datasets/
2022-04-14 09:45:59
961
原创 Client-go系列：其他-Go语言基础---持续更新记录
当标识符（包括常量、变量、类型、函数名、结构字段等等）以一个大写字母开头，如：Group1，那么使用这种形式的标识符的对象就可以被外部包的代码所使用（客户端程序需要先导入这个包），这被称为导出（像面向对象语言中的 public）；标识符如果以小写字母开头，则对包外是不可见的，但是他们在整个包的内部是可见并且可用的（像面向对象语言中的 protected ） go run & go build： go run xx.go会直接执行代码，不生成其他文件 还可用go build xx.go生
2022-04-01 15:19:20
356
原创 VScode连接远程服务器以及在远程docker环境下debug调试代码
本文主要记录自己在windows环境下的vscode如何连接远程linux环境，以及如何连接远程服务器中的docker container,在容器中进行代码调试，开心debugo(*￣▽￣*)ブ如何连接远程服务器？step1: 安装Remote-ssh插件，安装完成后左侧工具栏出现如下图左侧最后一个小图标step2:添加服务器连接配置信息，点击新增小电脑图标----点击SSH TARGETS处的“+”：然后输入远程服务器的地址，账号和ip根据自己的情况进行修改：回车后，.
2022-03-30 14:02:30
2513
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人