- 博客(75)
- 收藏
- 关注
RSS订阅原创 关于metrics.classification_report报告中指标解读
指标 核心思想 适用场景macro avg 平等对待每个类别 类别样本量平衡weighted avg 根据样本量加权 类别样本量不平衡根据数据分布和业务需求选择合适的指标！
2025-03-24 17:54:36
320
原创 大模型训练内存预估计算方法
不过，在实际应用中，硬盘等存储设备的制造商通常按照1GB=1000MB，1MB=1000KB，1KB=1000B的进制来计算容量，这就导致在操作系统中查看存储设备容量时，显示的容量会略小于按照1024进制计算的结果。参数（2字节） + 梯度（2字节） + 动量（2字节） + 方差（2字节） = 8字节/参数。B = Billion（十亿）, 因此，671B模型指拥有6710亿参数的模型。- 1GB=1024MB（兆字节）- 1MB=1024KB（千字节）- 1KB=1024B（字节）每个参数占用 2字节。
2025-02-05 14:32:09
2796
原创 图像检索指标理解
说明: 场景: 一张图片输入之后, 在向量数据库中, 每张图片的结果会返回最可能得top5结果图片, 然后判断其模型的召回率和准确率。这个指标能帮助评估模型在不同检索结果数量下，对正例图像的检索能力，指标值越高，说明模型在检索正例图像方面的性能越好。假设要识别包含猫的图像，数据集中共有 100 张包含猫的图像（标签为正例的个数 = 100）。○ 召回率(recall)：表示预测为正例且标签为正例的个数 / 标签为正例的个数。○ 平均检索精度(mAP)
2025-01-09 11:28:40
879
原创 Docker镜像构建案例
说明: 启动对应的app之后, 利用对应的请求文件进行测试, 如果有返回结果这启动正常。说明: 这样就在后台启动好了已经部署的app, 直接提供接口进行请求即可。说明: 执行的位置是需要再Dockerfile当前目录下。即在构建镜像复制文件的时候, 忽略掉这些文件。
2024-11-26 14:27:07
232
原创 两个docker之间的服务相互访问
说明: 在dockerA中访问dockerB的服务的时候, 只需要在URL中指定为dockerB容器的名字(即yolov8)即可, 端口他会自动查找.说明: 这里可以指定端口也可以不指定, 都无所谓, 后面不会再宿主机直接访问。说明: 这里的5000端口就是即将要访问的端口号。
2024-11-25 16:41:58
667
原创 Docker基础命令(三)
背景: 在很多时候, 训练模型的时候, 记录的log日志中标记的时间和实际的时间不一致, 往往是容器时间和本地时间不一致照成的.
2024-05-29 14:44:35
504
1
原创 github上传代码到分支
github远程仓库已经创建, 我们要做的就是和远程仓库建立联系并上传代码到自建的分支上, 并修改上传者的身份信息.这个是在使用过程中总结的使用步骤, 希望遇到同样问题给大家有个比较完成的提示, 同时作为自我知识积累的沉淀.
2023-09-27 14:42:45
923
原创 终端使用代理进行大模型下载
想在本地终端下载huggingface的模型进行微调使用, 但是需要代理进行访问.不然下载容易报超时错误.以上为使用过程中的记录笔记.希望可以帮到大家!
2023-09-13 17:59:47
546
原创 airflow的安装
随着任务的增多, 需要顺序的自动执行, 这个时候就需要有一款合适的框架, 对工作流进行执行和监控, 所以在这里选择了airflow的使用.根据以上的步骤, 可以很快的安装和搭建起airflow, 后期就是对其部署和使用了, 部署和使用待下期更新~~~.
2023-08-15 10:15:55
2291
原创 Docker基础命令(二)
这个参数，将容器中的一个目录或者文件 和主机上的目录和文件进行绑定，绑定之后，修改主机上的这个文件就相当于修改了容器中的文件，删除容器之后，绑定的目录和文件还在主机（不会被删除）在真实电脑终端执行: docker cp 容器id:文件路径 本地文件路径, 例如: docker cp 8ceb72275be3:/home/world.txt ./一般情况下，容器在制作的时候，都已经设定好了默认运行的命令，即在容器创建成功之后默认要开启的程序。数据是保存在容器里的，如果容器删除了数据也就删除了。
2023-07-31 14:38:49
575
原创 Docker基础命令(一)
使用docker镜像nginx:latest以后台模式启动一个容器,并将容器命名为wuxidixi。如果本地已经使用了3306端口，那么可以容器的3306端口映射到本机端口的3307或者其他的。下载完成后，我们就可以在本地镜像列表里看到名为 mysql ，标签为5.5的镜像。从Docker Hub下载REPOSITORY为mysql的所有版本的镜像。什么是过程镜像：在构建新镜像的过程中产生的镜像或者依赖的镜像。移除容器对容器mysql的连接，连接名mysql。列出本地镜像中镜像名为ubuntu的镜像列表。
2023-07-31 12:33:00
505
原创 windows和mac下解决中文乱码问题
windows下解决中文乱码问题下载 SimHei 字体（或者其他的支持中文显示的字体也行）1） 安装字体windows下：双击安装找到修改的配置文件import matplotlibmatplotlib.matplotlib_fname()[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-gJNEw1a4-1603974794555)(./image-20201029201721831.png)]对相关的配置进行修改打开matplotlibrc
2023-07-04 11:35:01
780
原创 GPU相关使用命令
相关使用命令实时监控GPU使用情况: watch -n 0.5 nvidia-smi查看GPU型号: lspci | grep -i vga对应的查询网站: GPU型号查询直接查看命令: nvidia-smi -a |grep -i Product\ Name
2023-06-28 09:13:34
282
原创 python中max使用求dict中的最大值
python中max的使用当max中使用key的时候结果展示总结max(dict_data) # 返回字典中key最大的项，返回值为keymax(dict_data,key=dict1.get) # 返回字典中value最大的项，返回值是value最大的那个key也就是说，max(dict)返回的总是字典的键，根据max()函数的key参数后面所传入的值，判断要比较的项是 key 还是 value；不管比较的项是key还是value，返回的值依旧是key。...
2022-07-08 18:16:14
4280
原创 Python中 MethodType, FunctionType的区别和联系
from types import FunctionType, MethodTypeclass Car(object): def __init__(self): pass def run(self): print("my car can run!") @staticmethod def fly(self): print("my car can fly!") @classmethod def jum.
2022-05-27 10:15:24
670
原创 注意力机制简介
注意力机制解析1.1 注意力机制介绍 什么是注意力: 我们观察事物时，之所以能够快速判断一种事物(当然允许判断是错误的), 是因为我们大脑能够很快把注意力放在事物最具有辨识度的部分从而作出判断，而并非是从头到尾的观察一遍事物后，才能有判断结果. 正是基于这样的理论，就产生了注意力机制. 什么是注意力计算规则: 它需要三个指定的输入Q(query), K(key), V(value), 然后通过计算公式得到注意力的结果, 这个结果代表query在key和value作
2022-05-27 10:12:59
703
原创 sklearn.metrics.classification_report函数使用异常情况
报错信息ValueError: Number of classes, 140, does not match size of target_names, 142. Try specifying the labels parameter函数介绍多分类任务评估指标生成工具，指标如Precision，Recall, F1函数参数sklearn.metrics.classification_report(y_true, y_pred, labels=None, target_names=None
2022-05-06 15:43:04
4597
2
原创 镜像源汇总
国内镜像源汇总清华大学：https://pypi.tuna.tsinghua.edu.cn/simple北京理工大学：http://mirror.bit.edu.cn/web/中国科技大学 ：https://pypi.mirrors.ustc.edu.cn/simple/中国科学院：http://www.opencas.org/mirrors/华中理工大学：http://pypi.hustunique.com/山东理工大学：http://pypi.sdutlinux.org/阿里云：http:
2022-04-29 15:06:40
573
原创 自动化发送邮件
模型训练完成之后自动发送训练结果code展示# -*- coding: utf-8 -*-# @Time : 2022/4/22 下午5:50 # @Author : junzai# @File : auto_send_emali.py# @Software: PyCharm# Import smtplib for the actual sending functionimport smtplibfrom email.mime.text import MIMETextfrom emai
2022-04-24 17:49:47
540
原创 在训练模型的过程可以使用的进度条展示方式
展示方式普通进度条带时间的普通进度条tqdm库alive_progress库PySimpleGUI库progressbar库1. 普通进度条for i in range(1, 101): print("\r", end="") print("进度: {}%: ".format(i), "▓" * (i // 2), end="") sys.stdout.flush() time.sleep(0.05)2. 带时间的普通进度条t = 60print(
2022-04-24 10:52:55
1157
原创 MAC M1 anaconda安装tensorflow
因为之前一直使用的是inter的anaconda, 而m1使用的是ARM64架构, 因为不想进行conda的更换, 所以有了以下的环境配置过程, 不过随着技术的发展, 等待后期m1兼容性比较好了之后, 在使用其他方式吧.下面这种方式是目前配置的方式:1. 安装anaconda,目前最简单的可行的方案是: python3.7.13+tensorflow2.0.0首先官网下载anaconda的MacOS版本, 这里下载的是python3.9.7版本.安装低配的TensorFlow2.0.0, p
2022-04-19 11:13:38
2534
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人