- 博客(160)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 SecureCRT ftp操作
securecrt 按下ALT+P打开secureCRT的FTP工具进行FTP操作。2.pwd:查询linux主机所在目录(也就是远程主机目录)3.Is:查询连接到当前linux主机所在目录有哪些文件。4.put:将本地目录中文件上传到远程主机(linux)2.lpwd:查询本地目录(上传文件的目录）4.get:将远程目录中文件下载到本地目录。3.IIS:查询当前本地上传目录有哪些文件。help命令,显示该FTP提供所有的命令。1.lcd:改变本地上传目录的路径。1.cd:改变远程上传目录。
2025-04-06 15:29:36
218
原创 使用taskset指定cpu核同时启动多进程
在多核 CPU 系统中，若希望某个计算密集型任务（如音频处理、机器学习推理）独占一个核心，避免与其他进程竞争资源，可使用 taskset 绑定到特定核心。减少上下文切换（Context Switching）开销，提升缓存命中率。避免多任务争抢核心导致的性能波动。新建run.sh，内容为。确认 CPU 核心数。
2025-04-02 15:51:19
263
原创 已解决：SecureCRT中文显示乱码
Options->Session Options->Appearance->Character encoding 为UTF-8。
2025-04-02 11:13:27
207
原创 超简单：Linux下opencv-gpu配置
同样，遇到网络问题不用管，因为我们不需要下载案例，只是想使用opencv-gpu。注意：看好版本，opencv和opencv_contrib安装包的版本必须一致。1.下载opencv和opencv_contrib安装包。注意：在编译过程中遇到什么下载失败，如下图所示不需要管。2）复制链接去GitHub下载然后上传到服务器。2.配置 CMake。
2025-03-27 14:03:25
345
原创 已解决：yolov12代码在构建数据加载器时卡死，无报错但无进度伴随 CPU/GPU 占用率异常（如 0% 或 100%）
由于debug用不了，所以进入程序埃横打印输出。最后问题锁定在plot_labels()位置，发现plot_labels()这横没走，也有很多网友遇到这个问题，实际上是inux没有显示屏 plot不了。不知道为什么yolov12在数据加载之后卡住即不报错也不动。可能伴随 CPU/GPU 占用率异常（如 0% 或 100%）代码在构建数据加载器时卡死，无报错但无进度。因此我将这横注释掉了，如下图所示。
2025-03-26 18:14:29
130
原创 一篇关于我对tensorrt的理解（包括：概念+代码实战）
TensorRT是英伟达推出的一个深度学习推理（Inference）优化器，主要用于提高模型在NVIDIA GPU上的推理速度。它的核心目标是通过优化模型结构、减少计算资源消耗，显著提升模型推理速度（降低延迟）和吞吐量（每秒处理的样本数），同时保持模型精度。1）支持将主流框架（如 TensorFlow、PyTorch、MXNet）训练好的模型转换为 TensorRT 优化格式，常用中间格式为 ONNX。但注意：在pytorch框架下，使用trt必须通过onnx模型解析才可以构建。
2025-03-24 17:32:18
264
原创 paddleocr快速使用tensorrt进行推理加速
shape_info_filename=“shape.txt”,首次运行：程序会分析输入图像的尺寸范围，并生成shape.txt文件。后续运行：直接复用该文件，避免重复优化。但是，在执行新的进程时一定要删除shape.txt文件再运行否则会报错。误区：使用tensorrt就一定要用到engine文件×，这里的文件地址输入是’models/ocr/ch_PP-OCRv4_det_infer/'，不需要我们自己转换。
2025-03-24 16:53:17
153
原创 onnx转trt报错79: reshape of empty tensor to non-empty tensor. Reshaping [1,0,120] to [0,1,0,120].)
如果Reshape节点无法调整，考虑在模型前添加条件判断或调整层参数，避免生成空张量。
2025-03-20 16:22:04
82
原创 已解决：python多线程使用TensorRT输出为零？附tensorrt推理代码
查了一些博客，说有可能是我cudnn版本和tensorrt的版本不和，但看有些人就算换完版本还是没有输出，我查我是有输入和一个模型的输出，因此我没有考虑换cudnn的版本。（更简单的理解：因为执行程序时多个不同类别模型在一起调用cuda来构建上下文，这就会导致上下文管理混乱，最终造成报错）因为网上的tensorrt推理代码都不全，又臭又长又看不懂，这里一起附上tensorrt推理代码。跟我猜的差不多就是因为trt没有输出，trt线路没通造成报错。管理CUDA上下文，以保证每个程序使用自己独立的上下文运行。
2025-03-20 14:51:30
724
原创 Port xxxxx is in use by another program. Either identify and stop that program, or start the server
3.根据PID杀死该进程。1.安装netstat。
2025-03-18 14:25:11
242
原创 Linux上离线安装PyTorch教程：No module named ‘_bz2：No module named ‘_lzma‘
复制后面的链接并打开，点击torch进入页面，向下滑选择合适的安装包，点击，下载后上传。同样是链接打开的页面往下滑找到torchvision选择合适的安装包，点击，下载后上传。使用–no-deps选项表示仅安装torchvision，若不添加会再次安装相关依赖且重新安装 torch。在终端，同文件的文件夹下执行。进入python安装包下执行。修改lzma.py文件。
2025-03-18 11:05:20
196
原创 解决：ModuleNotFoundError: No module named ‘_sqlite3‘
编译和安装完之后，输入python import sqlite3 报错解决。进入之前下载的python包下，重新编译和安装Python。
2025-03-18 10:10:21
576
原创 docker容器的基本用法
新建容器： sudo docker run -itd --name test --gpus all --cpuset-cpus=‘0-5’ -p 15002:15002 镜像名:tag /bin/bash /home/start.sh。容器导出为tar: sudo docker export -o xxx.tar 容器id 通过tar导入为镜像：sudo docker import xxx.tar 镜像名:tag。容器提交为镜像：sudo docker commit 容器名/容器id 镜像名:tag。
2025-03-18 09:18:33
176
原创 vscode使用ssh同时连接主机CentOS:user和ubuntu20.04:docker
首先判断是不是自己容器中ssh的config文件没配置好导致所有人都链接不到它，如果能在本机下连上docker的ip那就是vscode的问题，再按照下图地址将红圈内的known_hosts内容删除，known_hosts.old文件删除，再次尝试链接。并且将port 22取消注释，这里注意一下，虽然我们docker在建立时候将端口号映射成20002（举例为20002:22）但是实际我们root的端口号仍未22，只不过别人调用我们需要使用20002。此时左侧会变成如下图所示的模样，若不同按照图片更改。
2025-03-18 09:16:02
583
原创 Python3.10报错 No module named ‘_ssl‘
报错原因在编译python3.10的时候不存在ssl相关依赖包，因此在make$make install 时将ssl忽略了。2.重新编译python。
2025-03-17 16:50:27
252
原创 解决：有tensorrt8.6但是却找不到trtexec命令
有tensorrt8.6但是却不能使用trtexec，错误如下所示。2.更改环境变量，让计算机知道trtexec的存在。1.首先查找trtexec是否存在，确定路径。
2025-03-12 15:29:23
252
原创 yolo-TensorRT相关代码逐步详解-pt转engine
基于TensorRT 的推论运行速度会比仅使用CPU 快40倍，提供精度INT8 和FP16 优化，支援TensorFlow、Caffe、Mxnet、Pytorch 等深度学习框架，其中Mxnet、。这里以yolov12-main\ultralytics\engine\exporter.py为例，逐步解读tensorrt相关代码。，没啥可讲得。
2025-03-10 17:28:39
385
原创 CUDA12.1 cudnn9.0.1 python3.10.12配置TensorRT8.6.1，完成yolov12tensorRT推理完整过程
我在win上先进行解压然后上传到了Linux，直接上传会报错，所以进行拆分zip然后上传，但是却将文件夹中的重要文件丢失，找了很多解决方法，最后才关注到我的lib文件夹里面的文件少了很多，重新使用WiFi进行下载观察文件，重新上传，问题解决。千万不要在win的环境下进行安装包的解压操作，因为这样会丢失很多配置文件，后续会报错找不到libnvinfer.so.8等等。具体应该下载哪一版本的TensorRT呢，这里我问的秘塔AI，你们也可以问问它。下面展示了三种不同需求的模型推理代码，都可放心使用。
2025-03-10 15:41:43
390
原创 yolo系列-yolov12训练自己数据集详细过程
下载对应的预训练模型的权重文件。1.发现需要额外添加coco.yaml，在路径/home/user/yolov12-main/ultralytics/cfg/datasets/coco.yaml下，将复制其中的内容。在yolov12-main文件夹下新建coco.yaml，粘贴刚刚所复制的内容，更改nc和类名。另外一种指定显卡的方式，在yolov12-main下打开终端输入export CUDA_VISIBLE_DEVICES=“0,1,2,3”，如果设定1，那么程序运行过程中只能看到"CUDA:1"。
2025-03-07 09:26:41
371
原创 以yolox为例，如何从某一个epoch恢复训练
由于在output文件夹中会出现多个pth文件，下面是对这些权重文件的一些表述。model_epoch_x.pth: 特定epoch的模型权重。model_last.pth: 最后一个epoch的模型权重。model_best.pth: 验证集表现最好的模型权重。model_final.pth: 最终模型权重。scheduler.pth: 学习率调度器状态。checkpoint.pth: 综合训练状态。optimizer.pth: 优化器状态。
2025-03-05 18:36:13
110
原创 Linux执行程序的时候显存不够，释放无用进程
大写的O表示preloaded,小写的o表示user-defined,e表示all processes。根据PID来查询,打印出启动时间和已经运行的时间。打印显卡使用情况以及查看现有进程。强制杀死名为PID的进程。
2025-03-05 17:58:58
80
原创 vscode远程ssh链接服务器
上面弹窗远程资源管理器会出现刚配置的远程连接，根据需要选择在当前窗口连接或在新窗口中连接，此时会让你输入密码，点击enter，链接成功。降级到1.85.2版本并禁用自动更新，因为最新的vscode不支持remote SSH。前提：安装并配置好 ssh 服务,并且远程主机和本地主机在同一个局域网。HostName:远程主机的 IP 地址或主机名。Port:SSH 连接的端口号，通常为22。Host:主机别名,可以写 IP 地址。
2025-03-05 14:19:39
392
原创 深度学习实战-yolox训练json格式数据集（附全过程代码，超详细教程，无坑！）
之前有发过一篇关于这篇文章补充一下如何使用coco的json格式完成yolox的训练。数据集格式。
2025-03-05 14:04:35
160
原创 yolo系列-如何加载中文格式的数据
opencv不能直接加载中文路径下的文件或者不能直接导入含有中文名称的数据。对应修改yolox/data/datasets/coco.py文件中的代码。这里使用pillow包，完成中文数据导入步骤。
2025-03-05 13:41:09
112
原创 手把手教你如何编写预训练垃圾短信识别模型代码（基于nlp，pytorch框架，huggingface实现）
解决方法就是加载模型时进行模型限定，这也呼应上前文说的，你可以先进行模型的引用然后跳到模型本身里面查找问题，这里其实是由于数据处理阶段没有将label的类别转换成int，因此及时限定了模型进行二分类也走的BCE二元交叉熵损失，BCE是需要遵守输入尺度和模型输出尺度匹配的，因此出现述该问题。模型的下载需要手动去huggingface官网下载，请注意此处的模型保存和上述模型保存至本地不同，上面保存是为了使得模型自动适应/匹配AutoTokenizer，而这里则是保存模型的权重文件。预训练后所生成的文件夹。
2025-03-01 20:32:52
1170
原创 Huggingface加载Q&A任务网络且保存至本地
attention_mask和padding是配套使用的，当人为去修改padding的时候，也要把attention_mask里面的参数进行修改。2）attention_mask：为1的表示可以跟谁算，为0的不会参与到self-attention的进一步计算。那上述的两种代码中都是使用了自动分词器选择，它是由checkpoint指定的预训练模型关联的，不用我们自己选择tokenizer，它自动帮我们选择好了。这样就将下图的文件保存至所想要保存的文件夹中，后续可以实现模型本地加载，离线运行，不用挂梯子了。
2025-02-15 10:46:54
573
原创 train_args = TrainingArguments()里面的全部参数使用
strbooloptionalFalse):指的是在输出目录output_dir已经存在的情况下将删除该目录并重新创建。如果：obj: ’ True '，覆盖output_dir中指定的输出目录下的内容。默认值obj: ’ False ’但是不添加这个参数，网络的训练参数也是覆盖的，一般不使用。per_device_train_batch_size=32,#一般根据显存可以设置大一点per_device_eval_batch_size=32,#一般根据显存可以设置大一点。
2025-01-02 11:59:42
982
原创 pip安装报错：Microsoft Visual C++14.0 or greater is required.Get it with “Microsoft C++ Build Tools“
如果订阅的是下图所示build，注意把OTH类型改成DVD再进行下载，双击找到可执行文件.exe进行安装.搜索build，选择可用于我的订阅，点击下载。，注册一个微软账号（qq邮箱），点击下载。
2025-01-02 09:46:00
364
原创 《掌握Transformers训练＋预测看一篇即可》 详细讲解 如何使用“自己“数据集微调Transformers文本分类模型，并使用自己预训练的模型进行本地预测?
喜欢看文字的跟着我，我会挑重点的对上述课程的重要知识点融入自己的理解进行汇总。因为DataLoader里面有聚合的作用，因为label本身就是数字所以可以进行聚合成tensor，但是对于文本来说没用，因此需要重新改写聚合。，即在训练完成后加载最优模型，可以看见最优模型为-330，因此，我们将该文件夹拿出放在根目录下并取名为best_model。熟悉这个流程后，我们进行第二部分，对第一部分代码的优化。加上tokenizer的完整代码，此时的文本和标签的输出都变成了tensor，可以加载带网络中去啦。
2024-12-23 15:45:40
198
原创 Transformers-Evaluate篇
总结：在scikit-learn的1.5.2版本中F1-score返回一个浮点数，而不是一个numpy标量，因此问题解决。处设置断点，可以看见每一次循环，refs, preds获得一个batch（list）信息准备计算。可以看到该模块下包含很多种任务，这些任务是现在可以使用huggingface直接完成的。任意选择一个任务进入，可以观察到平台为我们推荐相关的模型。方法2.每次取一个batch进行迭代计算。references相当于labels。在执行上述代码时可能会出现下述错误，该页面下点击Tasks。
2024-12-23 11:06:55
507
原创 Transformers-Datasets篇（公开数据集和自己数据集的数据预处理使用方法总结）
如果遇到复杂格式的数据集需要自己去总结字段时候，可以参考hugging face基础入门——Dataset（2）加载本地数据集。
2024-12-22 20:08:52
976
原创 如何 利用huggingface平台 使用pipline 调用模型 完成图像识别（或者其他）任务呢？
在这篇文章中介绍了基本使用方法，接下来举个实际案例（图像识别）进一步了解huggingface。
2024-12-18 15:33:44
517
原创 transformers环境配置+文本分类实例
注意 transformers==4.33.2 的下载版本，下载太高容易出错。点击生成的网址，在网页中弹出如下结果验证transformers环境搭建成功！最好选用python3.9因为3.8会导致jupyterlab下载失败。这样的话默认使用清华镜像下载，就不会每次都去在指令后添加了。这里选择11以上的且小于你电脑配置的就可以。这里下载所有实验中常见需要的包。
2024-12-17 21:32:34
632
原创 通过情感分类实例 详细介绍如果借助Huggingface平台 完成Transformers模型运行（包括配置环境-tokenizer-Model-输出头-预测）
attention_mask和padding是配套使用的，当人为去修改padding的时候，也要把attention_mask里面的参数进行修改。下载Huggingface包，Huggingface可以说是一个社区，集成了很多nlp的模型、数据集、预训练权重文件等等，并且免费，只需要pip install下载即可。那么用什么做分类就选择什么输出头，就import什么东西。代码中使用了自动分词器选择，它是由checkpoint指定的预训练模型关联的，不用我们自己选择tokenizer，它自动帮我们选择好了。
2024-12-14 16:11:30
978
原创 如何使用spacy？
属性1.分词spacy在导入nlp语料时已经默认变成token属性2.分句使用doc.sents属性3.打印词性使用token.pos_属性4.命名体识别使用doc.ents。
2024-12-13 09:55:57
300
原创 讲解如何使用NLTK？外加数据清理实例演示
它是一个将学术语言技术应用于文本数据集的 Python 库，称为“文本处理”的程序设计是其基本功能，专门用于研究自然语言的语法以及语义分析的能力。安装：首先终端下载nltk安装包然后运行出现弹窗，把想下载的一横都选上，再点击download。有时可能会出现链接失败，多试几次，网不好就！在执行时，根据错误提示下载，用到哪个下哪个，下的时候把nltk.download()加上执行即可。
2024-12-12 16:26:06
735
原创 python正则化表示总结
d表示数字，等同于字符表示[0-9]\D表示非数字，除数字以外的所有字符 ，等同于字符表示[^\d]\s表示空格\S表示非空格，除空格以外的所有字符，等同于字符表示[^\s]\w表示单词字符，除空格以外的所有字符，等同于字符表示[a-zA-Z0-9]\W表示非单词字符，等同于字符表示[^\w]
2024-12-10 12:07:09
1130
原创 python字符串处理基础操作总结
input_str.split(‘规则’) #以规则为分界线进行分割，分割为list。‘规则’.join(input_str) #以规则为分界线进行合并，分并为字符串。input_str.replace(‘A’,‘B’) #所有的B替换所有的A。input_str.lstrip(‘A’) #去掉左边’A’input_str.rstrip(‘A’) #去掉右边’A’input_str.strip(‘A’) #去掉所有’A’input_str.strip() #去掉所有空格。
2024-12-09 20:56:54
305
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人