- 博客(310)
- 资源 (7)
- 问答 (1)
- 收藏
- 关注
原创 Vscode DeBug: RuntimeError: Default process group has not been initialized
调整launch.json,如下,改成分布式debug即可。
2025-01-19 16:48:20
126
原创 vscode docker debug python
1. 安装Vscode插件”Docker“”Dev Containers““Remote - ssh”2. 进入Docker环境点击左侧 Docker图标,选择Containers对容器进行右键启动生成新页面直接进行选择文件路径即可,之后得操作均在容器内进行
2024-09-09 13:54:08
672
1
原创 Python多线程Concurrent
future的设计理念很棒,在线程池/进程池和携程中都存在future对象,是异步编程的核心。ThreadPoolExecutor 让线程的使用更加方便,减小了线程创建/销毁的资源损耗,无需考虑线程间的复杂同步,方便主线程与子线程的交互。线程池的抽象程度很高,多线程和多进程的编码接口一致。参考文章。
2024-06-29 17:27:03
1433
原创 多级多卡问题
nnodes、node_rank与nproc_per_node: nnodes是指物理节点数量,node_rank是物理节点的序号;nproc_per_node是指每个物理节点上面进程的数量。rank与local_rank: rank是指在整个分布式任务中进程的序号;local_rank是指在一个node上进程的相对序号,local_rank在node之间相互独立。图中:一共有12个rank,nproc_per_node=4,nnodes=3,每个节点都一个对应的node_rank。
2024-06-24 23:23:48
614
原创 python如何判断点是否在旋转矩形内部矢量
在计算机图形学和计算几何中,经常会遇到判断一个点是否在一个旋转矩形内部的问题。本项目方案旨在使用Python提供一种高效准确的算法来解决这个问题。
2024-04-10 22:39:27
756
原创 SSH远程连接时报错kex_exchange_identification: Connection closed by remote host
在SSH服务器上进行远程内容时,会经常出现内容,主要是由于远程计算机登录节点的数量限制问题。
2023-05-24 15:59:02
37582
2
原创 Python进程、线程、协程
进程是资源分配的单位线程是操作系统调度的单位进程切换需要的资源很大,效率很低线程切换需要的资源一般,效率一般协程切换任务资源很小,效率高多进程、多线程根据cpu核数不一样可能是并行的,但是协程是一个线程中的 所以是并发。
2023-05-16 14:49:54
379
原创 python协程
协程,又称微线程,是Python中另外一种实现多任务的方式,只不过比线程占用更小执行单元(理解为需要的资源)通俗的理解:在一个线程中的某个函数,可以在任何地方保存当前函数的一些临时变量等信息,然后切换到另外一个函数中执行,注意不是通过调用函数的方式做到的,并且切换的次数以及什么时候再切换到原来的函数都由开发者自己确定在实现多任务时,线程切换从系统层面远不止保存和恢复CPU上下文这么简单。操作系统为了程序运行的高效性,每个线程都有自己缓存Cache等等数据,操作系统还会帮你做这些数据的恢复操作。
2023-05-16 14:42:20
114
原创 python进程
在windows中,启动一个程序+资源等于一个进程,进程是由多个线程组成的,进程理解为管理层,而线程是工人进程:能够完成多任务,比如,在同一台电脑上能够同时运行多个QQ线程:能够完成多任务,比如,一个qq中的多个聊天窗口定义不同进程是系统进行资源分配和调度的一个独立单位线程是进程的一个实体,是CPU调度和分派的基本单位,它是比进程更小的能独立运行的基本单位。
2023-05-16 09:50:27
278
原创 python互斥锁
其他的线程才能再次锁定该资源。互斥锁保证了每次只有一个线程进行写入操作,从而保证了多线程情况下数据的正确性。线程同步能够保证多个线程安全访问竞争资源,最简单的同步机制是引入互斥锁。当多个线程几乎同时修改某一个共享数据的时候,需要进行同步控制。,其他线程不能更改;知道该线程释放资源,将资源的状态变为。某个线程要更改共享数据时,先将其锁定,此时资源的状态为。
2023-05-15 22:19:23
978
原创 python线程方法
当一个程序运行时,默认有一个线程,这个线程称为 主线程多任务也就可以理解为让你的代码再运行的过程中 额外创建一些线程,让这些线程 去执行代码。
2023-05-15 21:26:42
188
原创 os.walk
os.walk用于遍历目录树,它返回由三个元素构成的元组(root,dirs,files), 分别表示遍历时所处的目录,该目录下的子目录列表和该目录下的所有文件列表。在遍历目录树时,os.walk会自动遍历目录下的所有子目录和所有的文件,因此可以使用os.walk遍历整个目录树,而不必编写递归函数。
2023-05-15 10:48:50
211
原创 pyqt5中.ui转为.py
在PyQt中,可以使用Qt Designer创建GUI的图形界面,设计完成后可以将其保存为.ui文件。但是,这种文件不能直接用于Python代码编程,必须将其转换为Python脚本,才能在Python程序中使用该界面。将.ui文件转换为.py文件可以让您的程序更加灵活和方便,因为.py文件中包含了用于构建GUI界面的完整代码。这样,即使在没有Qt Designer的情况下,您也可以直接在Python脚本中处理该界面,修改代码并不需要单独的.ui文件。
2023-05-15 09:36:26
1920
原创 PyTorch训练提升
学习率 schedule 的选择对模型的收敛速度和泛化能力有很大的影响。Leslie N. Smith 等人在论文《Cyclical Learning Rates for Training Neural Networks》、《Super-Convergence: Very Fast Training of Neural Networks Using Large Learning Rates 》中提出了周期性(Cyclical)学习率以及 1Cycle 学习率 schedule。
2023-04-23 15:48:22
748
原创 Torch分布式训练
是 PyTorch 中的一个模块,可以用于在多个 GPU 上并行地训练神经网络。具体来说,它可以将单个模型复制到多个 GPU 上,并且在每个 GPU 上运行相同的操作,最后将各个 GPU 上的梯度进行求和并更新模型参数。这样,可以显著加速神经网络的训练过程。使用 torch.nn.DataParallel 很简单。只需在定义模型时,将模型包装在 torch.nn.DataParallel 中即可。这将会将 MyModel() 复制到多个 GPU 上,并且在每个 GPU 上并行运行相同的操作。
2023-04-23 15:32:22
1013
1
原创 增加.gitignore不起作用
由于代码中包含一些不必上传的文件,一般会在git中新建.gitignore,具体可以参照但往往已经将未需要的保存的文件上传到暂存区staged,导致.gitignore起不到相应的作用。
2023-04-22 19:23:28
131
原创 VSCODE打开一个code窗口时会替换另一个窗口
第二步:在搜索框中输入Open User Setting,点击打开。第三步:在第二步弹出的窗口中的搜索框中输入enablePreview。第一步:ctrl+shift+p,弹出搜索框。第四步:取消以下两个选项的勾选框,即可。
2023-04-18 21:54:44
613
原创 python爬虫网站图像
生活苦累过程中,享受一下其他方面带来的乐趣,目标是网络爬虫,也了解了一下网页制作相关的内容,整理于此,便于自己日后温故以及供大家一起学习,提出自己的宝贵意见。
2023-04-04 22:49:58
585
原创 Opencv基础知识整理
边界填充数值计算图像融合图像阈值图像滤波形态学-腐蚀操作形态学-膨胀操作开运算与闭运算梯度运算礼帽与黑帽图像梯度-Sobel算子−1−2−1000+1+2+1∗AGy=[−1−2−1000+1+2+1]∗AG_y = \begin{bmatrix}-1&-2&-1\\0&0&0\\+1&+2&+1\\\end{bmatrix} * AGy=−10+1−20+2−10+1∗A图像梯度-Scharr算子−3−10−30003103∗AGy=
2023-04-01 16:55:40
1042
原创 git操作之pull拉取远程指定分支以及push推送到远程指定分支
3、将与本地当前分支同名的远程分支 拉取到 本地当前分支上(需先关联远程分支,方法见文章末尾)git pull在克隆远程项目的时候,本地分支会自动与远程仓库建立追踪关系,可以使用默认的origin来替代远程仓库名,所以,常用的命令就是 git pull origin ,操作简单,安全可控。
2023-03-27 22:12:33
9862
原创 Linux硬链接与软链接
注意:不能是文件夹,只能是文件。无法对任意查看是否哪个文件是硬链接,没有文件标识,因为硬链接文件无法区分谁是主文件,同等重要,只有再所有链接均删除后,文件才会被真正删除!
2023-03-27 14:07:48
606
原创 VScode SSH远程虚拟机中ubuntu系统开发以及解决SSH需要频繁输入密码问题
在Vscode应用商店中搜索Remote-SSH并安装2. SSH连接ubuntu系统eg:ssh root@192.168.31.75或者直接输入ip地址192.168.31.75都可以3. 选择SSH配置文件,可以直接选择点击第一个C盘Users目录下的.ssh文件夹。
2023-03-14 09:11:24
2038
原创 弹出U盘时提示“该设备正在使用中”,该如何解决?
https://www.reneelab.com.cn/the-device-is-currently-in-use.html
2023-03-04 15:54:50
1429
原创 Linux中docker安装记录
Docker是一个非常方便的应用容器的引擎,相当于把应用的相关运行环境都打包成盒,直接部署,开箱即用,几乎无需再进行配置,懒人必备。这次我们选择Docker部署,那么首先就需要安装并配置Docker在我们的Ubuntu上。这次安装的是Docker Communtiy也就是一般说的Docker CE(即社区免费版)。
2023-02-28 10:50:23
622
C/C++编译器的执行过程
2021-08-27
TA创建的收藏夹 TA关注的收藏夹
TA关注的人