- 博客(42)
- 收藏
- 关注
原创 分布式模型训练详解—及实操指南!
随着深度学习模型规模的不断扩大,单个GPU的内存和计算能力已经难以满足训练需求。例如,使用8块GPU进行训练,理论上可以将训练时间缩短到原来的1/8(实际效果受通信开销影响)。通过分布式训练,可以将模型分割到多个GPU上进行训练。模型在每个GPU上复制一份,每个GPU计算其数据子集的梯度,然后通过。模型并行是将模型的不同部分分配到不同的GPU上。在训练过程中,每个GPU独立计算梯度,然后通过AllReduce操作汇总梯度并更新模型参数。结合数据并行和模型并行,既分割数据又分割模型,充分利用两者的优势。
2025-04-02 17:16:15
546
原创 深度学习模型格式转换:从理论到实践全面指南
ONNX(Open Neural Network Exchange)是一种开放的模型格式,旨在解决不同框架之间的模型转换问题。跨框架兼容:支持TensorFlow、PyTorch、MXNet等多种框架。标准化表示:通过Protobuf定义模型结构和权重。性能优化:支持推理引擎(如ONNX Runtime)的高效推理。
2025-04-01 16:07:48
539
原创 OpenVLA 项目复现部署运行详细文档,含bug解决修复!
OpenVLA 是一个开源的视觉-语言-动作模型(Vision-Language-Action Model),专为机器人操作任务设计。该项目提供了可扩展的代码库,支持多数据集混合训练、灵活的模型架构以及原生微调功能。
2025-03-18 17:01:01
545
原创 关于安装NVIDIA驱动,cuda Toolkit,cudnn教程,以及如何验证是否正确安装!
这篇文章主要讲解英伟达驱动安装,以及cuda Toolkit安装教程,cudnn安装详细教程,以及如何检验安装环境生效。话不多说,上干货!
2025-03-14 15:52:18
1078
原创 MongoDB winx64 msi包安装详细教程
这里我选择的是8.0.5 msi的版本,采用的传统装软件的方式安装。复制mongodb的bin目录到系统环境变量的path路径下,并应用。下载完成之后,直接点击安装即可。这里可以根据自己的需求,代表服务启动了,安装完成!
2025-03-09 12:25:56
402
原创 关于在Win10/win11 子系统安装Ubuntu (带桌面环境)登录远程桌面秒闪退问题解决!
这是一篇Bug解决方案的帖子,关于在win10/11下安装子系统(WSL2)Ubuntu中,配置完成,启动并能够成功查看xrdp服务状态:但是远程桌面访问:进入输入用户名,密码秒闪退问题解决。这里可以先查看下防火墙设置:wf.msc或者:在 WSL2 环境中,很多用户推荐使用轻量级桌面环境,如 XFCE。如果你已经安装了 GNOME 或其他桌面环境,也要确认它们能正常启动。
2025-03-03 17:18:53
597
原创 新装的conda 以及pycharm未能正确初始化,或conda环境变量配置错误问题解决!!!
Windows PowerShell 版权所有(C) Microsoft Corporation。保留所有权利。安装最新的 PowerShell,了解新功能和改进!新装的conda 以及pycharm未能正确初始化,或conda环境变量配置错误问题解决!!!
2025-02-26 17:39:19
938
原创 Docker如何切换文件目录安装——详细攻略!
前段时间,在安装Docker 桌面版发现,运行默认可执行程序时,发现他会默认安装到C盘。且无法更改其默认安装硬盘位置。为此这里主要详细说一下,如何切换文件夹安装Docker 以及相关组件,减小C盘压力。
2025-02-19 22:10:18
1466
原创 深度剖析 PyTorch框架:从基础概念到高级应用的深度学习之旅!
PyTorch 由 Facebook 人工智能研究实验室(FAIR)开发,于 2017 年开源。它基于 Torch 框架,借助 Python 语言的优势,迅速在深度学习社区中传播开来。随着不断的更新迭代,PyTorch 功能日益丰富,社区也越发活跃,成为了深度学习领域的重要框架之一。在实际应用中,可能需要自定义一些特殊的层或模块。本文全面介绍了 PyTorch 深度学习框架,从基础概念到实际操作,再到进阶应用和其丰富的生态圈。通过实际案例,读者可以更直观地理解和掌握 PyTorch 的使用方法。
2025-01-23 16:37:00
811
原创 一文读懂 TensorFlow 深度学习框架:从基础到实战!
TensorFlow 最初由 Google Brain 团队开发,于 2015 年开源。经过多年的发展,它已经成为了一个高度灵活且功能丰富的深度学习框架,广泛应用于各类机器学习算法的编程实现。TensorFlow 作为一款功能强大的深度学习框架,为开发者提供了丰富的工具和灵活的编程模型,无论是初学者快速上手深度学习,还是研究人员进行复杂模型的开发,都能从中受益。通过本文的介绍和操作示例,希望你能对 TensorFlow 有更深入的理解,并在实际项目中灵活运用。
2025-01-22 17:23:52
3874
原创 Go语言及MongoDB数据库安装配置详解!
这里,可以自行选择对应的version、platform、以及package的形式,一般version选择较新即可,新手推荐msi的形式,安装方便。如果有显示对应的版本号,则代表安装成功了。如果没有的显示,可以进入到安装go语言的文件夹的bin目录,复制路径。安装完成之后,进入到bin目录下,将其路径添加到系统环境变量的path中,再进行测试。当然,如果不想放在C盘也可以自行改位置,但是路径上最好不要带中文,以免出现问题。之后,进入到mongoDB Compass界面,完成数据库的配置就可以了。
2024-12-26 22:24:51
326
原创 关于固态硬盘分区表MBR与GUID对比,附硬盘性能检测工具!
MBR和GUID分区表类型各有优势,具体选择取决于使用需求。使用Windows较旧版本可以使用MBR,如果是新版本可以使用GUID。以下是两个的具体区别:MBR分区表在Windows系统上广泛使用,是较为主流的分区方式。它支持2TB以内的硬盘,并且对电脑系统的运行速度影响较小。然而,MBR不支持超过2TB容量的磁盘,并且单区最大容量不能超过18EB。此外,MBR分区方案无法支持超过2TB容量的磁盘。GUID分区表主要优势在于支持大容量硬盘(2TB以上)以及GPT分区表的优点。
2024-11-04 16:40:23
862
原创 Mathpix Snipping Tool——科研数学公式处理必备工具,推荐收藏
在当今的信息时代,无论是学术研究、教育领域还是工程技术方面,准确高效地处理数学公式都是一项极具挑战的任务。本文将深入介绍 Mathpix Snipping Tool 这款强大的工具,为你揭示其卓越的功能和优势。一、数学公式处理的难点与挑战数学公式的复杂性使得传统文本编辑方法捉襟见肘。各种特殊符号、上下标、积分符号以及希腊字母等元素,让常规文本编辑器难以精准呈现。在科学研究、技术文档撰写和学术出版等领域,数学公式的精确排版不仅耗时耗力,还直接影响着工作的质量和效率。二、Mathpix Snipping Too
2024-10-22 11:37:18
1026
原创 关于pip和conda环境路径不同的解决办法。
和conda命令指向不同的路径,这意味着它们可能关联着不同的 Python 环境。这确实可能导致pip和conda管理的包不在同一环境中,从而可能引起依赖冲突或环境问题。
2024-09-02 15:35:49
1363
原创 关于服务器环境上conda、pip依赖安装问题,详解版!建议收藏
最近碰到一个问题,起因是我在训练的时候。提示:ModuleNotFoundError: No module named 'cv2' 没有找到对应模块问题。又有对应的依赖版本信息。之后我检测了另外一个服务器环境:运行命令可以看到,服务器conda环境路径没什么问题。后面我检查了一下pip环境的路径,和conda环境的路径。发现两个环境的路径不在同一个地方。因为服务器是有很多个人用,pip配置的环境为全局环境,而conda配置的环境是我们自己的环境。
2024-08-31 19:04:48
628
原创 中断网络训练后,如何根据保存的权重文件继续训练及仍保持模型训练方法
本篇文章主要围绕解决深度神经网络模型在进行大型网络模型训练的时候,训练中断应该如何基于之前训练的模型继续训练,还有深度学习模型训练如何在中断服务器ssh连接之后,仍然能够继续保持训练。
2024-08-05 12:11:55
1011
2
原创 Windows中实现正斜杠/和反斜杠\的快速转换!!附代码
在做实验的时候,经常会遇到需要填写路径的问题,但是手写很麻烦,所以可以用函数快速转换。
2024-04-26 22:43:14
699
1
原创 分享一个Java 企业级项目需求文档的链接
最近想找一些java类型的项目练练手,希望通过实际动手的方式来提升自己的编程水平。然而,我在B站上寻找项目教程时,却遇到了一些让人颇为困扰的问题。一方面,许多视频项目看似千篇一律,缺乏独特性,难以激发学习的兴趣;另一方面,一些视频资料不完整,要求添加微信,却常常陷入繁琐的推广广告中。刚好最近逛github中找到一些以企业需求分档开发为原型的项目。大致浏览了一下文档,一般再30页左右,根据项目复杂度不同。并且大部分需求更贴近企业实际开发需求,大家课供参考。
2023-12-24 13:20:03
1152
1
原创 关于Linux系统安装Docker报错问题:# Executing docker install script, commit: e5543d473431b782227f8908005543bb438
1、建议尝试重新安装centOS系统 到版本centOS 7 再重新尝试安装即可解决。执行这个脚本会添加 docker.repo 源并安装 Docker。5、验证 docker 是否安装成功并在容器中执行一个测试的镜像。2、使用 sudo 或 root 权限登录 Centos。当出现active (running)…到此,Docker 在 CentOS 系统的安装完成。3、执行 Docker 安装脚本。3、确保 yum 包更新到最新。4、启动 Docker 进程。
2023-11-21 11:00:44
1901
原创 Anaconda的环境管理及常用命令
引言anaconda是一个开源的包、环境管理器,可以比较有效地配置多个虚拟环境,当python入门到一定程度时,安装anaconda是很必要的。conda 与pip利用conda install与pip install命令来安装各种包的过程中,想必你也对两者之间的区别很疑惑,下面我就总结一下我搜集到的相关解答。简而言之,pip是python包的通用管理器,而conda是一个与语言无关的跨平台环境管理器。
2023-10-08 11:14:45
309
1
原创 TCP-IP通讯协议简介:
1)TCP/IP 指传输控制协议/网际协议 (Transmission Control Protocol / Internet Protocol)。TCP是主机对采用4层结构,分别是应用层、传输层、网络层、链路层。2)协议之间的通信最终都要转化为 0 和 1 的电信号,通过物理介质进行传输才能到达对方的电脑,因此物理介质是网络通信的基石。3)主机层的传输控制协议,提供可靠的连接服务,采用三次握手和四次挥手确认建立一个连接位码,即tcp标志位:(1)SYN(synchronous建立联机)
2023-08-07 16:23:32
231
1
原创 关于GitHub Desktop登录显示Unable to fetch authenticated user
利用关键词在Google和bing上查阅了很多有关该解决问题的方法文章,在查阅后发现大多都与问题的实际解决方案不同,甚至可以说是没啥用。总结是在C盘打开 C:\Windows\System32\drivers\etc\hosts。最后在优快云上解决了问题,原文。然后再文件最后面添加上。
2023-04-12 12:05:07
883
原创 MySQL 数据库的优化都有哪些
当有人问你如何对数据库进行优化时,很多人第一反应想到的就是 SQL 优化,如何创建索引,如何改写 SQL,他们把数据库优化与 SQL 优化划上了等号。当然这不能算是完全错误的回答,只不过思考的角度稍微片面了些,太“程序员思维”化了,没有站在更高层次来思考回答。那今天我们就将视角拔高,站在架构的角度来聊聊这一问题,数据库优化可以从哪些维度入手?数据库优化可以从架构优化,硬件优化,DB 优化,SQL 优化四个维度入手。此上而下,位置越靠前优化越明显,对数据库的性能提升越高。
2023-04-06 15:58:51
207
原创 Java中如何避免控制面板使用科学计数法——设置非科学计数法
/定义保留几位小数。首先看,我们定义了一个double类型的变量,这是使用科学计数法。重新格式化了我们要输出的数据。
2023-04-04 14:30:51
992
原创 接收的String类型与ASCII码之间的转换
1)把字符串直接转换为int类型,即可得到ASCII码;最近在写算法刚好有碰到类似问题,所以特地记录下来。2)再将数字转换为字符串转出;二、ASCII码转换为字符。
2023-03-06 22:38:43
6884
原创 No bean named ‘user‘ available的异常的解决方法:
1:@ComponentScan("com.example.config") 使用ComponentScan注解,该注解内是你需要扫描类所在的包的位置。2:第二种是使用@Import(UserConfig.class) 注解,Import中填入你所需要导入的类,个人认为这种方式暴力直接,好用。3:第三种是自定义注解封装,可以自定义一个你所需要注入的类,将你所需要注入的类导入注解中,再直接使用该注解即可。自定义EnableUser注解,之后需要使用的地方直接使用注解方式即可。三种方式,可自行选择。
2023-03-02 17:30:31
4053
原创 关于jsp页面中不能显示EL表达式的问题
最近在学习jsp页面的时候,碰到关于el表达式不能加载的问题,一开始几经波折,以为是servlet或者是jstl标签出了问题。后来才发现是因为web项目中的web.xml中的servlet的版本过低导致的。下面给出解决办法:<!DOCTYPE web-app PUBLIC"-//Sun Microsystems, Inc.//DTD Web Application 2.3//EN""http://java.sun.com/dtd/web-app_2_3.dtd" >这表示的是s..
2022-04-18 12:01:15
1203
1
原创 关于web项目显示乱码问题解决
页面和传参出现乱码的原因:页面经过web服务器,浏览器处理,所以造成转码或者乱码的原因,可能涉及到:页面本身的设置、web服务器的设置、浏览器的设置1、页面上设置编码 :(a)页面是jsp,对于这个,需要在jsp头部加上 page的编码设置 <%@ page contentType="text/html;charset=UTF-8" trimDirectiveWhitespaces="true" language="java" %>(b)页面是html,html头部加上meta标签:
2022-04-13 23:21:50
1224
原创 数组存储引用类型的比较之:Comparable和comparetor比较器
Comparable(内部比较器)作用://不implements接口和重写compareTo对象进行排序会报错Arrays.sort(stuarr);Comparable源码:public interface Comparable<T> { public int compareTo(T o);}compareTo的源码:public int compareTo(String anotherString) { int len1 = val
2022-03-17 14:24:40
640
原创 Bigint和int的区别
首先简单介绍一下这两种数据类型:bigint从 -2^63 (-9223372036854775808) 到 2^63-1 (9223372036854775807) 的整型数据(所有数字)。存储大小为 8 个字节。int从 -2^31 (-2,147,483,648) 到 2^31 – 1 (2,147,483,647) 的整型数据(所有数字)。存储大小为 4 个字节。int 的 SQL-92 同义字为 integer。可以看出bigint的数据类型的范围比int类型的范围足足大了一倍,在
2022-03-06 11:22:58
29392
原创 Java中重写与重载
重写(Override)重写是子类对父类的允许访问的方法的实现过程进行重新编写, 返回值和形参都不能改变。即外壳不变,核心重写!重写的好处在于子类可以根据需要,定义特定于自己的行为。 也就是说子类能够根据需要实现父类的方法。重写方法不能抛出新的检查异常或者比被重写方法申明更加宽泛的异常。例如: 父类的一个方法申明了一个检查异常 IOException,但是在重写这个方法的时候不能抛出 Exception 异常,因为 Exception 是 IOException 的父类,抛出 IOExcepti
2022-03-03 16:54:26
325
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人