- 博客(68)
- 收藏
- 关注
RSS订阅原创 集群离线环境编译pytorch
对于一些需要更改pytorch源码或者需要特定pytorch版本的需求可能需要更改pytorch。下面是笔者在集群服务器上重新编译pytorch 的一个过程。记录了出现的一些问题和解决方案。
2025-02-20 14:48:41
908
原创 使用猴子补丁对pytorch的分布式接口进行插桩
想要看一下在DDP中pytorch是怎么调用torch.distributed的通信后端的，所以写了一个猴子补丁。
2024-11-23 17:05:01
347
原创 关于最近工作的一些心得和思考
这时候我才想起来pytorch在编译的时候是直接把NCCL库编译链接进去的，也就是嵌入了二进制代码而不是用的系统内配置的二进制环境，虽然可以考虑使用USE_SYSTEM_NCCL=1的方式指定自己的库，但是由于这个问题的产生我也意识到了，如果想在大规模集群配置这样比较个性化的环境，难度可想而知，不仅是开发难度很逆天，真正如果需要转化为一些能落地的成果（虽然不太可能哈哈哈）更上难度了。所以为了绕开这个问题，我就想把插桩的逻辑更上一层，也就是在pytorch的distri的层面去做，不修改源码，使用猴子补丁！
2024-11-18 10:33:50
137
2原创 Day48||● 583. 两个字符串的删除操作 ● 72. 编辑距离 ● 编辑距离总结篇
Day48||● 583. 两个字符串的删除操作 ● 72. 编辑距离 ● 编辑距离总结篇
2023-04-24 11:26:17
58
原创 Day46||1143.最长公共子序列 ● 1035.不相交的线 ● 53. 最大子序和 动态规划
Day46||1143.最长公共子序列 ● 1035.不相交的线 ● 53. 最大子序和 动态规划
2023-04-20 12:48:50
121
原创 Day45||● 300.最长递增子序列 ● 674. 最长连续递增序列 ● 718. 最长重复子数组
Day45||● 300.最长递增子序列 ● 674. 最长连续递增序列 ● 718. 最长重复子数组
2023-04-19 13:09:35
56
原创 Day44||● 309.最佳买卖股票时机含冷冻期 ● 714.买卖股票的最佳时机含手续费
Day44||● 309.最佳买卖股票时机含冷冻期 ● 714.买卖股票的最佳时机含手续费
2023-04-18 11:05:05
58
原创 Day43||● 123.买卖股票的最佳时机III ● 188.买卖股票的最佳时机IV
Day43||● 123.买卖股票的最佳时机III ● 188.买卖股票的最佳时机IV
2023-04-17 11:00:07
135
原创 Day41||● 121. 买卖股票的最佳时机 ● 122.买卖股票的最佳时机II
Day41||● 121. 买卖股票的最佳时机 ● 122.买卖股票的最佳时机II
2023-04-13 13:24:54
85
原创 Day40||● 198.打家劫舍 ● 213.打家劫舍II ● 337.打家劫舍III
● 198.打家劫舍 ● 213.打家劫舍II ● 337.打家劫舍III
2023-04-12 12:42:28
150
原创 Day38||● 70. 爬楼梯 （进阶）● 322. 零钱兑换 ● 279.完全平方数
● 70. 爬楼梯 （进阶）● 322. 零钱兑换 ● 279.完全平方数
2023-04-10 12:04:16
53
原创 Day36||1049. 最后一块石头的重量 II ● 494. 目标和 ● 474.一和零
这道题很像分割加和相等的子集的问题，把石头分成尽可能相同的两堆。
2023-04-03 13:38:28
65
原创 Day32||● 509. 斐波那契数 ● 70. 爬楼梯 ● 746. 使用最小花费爬楼梯
Day32||● 509. 斐波那契数 ● 70. 爬楼梯 ● 746. 使用最小花费爬楼梯
2023-03-29 11:51:05
86
原创 Day31||● 738.单调递增的数字 ● 968.监控二叉树 ● 总结
Day31||● 738.单调递增的数字 ● 968.监控二叉树 ● 总结
2023-03-28 10:46:31
122
原创 Day30||435. 无重叠区间 ● 763.划分字母区间 ● 56. 合并区间
Day30||435. 无重叠区间 ● 763.划分字母区间 ● 56. 合并区间
2023-03-27 11:55:32
51
原创 Day29||● 860.柠檬水找零 ● 406.根据身高重建队列 ● 452. 用最少数量的箭引爆气球
Day29||● 860.柠檬水找零 ● 406.根据身高重建队列 ● 452. 用最少数量的箭引爆气球
2023-03-24 15:13:36
84
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人