- 博客(2)
- 收藏
- 关注
RSS订阅原创 spark学习（一）
多次网络连接、握手、排队，延迟更高，资源开销更大，运行更慢。本质含义：把父分区里不同 Key 的数据，重新打乱、重新分区，把相同 Key 汇聚到同一个子分区。宽窄依赖都可能跨节点，宽依赖慢的核心原因是跨节点次数多、网络交互复杂，不是单纯数据量变大。分区与 HDFS 块对应，能保证数据本地性：计算任务跑到数据所在节点，减少网络传输。窄依赖：数据只流向唯一子分区，跨节点次数少，网络握手、排队延迟低，整体效率高。特点：必然触发 Shuffle，跨节点数据分发，容错恢复复杂，性能开销大。
2026-05-17 19:22:22
363
原创 Vs Code ssh远程连接AutoDL 报错问题解决
在文件内粘贴了windows本机的id_rsa.pub文件内的ssh-rsa 公钥。连接时没有跳出输入密码的选项，最后总是显示连接失败。我不知道什么原因，我选择进入AutoDL实例中，最后可以远程连接AutoDL实例了。在VS CODE 终端内，使用。
2025-01-01 16:29:13
1047
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人