- 博客(4)
- 收藏
- 关注
RSS订阅原创 洛谷练习题---P1046陶陶摘苹果（python实现）
陶陶家的院子里有一棵苹果树，每到秋天树上就会结出 1010 个苹果。苹果成熟的时候，陶陶就会跑去摘苹果。陶陶有个 3030 厘米高的板凳，当她不能直接用手摘到苹果的时候，就会踩到板凳上再试试。现在已知 1010 个苹果到地面的高度，以及陶陶把手伸直的时候能够达到的最大高度，请帮陶陶算一下她能够摘到的苹果的数。
2024-10-09 21:01:24
386
原创 Spark之RDD简易版总结
如果做数据聚合redueByKey的效率更好，因为可以先聚合后shuffle再最终聚合，传输的IO更小。转换算子的返回值100%是RDD，而Action算子的返回值100%不是RDD。或者读取数据的方式创建（TextFile\WholeTextFile）转换算子是懒加载的，只有遇到Action才会执行。尽量不要增加分区，可能破坏内存迭代的计算管道。通过并行化集合的方式（本地集合转分布式集合）ACTION就是转换算子处理链条的开关。foreachPartitions不带。不会将结果发送到Driver。
2024-06-13 18:07:46
567
原创 启动hive
5.启动metastore服务（后台启动方式）一、启动metastore。1.切换到hadoop用户。3.启动hadoop服务。2.切换到hive目录。
2024-06-11 23:28:33
391
原创 4040、8080和18080的区别
18080：默认是历史服务器的端口，由于每个程序运行完成后，4040端口就被注销了，在以后想回看某个程序的运行状态就可以通过历史服务器查看，历史服务器长期稳定运行，可供随时查看被记录的程序的运行过程。4040：是一个运行的Application在运行的过程中临时绑定的端口，用来查看当前人任务的状态。4040被占用会顺延到4041、4042等。8080：默认是StandAlone下，Master角色（进程）的WEB端口，用来查看当前Master（集群）的状态。
2024-05-29 16:21:41
880
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人