- 博客(11)
- 资源 (1)
- 收藏
- 关注
原创 MR优化参数
目录1、Map阶段2、Reduce阶段3、常用调优参数4 Hadoop压缩配置4.1 MR支持的压缩编码4.2 压缩参数配置4.3 开启Map输出阶段压缩4.4 开启Reduce输出阶段压缩5 SMB join6、开启本地模式7、什么情况下只有一个reduce8、矢量化查询1、Map阶段(1)减少溢写(Spill)次数:通过调整mapreduce.task.io.sort.mb及mapreduce.map.sort.spill.pre
2022-10-16 12:27:59
1065
原创 Python读取文件
1、读取test.txt的内容并打印出来,则实现方法为with open('test.txt') as file_object: contents = file_object.read()print(contents)2、逐行读取 读取文件时,常常不需要全部读取完文件的所有内容,而是逐个检查每一行,选取其中的若干行。此时可对文件对象使用for循环:with open("test.txt") as file_object: for line in file_object:...
2022-07-08 08:50:50
1700
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人