Q_S_Y_Q的博客

调优概述 有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作业的性能会比期望差很多。数据倾斜调优，就是使用各种技术方案解决不同类型的数据倾斜问题，以保证Spark作业的性能。 数据倾斜发生时的现象 　　1、绝大多数task执行得都非常快，但个别task执行极慢。比如，总共有1000个task，997个task都在1分钟之内执行完了，但是剩余两三个task却要一两

import math import randomrandom.seed(0)def rand(a, b): return (b - a) * random.random() + adef make_matrix(m, n, fill=0.0): mat = [] for i in range(m): mat.append([fill] * n)

open/文件操作f = open(‘/tmp/hello’, ‘w’)// open(路径+文件名,读写模式) 读写模式：r只读， r+读写， w新建(会覆盖原有文件)，a追加，b二进制文件。读写模式的类型有： rU 或 Ua 以读方式打开， 同时提供通用换行符支持 w 以写方式打开 a 以追加模式打开 r+ 以读写模式打开 w+