qq_28388339的博客

进程管理kill

转自：https://blog.youkuaiyun.com/weixin_41639064/article/details/901436691. 多行转多列原表test表存储格式如下，希望进行优化name subject score 张三 语文 90 张三 数学 85 张三 英语 92 李四 语文 75 李四 数学 90 李四 英语 80 王五 语文 95 王五 数学

转自：https://blog.youkuaiyun.com/ygdlx521/article/details/71156354总结一下：两种表达方式是等效的方法一：case when tb1.os = 'android' then 'android'when tb1.os = 'ios' then 'iPhone'else 'PC'end as os,方法二：case tb1.oswhen 'android' then 'android'when 'ios' then 'iPhon

转自：https://blog.youkuaiyun.com/huxiangen/article/details/80825181#将gif图片转成PNG图片im = Image.open('image.gif')def iter_frames(im): try: i= 0 while 1: im.seek(i) imframe = im.copy() if i == 0: .

1、字符串截取 substr(）用法：substr(string string,num start,num length);string为字符串；start为起始位置；length为长度，省略，则是从开始位置到最后。不同sql的start的开始值不同，有的是0，有的是1，可以尝试一下mysql从1开始，hive从0,1都可以2.内容排名排序 row_number() over()用例：SELECT *, row_number() over(partition by ke.

为何Spark选择了Scala初学Scala，给我的感觉就是一堆语法糖以及最近名声大噪的函数式编程。可是λ表达式Java也有，map / reduce java也有，速度上java也会比scala快，心想一定是自己见识不够，无法领悟。今看一文章，有所感悟：《为什么选择Scala,他在大数据处理方面有何优势》在这篇文章中有几个核心观点用于支持spark选择scala的原因：观点1：应用开发的效率很大程度上依靠类库。框架开发者要考虑spark要融入大Hadoop大家族需要一个JVM语言，能够开发出.

Spark与Hadoop关系Spark是一个计算框架Hadoop是包含计算框架MapReducehe分布式文件系统HDFS。Spark是MapReduce的替代方案，而且兼容HDFS、Hive等分布式存储系统，可融入Hadoop生态。0、Spark与Hadoop MapReduce优势如下1）、中间结果输出 MapReduce的计算引擎将中间结果存储在磁盘上，进行存储和容错。 Spark将执行模型抽象为有向无环图执行计划（DAG），这可以将多个Stage的任务串联或者并行...