- 博客(31)
- 收藏
- 关注
RSS订阅转载 2020-11-13
Spark SQL中列转行（UNPIVOT）的两种方法正文行列之间的互相转换是ETL中的常见需求，在Spark SQL中，行转列有内建的PIVOT函数可用，没什么特别之处。而列转行要稍微麻烦点。本文整理了2种可行的列转行方法，供参考。本文链接：https://www.cnblogs.com/hhelibeb/p/10310369.html测试数据准备本文的环境是Windows 10, Spark 2.4，开发语言是Python。首先构建一点初始测试数据，from p..
2020-11-13 17:01:14
331
原创 001 OFFSET 函数初识
001 OFFSET 函数初识OFFSET函数的功能为以指定的引用为参照系，通过给定偏移量得到新的引用，返回的引用可以为一个单元格或单元格区域，其语法为：OFFSET(reference, rows, cols, [height], [width])，翻译过程中文就是：OFFSET（参照,偏移行,偏移列,行高,列宽）▌案例如图A1:D7是一个数据区域，我们在这个数据区域中，...
2019-08-22 15:58:46
1529
转载 substring_index(str,delim,count)
substring_index(str,delim,count) str:要处理的字符串 delim:分隔符 count:计数例子：str=www.baidu.com substring_index(str,'.',1) 结果是：www substring_index(str,'.',2) 结果是...
2019-07-08 15:39:22
2402
转载 HIVE中的函数使用
hive的UDF 函数Hive内部自定义函数UDFHIVE UDF整理（一）关系运算等值比较: =语法:A = B操作类型: 所有基本类型描述: 如果表达式A与表达式B相等，则为TRUE；否则为FALSE举例：hive> select 1 from dual where 1=1;1不等值比较: <>语法: A <> B...
2019-07-08 15:33:55
2095
转载 hive 之 行拆列explode，lateral view
1、explodeexplode(ARRAY) 列表中的每个元素生成一行explode(MAP) map中每个key-value对，生成一行，key为一列，value为一列限制：1、No other expressions are allowed in SELECT SELECT pageid, explode(adid_list) AS myCol... is not su...
2019-07-08 11:25:54
632
原创 concat_ws, spilt, sort_array,size
这三个字段，通过各个函数结果concat_ws 用相应符号将各字段连接起来 string类型select concat_ws(',',user_id,mobile,system) as concatfrom statistic.qz_tracklimit 5;concat"13742988,,android""38643821,+8613075351265,...
2019-07-05 19:26:54
774
转载 hive中str_to_map(concat_ws..select subtype ,concat_ws('&',collect_set(cast(from as
源表结构：pcgid string mobilegid string value double 测试数据如下：p1 m1 0.6p1 m2 0.9p2 m1 1.0...
2019-07-05 14:16:50
1666
转载 MySQL -- 行转列 -- GROUP BY MAX(CASE WHEN THEN)
https://www.cnblogs.com/ClassNotFoundException/p/6860615.html列转行：利用max(case when then)SELECT `name`, MAX(CASE WHEN course='语文' THEN score END) AS 语文, MAX(CASE WHEN course='数学' TH...
2019-06-27 18:33:59
1160
转载 Data Grip
Data Grip常用的快捷键总结: 管理数据库连接：Ctrl+Alt+Shift+S 文件视图窗口：Alt+2 进入一个文件：Ctrl+Shift+N 打开最近的文件：Ctrl+E 导航栏：Alt+Home 全局搜索：双击Shift Ctrl+Enter：执行选中的SQL语句 Ctrl+Shift+左右箭头...
2019-06-26 11:27:30
1314
转载 hive 中时间函数
to_date：日期时间转日期函数select to_date('2015-04-02 13:34:12');输出：2015-04-02## 当前日期和时间SELECT current_timestamp();-- 2018-04-28 11:46:03.136## 获取当前日期，当前是 2018-04-28SELECT current_date;ORSELECT curr...
2019-06-25 18:37:01
387
原创 hive 中函数使用
to_date：日期时间转日期函数select to_date('2015-04-02 13:34:12');输出：2015-04-02mysql 中使用 str_to_datedate_sub() 函数从日期减去指定的时间间隔date_sub(date,n)mysql:DATE_SUB(date, INTERVAL n DAY)DATE_ADD() ...
2019-06-25 18:31:13
380
1
原创 mysql 初始登录密码错误，更改密码
ERROR 1045 (28000): Access denied for user 'ODBC'@'localhost' (using password: NO)ERROR 1045 (28000): Access denied for user 'ODBC'@'localhost' (using password: YES) 找到配置文件my.ini ，然后将其打开，可以选择用记事...
2019-06-06 01:00:54
10722
1
原创 np.where()
numpy.where()有两种用法：1. np.where(condition, x, y)满足条件(condition)，输出x，不满足输出y。>>> aa = np.arange(10)>>> np.where(aa,1,-1)array([-1, 1, 1, 1, 1, 1, 1, 1, 1, 1]) # 0为Fa...
2019-05-14 19:01:50
1660
原创 numpy中np.c_和np.r_
np.r_是按列连接两个矩阵，就是把两矩阵上下相加，要求列数相等，类似于pandas中的concat()。np.c_是按行连接两个矩阵，就是把两矩阵左右相加，要求行数相等，类似于pandas中的merge()。import numpy as npa = np.array([1, 2, 3])b = np.array([4, 5, 6])c = np.c_[a,b]prin...
2019-05-14 17:50:29
216
转载 numpy.ravel() vs numpy.flatten()
两者所要实现的功能是一致的（将多维数组降位一维），两者的区别在于返回拷贝（copy）还是返回视图（view），numpy.flatten()返回一份拷贝，对拷贝所做的修改不会影响（reflects）原始矩阵，而numpy.ravel()返回的是视图（view，也颇有几分C/C++引用reference的意味），会影响（reflects）原始矩阵。1. 两者的功能>>> ...
2019-05-14 17:41:44
203
原创 cmd怎么进入指定目录
C:\Users\lenovo>F:F:\>cd \pycharm\python机器学习\03 决策树\我的代码F:\pycharm\python机器学习\03 决策树\我的代码>dot -Tpng iris.dot -o iris.png注意：刚开始需要先直接进入磁盘中，不需要cd...
2019-05-12 11:40:46
8226
转载 win10软件安装出现错误代码2503/2502
win10软件安装出现错误代码2503/2502，亲测可用第一种情况：win7、win8、win10软件安装一半出现错误代码：the installer has encountered an unexpected error installing this package.this may indicate a problem with package.the error code is 25...
2019-05-08 18:54:51
5710
3
转载 信贷审批logistics算法
需求：基于信贷数据进行用户信贷分类，使用Logistic算法构建模型，并比较这两大类算法的效果数据来源：http://archive.ics.uci.edu/ml/datasets/Credit+Approval数据格式：b,30.83,0,u,g,w,v,1.25,t,t,01,f,g,00202,0,+a,58.67,4.46,u,g,q,h,3.04,t,t,06,f,...
2019-04-28 00:01:01
943
原创 机器学习过程中遇到的函数笔记
注：文中笔记有些是复制其它作者的内容整理而来。1.在pycharm中查看内建函数源码鼠标放在内建函数上，Ctrl+B，看源码2.sklearn的train_test_split的random_state我们在使用sklearn的train_test_split函数随机划分数据集生成training set 于test set时，在函数train_test_split中有一个参数为r...
2019-04-15 14:14:36
264
转载 jupyter使用技巧
本文包括如下内容快捷键 魔法命令 扩展 主题设置 制作slides 小工具 其他技巧基于windows10操作系统。快捷键快捷键规律对文本进行操作的快捷键都是Ctrl Shift Alt等，比如Ctrl + C/V/X/Z/A 对Cell（即jupyter中的单元格）进行操作的快捷键都是Esc，比如Esc + C/V//X/Z。还有一个差别在于，用Ctrl必...
2019-03-23 18:18:13
9122
2
转载 修改Jupyter默认文件路径
修改Jupyter默认文件路径，有三个步骤，而网上很多答案只有两个，结果保存的文件还在原来的路径，根本不起作用。回归正题，这里以Anaconda 3 为例，运行系统是Win 7。1、添加jupyter_notebook_config.py配置文件打开Windows运行框，方式有：1）windows+R快捷键；2）“开始”菜单中搜索“运行”；3） “开始”菜单，“附件”中点击“运行”；然...
2019-03-12 18:41:28
15393
3
转载 python打印三角形、菱形、正方形
Python 打印等腰直角三角形Python打印等边三角形Python打印菱形Python打印实心正方形Python打印空心正方形
2019-01-30 13:07:07
1716
转载 pycharm 快捷键
1.Pycharm中快捷键大全撤销与反撤销：Ctrl + z，Ctrl + Shift + z 缩进、不缩进：Tab、Shift + tab 运行：Shift + F10 批量注释：Ctrl + / 快速查看文档：Ctrl + q 当光标在代码中间，如何回车到下一行：Shift + 回车 当鼠标在代码下一行非开头位置，如何跳转到上一行末尾：Ctrl + backspace（退格键）...
2019-01-30 12:02:50
816
原创 Ping不是内部或外部命令，也不是可运行的程序或批处理文件解决办法
ping命令是网管们和网站站长们常用的命令之一，ping.exe的原理是，向指定的IP地址发送一定长度的数据包，按照约定，若指定IP地址存在的话，会返回同样大小的数据包，当然，若在特定的时间内没有返回，就是“超时”，就认为指定的IP地址不存在。由于ping使用的是icmp协议，有些防火墙软件会屏蔽掉icmp协议，所以有时候ping的结果只能做为参考，ping不通并不能就一定说明对方IP不存在。...
2019-01-21 12:56:02
4973
原创 数据类型，astype 转换数据类型
import numpy as npprint ('生成数组时指定数据类型')arr = np.array([1, 2, 3], dtype = np.float64)print (arr.dtype)arr = np.array([1, 2, 3], dtype = np.int32)print (arr.dtype)print ( )print ('使用astype复制数组并...
2018-03-28 15:59:26
8722
原创 numpy.ndarry n维数组类型
import numpy as npprint ('使用普通一维数组生成NumPy一维数组')data = [6, 7.5, 8, 0, 1]arr = np.array(data)print (arr)print ('打印元素类型')print (arr.dtype)print ( ) print ('使用普通二维数组生成NumPy二维数组')data = [[1, 2,...
2018-03-28 15:17:26
799
转载 python中 if __name__ == '__main__' 如何正确理解?
在Python，我们经常会编写[python] view plain copyif __name__ == '__main__' 这么一段代码，这段代码该怎么来理解？这段代码的功能理解如下：一个python的文件有两种使用的方法：作用一，直接作为脚本执行。作用二，import到其他的python脚本中被调用（模块重用）执行。if __name__ == '__main__': 的作用就是控制这...
2018-03-27 17:41:10
270
转载 format函数2
强大的.format记录下平时发现的能简化编程的函数、语法和格式等。巧用.format发现有这个语法简直如获珍宝！！！下面是一些运用举例一、替换A、 对应序号替换 大括号内为索引序号，format内参数一一对应变量要替换的内容>>>'hello{0}_s{1}_s{2}_s{3}'.format('!','A','B','C')'hello!_sA_sB_sC'>>...
2018-03-23 18:18:32
622
转载 format函数1
format 格式化函数 Python 字符串Python2.6 开始，新增了一种格式化字符串的函数 str.format()，它增强了字符串格式化的功能。基本语法是通过 {} 和 : 来代替以前的 % 。format 函数可以接受不限个参数，位置可以不按顺序。实例>>>"{} {}".format("hello", "world") # 不设置指定位置，按默认顺序'hel...
2018-03-23 18:18:11
567
转载 time和timeit使用
一、time 模块1. 时间表现形式timestamp：时间戳，时间戳表示的是从1970年1月1日00:00:00开始按秒计算的偏移量struct_time： 时间元组，共有九个元素组format time： 格式化时间，已格式化的结构使时间更具可读性。包括自定义格式和固定格式3. 常用方法# 1、获取当前时间time.time() # 获取当前时间戳>1500252381.10072...
2018-03-23 18:07:55
2015
转载 Python中单引号，双引号，3个单引号及3个双引号的区别
网址：https://blog.youkuaiyun.com/woainishifu/article/details/76105667Python中单引号，双引号，3个单引号及3个双引号的区别2017年07月26日 10:21:237401单引号和双引号在Python中我们都知道单引号和双引号都可以用来表示一个字符串，比如 [python] view plain copys...
2018-03-22 18:58:45
562
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人