lezhuximing的博客

例子中value表示我们想取分位数的列值；nums为分区总行数；如果没有分区需求，去掉dt相关的部分即可。最终结果是取了value的0.25分位，0.5分位，0.75分位，0.9分位。具体想取多少分位，直接改数值即可。如果有分区需求，筛选排序值 = 分区总数 * 分位数，则可以得到每个分区的分位数；没有分区需求，筛选排序值 = 总行数 * 分位数，则可以得到分位数。如果有分区需求，先对数据分区排序；没有分区需求，则直接对数据排序。如果有分区需求，求每个分区的总数；没有分区需求，则直接求总行数。

【代码】常用SQL —— presto SQL 消除科学记数法，保留2位小数。

【代码】常用SQL——concat_ws字符串拼接。

distinct用来查询不重复记录的条数,即用distinct来返回不重复字段的条数（count(distinct id)）,其原因是distinct只能返回他的目标字段，而无法返回其他字段。可以直接运行select rand() 获取0~1之间的float型的数字，类似的，如果想获得例如1~100之间的整数随机数可以运行 select round(100*rand(),0)group by， order by 后面跟数字，指的是 select 后面选择的列（属性），1 代表第一个列（属性），依次类推。

在MySQL中，`IF`函数接受一个条件表达式，如果条件为真，则返回`true_value`，否则返回`false_value`。下面是一个简单的教程，介绍如何在不同的数据库中使用`IF`语句。上述示例中，如果`students`表中存在`score`大于等于60的记录，则返回'及格'，否则返回'不及格'。上述示例中，如果`students`表中存在`score`大于等于60的记录，则输出'及格'，否则输出'不及格'。上述示例中，如果`score`列的值大于等于60，则返回'及格'，否则返回'不及格'。

1. `collect_set(concat_ws(':',modelname,score))`：首先，使用`concat_ws()`函数将`modelname`和`score`两列的值以冒号为分隔符拼接在一起，然后使用`collect_set()`函数将拼接后的字符串进行去重，得到一个包含唯一值的集合。接下来，使用Spark SQL语句将字符串转换为Map类型，并将结果赋值给`result`变量。4. `as score_map`：最后，将转换后的Map类型赋值给一个名为`score_map`的别名。

【代码】常用SQL——设置浮点数保留几位小数

其中，碰到相同的值，排序的序号不会重复，而是按照相同的值随机排序，递增进行序号编码。如果是升序排序，则去掉上面示例中的“DESC”即可。上述示例中的ro_no即为排序序号。

【代码】常用SQL——CASE WHEN 介绍

常用建表语句，设置分区并设置表内容存储方式；数据转成Dataframe，并创建临时表，插入到数据库表中；toPanda()操作展示数据不完全解决方法；sql查询出来的数据创建临时表并缓存。

从无到有创建自己的数据库和数据表基础操作： 连接数据库：mysql -h地址-u用户名--port=端口号-p 当mysql显示Enter password:提示时，输入密码。 退出数据库交互界面：QUIT 查找服务器上当前存在的数据库：SHOW DATABASES; 创建数据库：CREATE DATABASE menagerie; 使用数据库：USE menagerie 查看当前数据库下的表情况：SHOW TABLES; 创建表： ...

按照常规流程来进行数据批量导入，但是导入失败。可以从以下几个点检查，逐一排除失败原因。1. excel数据另存为csv数据，数据用逗号分隔。2. csv数据的数据编码方式是否与MySQL数据一致，比如都设置为utf-8编码。检查csv数据是否是utf-8的方法： 在终端输入：file -s xxxxxxxx.csv 查看结果是否为utf-8编码，如果不是，则修改为utf-8编码。3. csv数据中每列的顺序是否与MySQL中要导入的表中列的顺序一致，如果不一致，需要修改为一致。MySQ