- 博客(23)
- 收藏
- 关注
RSS订阅原创 python 试题
题目：给定一个由若干整数组成的数组nums,可以在数组内的任意位置进行分割，将该数组分割成两个非空子数组(即左数组和右数组)，分别对子数组求和得到两个值，计算这两个值的差值，请输出所有分割方案中，差值最大的值。输入： “第一行输入数组中元素个数n，1＜n＜=100000，第二行输入数字序列，以空格进行分隔，数字取值为4字节整数”1、分割数组的最大差值。输出： 差值的最大取值。
2025-03-29 18:15:19
186
原创 ES查询 索引别名
curl -k -u elastic:Passw0rd -XGET http://IP地址:端口/group_tag_all_boci_sc/_count?cd到see_job/create/create_table_group_tag_all_boci_es.sh脚本所在目录，执行以下命令，即可将ES表索引更改为group_tag_all_boci_tmp。索引group_tag_all_boci_test_main数据到备份索引group_tag_all_boci_test_back。
2024-11-08 12:08:47
1252
原创 Hive Metastore 查分区大小 批量建表语句
concat(‘)’,(case when t.PARAM_VALUE is null then ’ ’ else concat(’ comment ‘,’‘’‘,t.PARAM_VALUE,’‘’ ‘) end),concat(case when t.PARTITIONED is null then ‘kgl’ else concat(‘PARTITIONED BY (etl_date int comment ‘,’’’,‘数据日期’,‘’‘)kgl’) end)) as names2。
2024-10-23 22:43:26
926
原创 hive 正则表达式
2024年6月1日公告: 1、“三力转债”到期日和兑付登记日:2024年6月7日(星期五) 2、“三力转债”到期兑付价格:106元/张(含最后一期利息,含税) 3、“三力转债”到期兑付资金发放日:2024年6月11日(星期二) 4、“三力转债”摘牌日:2024年6月11日(星期二) 5、“三力转债”最后交易日:2024年6月4日(星期二) 6、“三力转债”最后转股日:2024年6月7日(星期五)‘, ‘交易日:+(\d+年\d+月\d+日)’), ‘yyyy年MM月dd日’), ‘yyyyMMdd’)
2024-08-08 21:45:08
1206
原创 hive 生产问题汇总
1、全转decimal相加，不然会被强制转decail，如result2：两个declimal计算不会造成精度丢失， double和decimal计算可能造成精度缺失，hive中double和decimal两个类型计算会返回double，有可能造成精度缺失。而在向量化查询执行中，每次处理包含多行记录的一批数据，每一批数据中的每一列都会被存储为一个向量（一个原始数据类型的数组），这就极大地减少了执行过程中的方法调用、反序列化和不必要的if-else操作，大大减少CPU的使用时间。
2023-12-27 09:32:16
1380
1
原创 hive 报错问题
向量化查询执行是 Hive 的一项功能，可大大减少典型查询操作(如扫描，过滤器，聚合和联接)的 CPU 使用率。向量化查询执行通过一次处理一个 1024 行的块来简化操作。通过有效地使用处理器管道和高速缓存，这些循环以精简的方式进行编译，该方式使用相对较少的指令，并平均在较少的时钟周期内完成每条指令。向量化查询(Vectorized query) 每次处理数据时会将1024行数据组成一个batch进行处理，而不是一行一行进行处理，这样能够显著提高执行速度。– 默认情况下，矢量化执行是关闭的；
2023-11-21 13:55:20
919
原创 hive 临时表、regexp_replace、get_json_object、explode、spli、regexp_extract、substring_index混用
hive 临时表、regexp_replace、get_json_object、explode、spli混用
2023-03-07 22:08:12
246
原创 shell脚本删除视图、mysql 判断是否删除完成
删除视图表function deleteViewTable() {# 声明要删除的表tableList=“keepa_view.v4_country_weekend keepa_view.v4_country_class keepa_view.v4_country_class30 keepa_view.v4_analysis_of_attribute_namekeepa_view.v4_analysis_of_attribute_name_detail keepa_view.v4_analysis_
2023-02-18 14:38:50
226
原创 hive面试题
用SQL判断字段串中连续出现两个以上的数字，并返回对应的数字with a as (select explode(split(regexp_replace(‘sdfsd1232sdf324’,’[0-9]+’,’,’),’,’)) col) select * from a where LENGTH(col)>1结果为sdfsdsdf
2022-04-12 17:23:48
1617
1
原创 clickhouse
SELECT Account,toInt64（arrayStringConcat(extractAll(Account, ‘[0-9]’),’’)） from finance_new_result.profit_resultclickhouse正则表达式提取字符串数字select Account, alphaTokens(Account),splitByChar(’-’,Account),arrayElement(splitByChar(’-’,Account),1) a,arrayElement(al
2022-03-23 13:34:39
3829
原创 使用spark将MySQL数据导入hive
import org.apache.spark.sql.{DataFrame, SaveMode, SparkSession}object spark_from_mysql_to_hive {def main(args: Array[String]): Unit = {val spark: SparkSession = SparkSession.builder().master(“local[*]”).enableHiveSupport().config(“spark.debug.maxToStri
2022-03-10 18:14:05
2722
原创 hive大小文件合并
hive -e “set tez.queue.name=usershell; 启用哪个队列set hive.execution.engine=tez; 启用引擎set hive.merge.tezfiles=true; 开启合并set hive.merge.smallfiles.avgsize=16000000; 文件合并标准（低于16000000kb进行合并）set hive.merge.size.per.task=128000000;文件合并大小（最终文件大于128000000后，停止合并，合
2021-09-28 19:37:23
4393
原创 hive 行列转化
select explode(split(regexp_replace(‘sdfsd1232sdf324’,’[0-9]+’,’,’),’,’))union allselect explode(split(regexp_replace(‘sdfsd1232sdf324’,’[a-z]+’,’,’),’,’))select regexp_extract(‘honeymoon’, ‘hon(.*?)(moon)’,2);select explode(array(‘A’,‘B’,‘C’))select
2021-09-28 16:17:40
263
原创 shell传参实时计算脚本
#!/bin/bashstar=date +'%Y-%m-%d %H:%M:%S'echo $(date “+%Y-%m-%d %H:%M:%S”);echo currency:$1;currency=1;echo"1;echo "1;echo"currency";echo Platform:$2;Platform=2;echo"2;echo "2;echo"Platform";echo Country:$3;Country=3;echo"3;echo "3;echo"Country"
2021-09-16 10:50:22
178
翻译 sqoop
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
2021-09-01 09:05:52
414
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人