<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[Fread325的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/Fread325</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; Fread325]]></copyright><item><title><![CDATA[日切表转拉链表初始化，分组排序]]></title><link>https://blog.youkuaiyun.com/Fread325/article/details/131974938</link><guid>https://blog.youkuaiyun.com/Fread325/article/details/131974938</guid><author>Fread325</author><pubDate>Fri, 28 Jul 2023 11:15:52 +0800</pubDate><description><![CDATA[日切表转拉链表初始化，分组排序]]></description><category></category></item><item><title><![CDATA[python通过url获取json并解析]]></title><link>https://blog.youkuaiyun.com/Fread325/article/details/131534839</link><guid>https://blog.youkuaiyun.com/Fread325/article/details/131534839</guid><author>Fread325</author><pubDate>Tue, 04 Jul 2023 14:53:03 +0800</pubDate><description><![CDATA[【代码】python通过url获取json并解析。]]></description><category></category></item><item><title><![CDATA[crontab 每月第二个周日]]></title><link>https://blog.youkuaiyun.com/Fread325/article/details/128713836</link><guid>https://blog.youkuaiyun.com/Fread325/article/details/128713836</guid><author>Fread325</author><pubDate>Tue, 17 Jan 2023 12:12:01 +0800</pubDate><description><![CDATA[注: weekday 和 day 这两栏很容易造成混淆, 假如两栏同时都被指定时, 只需满足其中一栏就算符合，即会在每月1日和15日运行，每个星期五也会运行。如：每月第二个周六 指定周六，判断日期为日历中周六。3.指定星期，运行语句结合cal日历和awk获取指定位置日期判断。man 5 crontab # 找到下述解释。1.指定日期，运行语句加上星期判断。2.指定星期，运行语句加上日期判断。]]></description><category></category></item><item><title><![CDATA[hive 空文件 空数据文件 小文件]]></title><link>https://blog.youkuaiyun.com/Fread325/article/details/128484900</link><guid>https://blog.youkuaiyun.com/Fread325/article/details/128484900</guid><author>Fread325</author><pubDate>Thu, 29 Dec 2022 17:28:04 +0800</pubDate><description><![CDATA[hive 空文件 空数据文件 小文件]]></description><category></category></item><item><title><![CDATA[hive parquet 修改字段名 查询为空]]></title><link>https://blog.youkuaiyun.com/Fread325/article/details/126290070</link><guid>https://blog.youkuaiyun.com/Fread325/article/details/126290070</guid><author>Fread325</author><pubDate>Thu, 11 Aug 2022 17:57:11 +0800</pubDate><description><![CDATA[1.在Hive的当前会话设置parquet.column.index.access=true属性（临时）Parquet格式的表，在重命名表的列名后，查询重名的列数据时显示当前列所有值为NULL。hive默认的读取parquet文件是按照名称读取的（orc默认是按序列号读取的），这个参数的功能是使hive读取parquet文件时使用序列号读取。...]]></description><category></category></item><item><title><![CDATA[gp表压缩]]></title><link>https://blog.youkuaiyun.com/Fread325/article/details/125431396</link><guid>https://blog.youkuaiyun.com/Fread325/article/details/125431396</guid><author>Fread325</author><pubDate>Thu, 23 Jun 2022 17:33:08 +0800</pubDate><description><![CDATA[gp数据表压缩]]></description><category></category></item><item><title><![CDATA[sparksql regexp_replace()匹配隐藏字符 匹配反斜杠]]></title><link>https://blog.youkuaiyun.com/Fread325/article/details/125329832</link><guid>https://blog.youkuaiyun.com/Fread325/article/details/125329832</guid><author>Fread325</author><pubDate>Fri, 17 Jun 2022 11:07:02 +0800</pubDate><description><![CDATA[sparksql regexp_replace()匹配隐藏字符 匹配反斜杠]]></description><category></category></item><item><title><![CDATA[Cloudera Manager（简称CM）管理大数据平台CDH，CM提供web可视化界面和RESTful API]]></title><link>https://blog.youkuaiyun.com/Fread325/article/details/122165674</link><guid>https://blog.youkuaiyun.com/Fread325/article/details/122165674</guid><author>Fread325</author><pubDate>Mon, 27 Dec 2021 10:06:54 +0800</pubDate><description><![CDATA[API列表可以访问：

http://localhost:7180/static/apidocs/rest.html

https://github.com/cloudera/cm_api



使用方式参考：

1、访问集群概要信息

# curl -u admin:your_password 'http://localhost:7180/api/v19/clusters/'

2、获取集群内服务状态信息

# curl -u admin:your_password 'http://localhost:7]]></description><category></category></item><item><title><![CDATA[当月最后一天转换]]></title><link>https://blog.youkuaiyun.com/Fread325/article/details/121212669</link><guid>https://blog.youkuaiyun.com/Fread325/article/details/121212669</guid><author>Fread325</author><pubDate>Mon, 08 Nov 2021 17:46:49 +0800</pubDate><description><![CDATA[hive


-- HIVE
select
    last_day(
        from_unixtime(
            unix_timestamp('${bizdate}', 'yyyyMMdd')
        )
    ),
    'yyyy-MM-dd'
);

-- PostgreSQL
select (date_trunc('month', '${bizdate}'::date) + interval '1 month' - interval '1 day')::d.]]></description><category></category></item><item><title><![CDATA[获得元数据信息]]></title><link>https://blog.youkuaiyun.com/Fread325/article/details/119175854</link><guid>https://blog.youkuaiyun.com/Fread325/article/details/119175854</guid><author>Fread325</author><pubDate>Wed, 28 Jul 2021 11:37:17 +0800</pubDate><description><![CDATA[oracle




postgresql/gp

postgresql比较特殊一点，因为postgresql使用了namespace的概念，可能同一个库中不同的namesespace有两个表明一样的表：


参考：
postgresql文档：PostgreSQL: Documentation: 10: PostgreSQL 10.19 Documentation...]]></description><category></category></item><item><title><![CDATA[mysql到hive数据类型转换]]></title><link>https://blog.youkuaiyun.com/Fread325/article/details/118992092</link><guid>https://blog.youkuaiyun.com/Fread325/article/details/118992092</guid><author>Fread325</author><pubDate>Thu, 22 Jul 2021 09:57:02 +0800</pubDate><description><![CDATA[]]></description><category></category></item><item><title><![CDATA[decimal(m,n)]]></title><link>https://blog.youkuaiyun.com/Fread325/article/details/118694204</link><guid>https://blog.youkuaiyun.com/Fread325/article/details/118694204</guid><author>Fread325</author><pubDate>Tue, 13 Jul 2021 10:31:01 +0800</pubDate><description><![CDATA[Hive的decimal类型类似Oracle，decimal(m,n)表示数字总长度为m位，小数位为n位，那么整数位就只有m-n位。

MySql的decimal类型，decimal(m,n)表示整数位为m位，小数位为n位。

如果你在Hive中使用的时候发现字段长度不够，Hive在处理数值字段的时候会直接置该字段值为NULL，不会将它截去。
...]]></description><category></category></item><item><title><![CDATA[sparksql java.lang.OutOfMemoryError: GC overhead limit exceeded]]></title><link>https://blog.youkuaiyun.com/Fread325/article/details/117282282</link><guid>https://blog.youkuaiyun.com/Fread325/article/details/117282282</guid><author>Fread325</author><pubDate>Wed, 26 May 2021 10:42:05 +0800</pubDate><description><![CDATA[问题分析：

查看yarn 任务详情Tracking URL:ApplicationMaster 界面，观察数据分配，发现tasks 的 suffer size分布不均匀。判断为 大表 left jion 小表 left join 大表的关联方式 ，产生了数据倾斜，造成内存溢出。



解决方案：

方案1：设置Spark-SQL adaptive 自适应框架参数

需要在插入语句末尾添加分布键语句，distribute by 。


SET spark.sql.adaptive.enabled=tr...]]></description><category></category></item><item><title><![CDATA[sql 正则替换]]></title><link>https://blog.youkuaiyun.com/Fread325/article/details/116132860</link><guid>https://blog.youkuaiyun.com/Fread325/article/details/116132860</guid><author>Fread325</author><pubDate>Sun, 25 Apr 2021 16:46:40 +0800</pubDate><description><![CDATA[保留数字


regexp_replace(mobiles,"[^0-9-]","")



去除换行符


regexp_replace(name, '\n|\t|\r', '')


]]></description><category></category></item><item><title><![CDATA[python2 读取csv 中文乱码]]></title><link>https://blog.youkuaiyun.com/Fread325/article/details/115954774</link><guid>https://blog.youkuaiyun.com/Fread325/article/details/115954774</guid><author>Fread325</author><pubDate>Wed, 21 Apr 2021 15:08:16 +0800</pubDate><description><![CDATA[解决方法：使用codecs，指定读取编码

文件内容：



原代码：


# -*- coding: utf-8 -*-

import datetime
import csv
import sys
import os

reload(sys)  
sys.setdefaultencoding('utf8') # 设置编码

# 读取配置文件
def get_task_config(path):
    task_config = [] # 配置列表 每一个元素为一行配置
    f = open(pat]]></description><category></category></item><item><title><![CDATA[hive 日期格式转换]]></title><link>https://blog.youkuaiyun.com/Fread325/article/details/114370236</link><guid>https://blog.youkuaiyun.com/Fread325/article/details/114370236</guid><author>Fread325</author><pubDate>Thu, 04 Mar 2021 15:51:51 +0800</pubDate><description><![CDATA[方法1: from_unixtime+ unix_timestamp
--20210303转成2021-03-03
from_unixtime(unix_timestamp('20210303','yyyymmdd'),'yyyy-mm-dd')

--2021-03-03转成20210303
from_unixtime(unix_timestamp('2021-03-03','yyyy-mm-dd'),'yyyymmdd')

--UTC时间
from_unixtime(
	(
		unix_times.]]></description><category></category></item><item><title><![CDATA[sparksql压缩小文件]]></title><link>https://blog.youkuaiyun.com/Fread325/article/details/114299775</link><guid>https://blog.youkuaiyun.com/Fread325/article/details/114299775</guid><author>Fread325</author><pubDate>Wed, 03 Mar 2021 09:51:11 +0800</pubDate><description><![CDATA[SET spark.sql.shuffle.partitions=2;
SET spark.sql.adaptive.enabled=true;
SET spark.sql.adaptive.shuffle.targetPostShuffleInputSize=268435456;
insert overwrite table table_name partition(stat_dt) select * from source_table_name where stat_dt='20160701' dis.]]></description><category></category></item><item><title><![CDATA[Hive动态分区参数配置]]></title><link>https://blog.youkuaiyun.com/Fread325/article/details/112183298</link><guid>https://blog.youkuaiyun.com/Fread325/article/details/112183298</guid><author>Fread325</author><pubDate>Mon, 04 Jan 2021 16:11:07 +0800</pubDate><description><![CDATA[Caused by: org.apache.hadoop.hive.ql.metadata.HiveFatalException: [Error 20004]: Fatal error occurred when node tried to create too many dynamic partitions. The maximum number of dynamic partitions is controlled by hive.exec.max.dynamic.partitions and hiv.]]></description><category></category></item><item><title><![CDATA[HDFS空间维护操作]]></title><link>https://blog.youkuaiyun.com/Fread325/article/details/111578050</link><guid>https://blog.youkuaiyun.com/Fread325/article/details/111578050</guid><author>Fread325</author><pubDate>Wed, 23 Dec 2020 11:09:56 +0800</pubDate><description><![CDATA[删除临时目录：

kinit -kt /etc/security/keytabs/xxx.keytab xxx #改为自己的用户



hdfs dfs -du -h /user/hive/warehouse/icl_prd.db/ | grep '_temp_'

hdfs dfs -rm -r $path_name



压缩datax采集的数据：

进入代理机：20.0.40.222

hdfs dfs -ls -R /user/hive/warehouse/icl_prd.db/ | grep ..]]></description><category></category></item><item><title><![CDATA[1.4.2 IO流]]></title><link>https://blog.youkuaiyun.com/Fread325/article/details/110781911</link><guid>https://blog.youkuaiyun.com/Fread325/article/details/110781911</guid><author>Fread325</author><pubDate>Mon, 07 Dec 2020 23:56:25 +0800</pubDate><description><![CDATA[第十七章 IO流

17.1 IO流的概念

  IO就是Input和Output的简写，也就是输入和输出的含义。

  IO流就是指读写数据时像流水一样从一端流到另外一端，因此得名为“流"。



17.2 基本分类

  按照读写数据的基本单位不同，分为字节流和字符流。 其中字节流主要指以字节为单位进行数据读写的流，可以读写任意类型的文件。 其中字符流主要指以字符(2个字节)为单位进行数据读写的流，只能读写文本文件。
	  按照读写数据的方向不同，分为输入流和输出流（站在程序...]]></description><category></category></item></channel></rss>