<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[busy_programmer的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/busy_programmer</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; busy_programmer]]></copyright><item><title><![CDATA[数仓面试经]]></title><link>https://blog.youkuaiyun.com/busy_programmer/article/details/120431654</link><guid>https://blog.youkuaiyun.com/busy_programmer/article/details/120431654</guid><author>busy_programmer</author><pubDate>Thu, 23 Sep 2021 11:29:21 +0800</pubDate><description><![CDATA[1.内部表和外部表的区别?
2.MapReduce的工作流程？
3.hive的数据倾斜怎么解决？
4.分区表和分桶表的区别?
5.数仓是怎么建模的？
6.order by和sort by的区别？
7.hive的动态分区怎么实现？
8.有没有实现过UDF函数,在什么场景用到的？
9.mapreduce过程中map大小是多少？
10.hive的优化参数有哪些,举例说明用途？
11.sql题 连续3天登录的用户？(经典sql题)
12.left join时候大表应该放在左边还是右边？
13.union和 unio]]></description><category></category></item><item><title><![CDATA[Shell 入门到放弃大全]]></title><link>https://blog.youkuaiyun.com/busy_programmer/article/details/120310645</link><guid>https://blog.youkuaiyun.com/busy_programmer/article/details/120310645</guid><author>busy_programmer</author><pubDate>Wed, 15 Sep 2021 16:02:14 +0800</pubDate><description><![CDATA[bash -x frist_shell.sh   可以查询脚本错误的行数
bash -n  frist_shell.sh 可以查看脚本语法是否有问题
获取当前的日期:  echo “$(data+’%F %T’)”
声明变量: A=hello
取消变量: unset A
切分一个变量:
例: A=123456
echo A:2:3给变量赋值命令结果的俩种方式:1、A=‘hostname‘2、B={A:2:3}
给变量赋值命令结果的俩种方式: 
1、A=`hostname`
2、B=A:2:3给变量赋值命令结]]></description><category></category></item><item><title><![CDATA[linux过滤切分命令]]></title><link>https://blog.youkuaiyun.com/busy_programmer/article/details/120282982</link><guid>https://blog.youkuaiyun.com/busy_programmer/article/details/120282982</guid><author>busy_programmer</author><pubDate>Tue, 14 Sep 2021 10:55:15 +0800</pubDate><description><![CDATA[设置关键字颜色转换例:alias grep=‘grep --color=auto’
grep命令:
grep ‘root’ filename过滤文件中包含root的行
grep -n ‘root’ filename过滤文件中包含root的行并且包含行号
grep -ni ‘root’  filename过滤文件中包含root的行并且包含行号(不区分大小写)
grep -niv ‘root’  filename过滤文件中不包含root的行并且包含行号(不区分大小写)
grep -n ‘^root’ filen]]></description><category></category></item><item><title><![CDATA[hive表数据误删恢复]]></title><link>https://blog.youkuaiyun.com/busy_programmer/article/details/119759256</link><guid>https://blog.youkuaiyun.com/busy_programmer/article/details/119759256</guid><author>busy_programmer</author><pubDate>Tue, 17 Aug 2021 16:09:24 +0800</pubDate><description><![CDATA[hive表或者表数据被误删,都会到垃圾站,可以到垃圾站中去恢复
一般的都会在这个路径下,可能会有不同
/user/hadoop/.Trash
只需要找到被删表名,将下面数据移到hive表对应的hdfs目录即可
如果说没找到,可能是因集群配置中没有开启

...]]></description><category></category></item><item><title><![CDATA[linux命令总结seq命令]]></title><link>https://blog.youkuaiyun.com/busy_programmer/article/details/114929140</link><guid>https://blog.youkuaiyun.com/busy_programmer/article/details/114929140</guid><author>busy_programmer</author><pubDate>Wed, 17 Mar 2021 14:26:32 +0800</pubDate><description><![CDATA[seq命令用于产生从某个数到另外一个数之间的所有整数
语法:
1.seq [选项]…尾数
2.seq [选项]…首数   尾数
3.seq [选项]…首数  增量  尾数
seq  -f , --format=格式  使用printf样式的浮点格式
例:

seq  -s,  --separator=字符串 使用指定字符串分隔数字(默认使用:\n)

seq -w,  --equal -width 在列前添加0,使得宽度相同


...]]></description><category></category></item><item><title><![CDATA[sftp连接服务器下载文件到本地]]></title><link>https://blog.youkuaiyun.com/busy_programmer/article/details/108057282</link><guid>https://blog.youkuaiyun.com/busy_programmer/article/details/108057282</guid><author>busy_programmer</author><pubDate>Mon, 17 Aug 2020 15:42:22 +0800</pubDate><description><![CDATA[#!/bin/bash
USERNAME=“root”
PASSWORD=“123456”
File_NAME=“xxx100.tar.gz"FileNAME15="xxx{1}00.tar.gz"
File_NAME15="xxx100.tar.gz"FileN​AME15="xxx{1}15.tar.gz”
File_NAME30=“xxx130.tar.gz"FileNAME45="xxx{1}30.tar.gz"
File_NAME45="xxx130.tar.gz"FileN​AME45="xxx]]></description><category></category></item><item><title><![CDATA[Shell比较小数的大小]]></title><link>https://blog.youkuaiyun.com/busy_programmer/article/details/107465166</link><guid>https://blog.youkuaiyun.com/busy_programmer/article/details/107465166</guid><author>busy_programmer</author><pubDate>Mon, 20 Jul 2020 15:46:57 +0800</pubDate><description><![CDATA[大家应该都比较了解 -gt -lt -eq -ne -ge
这些都是比较整数的。
比较小数的时候都会报错。

a=2.3
if [ echo "$a &gt; 2.0" |bc -eq 1 ];then
echo “$a &gt;2.0”
fi
使用bc可以比较浮点型的小数
然后就可以解决了。

...]]></description><category></category></item><item><title><![CDATA[hive命令行]]></title><link>https://blog.youkuaiyun.com/busy_programmer/article/details/107322049</link><guid>https://blog.youkuaiyun.com/busy_programmer/article/details/107322049</guid><author>busy_programmer</author><pubDate>Mon, 13 Jul 2020 17:56:26 +0800</pubDate><description><![CDATA[输入$HIVE__HOME/hive -H 或者 -help 可以显示帮助选项:
说明：
1.-i 初始化HQL文件、
2.-e从命令行执行指定的HQL
例如: hive -e “select * from tablename;”
一般都是进不了hive的时候,或者在脚本中直接这样使用
3.-f
脚本例:



vi aa.sql
select * from aa.sql;




bin/hive-f /home/aa.hql
hive.exec.mode.local.auto
决定 Hive 是否应该自]]></description><category></category></item><item><title><![CDATA[日报乱码]]></title><link>https://blog.youkuaiyun.com/busy_programmer/article/details/107133146</link><guid>https://blog.youkuaiyun.com/busy_programmer/article/details/107133146</guid><author>busy_programmer</author><pubDate>Sun, 05 Jul 2020 00:20:26 +0800</pubDate><description><![CDATA[修改日志乱码格式

iconv -f GBK -t UTF-8 cap_default.log  将GBK格式转成UTF-8的就好了

]]></description><category></category></item><item><title><![CDATA[Python文件的四种读写方式——r a w r+]]></title><link>https://blog.youkuaiyun.com/busy_programmer/article/details/106765443</link><guid>https://blog.youkuaiyun.com/busy_programmer/article/details/106765443</guid><author>busy_programmer</author><pubDate>Mon, 15 Jun 2020 16:33:52 +0800</pubDate><description><![CDATA[文件的基本操作,但是一般都不这么使用,因为经常会忘记使用。
password=open(“abc.txt”,mode=“r”,encoding=“UTF-8”)
print(password)
fileContentn=password.read()
print(fileContentn)
print(password.closed)
password.close
print(password.closed)
print()
#为了解决经常关闭文件,使用with open () as 文件名: 会自动关闭文]]></description><category></category></item><item><title><![CDATA[返回函数]]></title><link>https://blog.youkuaiyun.com/busy_programmer/article/details/106660772</link><guid>https://blog.youkuaiyun.com/busy_programmer/article/details/106660772</guid><author>busy_programmer</author><pubDate>Wed, 10 Jun 2020 10:47:03 +0800</pubDate><description><![CDATA[函数作为返回值
高阶函数除了可以接受函数作为参数外,还可以吧函数作为结果值返回。
但是,如果不需要立刻求和,而是在后面的代码中,根据需要在计算怎么办？可以不返回求和的结果,而是返回求和的函数:
调用函数f时,才真正计算求和的结果:
在这个例子中,我们在函数lazy_sum中又定义了函数sum,并且,内部函数sum可以引用外部函数lazy_sum的参数和局部变量,当lazy_sum返回函数sum时,相关参数和变量都保存在返回的函数中,这种称为“闭包(Closure)”的程序结构拥有极大的威力。
请在注意一点,]]></description><category></category></item><item><title><![CDATA[py中的高级函数和Map/reduce]]></title><link>https://blog.youkuaiyun.com/busy_programmer/article/details/106637463</link><guid>https://blog.youkuaiyun.com/busy_programmer/article/details/106637463</guid><author>busy_programmer</author><pubDate>Tue, 09 Jun 2020 11:21:33 +0800</pubDate><description><![CDATA[传入函数：
既然变量可以指向函数.函数的参数能接受变量,那么一个函数就可以接受另一个函数作为参数,这个函数就成之为高阶函数。
一个最简单的高阶函数:
def add(x,y,f):
return f(x)+f(y)
当我们调用add(-5,6,abs)时,参数x,y,和f分别接受-5，6和abs,根据函数定义,我们可以推到计算过程为:
高级函数的编写和调用。
Map/reduce
python内建立了map()和reduce()函数。
map()函数接受了俩个参数,一个是函数,一个是Iterable,map]]></description><category></category></item><item><title><![CDATA[HBASE 结构过滤器]]></title><link>https://blog.youkuaiyun.com/busy_programmer/article/details/106057469</link><guid>https://blog.youkuaiyun.com/busy_programmer/article/details/106057469</guid><author>busy_programmer</author><pubDate>Mon, 11 May 2020 16:45:05 +0800</pubDate><description><![CDATA[1.结构过滤器–FilterList
FilterList代表一个过滤器链,他可以包含一组即将应用于目标数据集的过滤器，过滤器具有与“FilterList.Operator.MuST_PASS_ALL”和或“FilterList.Operator.MUST_PASS_ONE”关系
FilterList list=new FilterList(FilterList.Operator.MUST_PASS_ONE);//数据只要瞒足一组过滤器中的一个就可以
SingleColumnValueFileter fil]]></description><category></category></item><item><title><![CDATA[将hive库中的建表语句导出到本地文件中的脚本]]></title><link>https://blog.youkuaiyun.com/busy_programmer/article/details/106054735</link><guid>https://blog.youkuaiyun.com/busy_programmer/article/details/106054735</guid><author>busy_programmer</author><pubDate>Mon, 11 May 2020 15:13:16 +0800</pubDate><description><![CDATA[#!/bin/bash
tables=$(hive -e “show tables;”)
for table in tables;doecho"tables;
do
                echo "tables;doecho"(hive -e “show create table $table;”);" &gt;&gt; /data01/***.txt
done
这个取的是默认库（default）下面的表，如需取指定库下的表,情指定库名。。。

...]]></description><category></category></item><item><title><![CDATA[*linux查看hdfs命令和查询hive的一些语句]]></title><link>https://blog.youkuaiyun.com/busy_programmer/article/details/105683862</link><guid>https://blog.youkuaiyun.com/busy_programmer/article/details/105683862</guid><author>busy_programmer</author><pubDate>Wed, 22 Apr 2020 15:43:05 +0800</pubDate><description><![CDATA[**linux的基本命令**

查看hive的分区的大小: hadoop dfs -du -h 
合并linux本地的小文件:cat aa* &gt;xx.txt
查看文件中的内容:cat ,more
查看hdfs上文件夹下面的文件  hadoop dfs -ls
在hdfs上面创建文件夹   hadoop dfs -mkdir
删除hdfs上面的文件:hadoop dfs -rm
...]]></description><category></category></item><item><title><![CDATA[spark sql解析json文件的数组]]></title><link>https://blog.youkuaiyun.com/busy_programmer/article/details/104457137</link><guid>https://blog.youkuaiyun.com/busy_programmer/article/details/104457137</guid><author>busy_programmer</author><pubDate>Sun, 23 Feb 2020 11:44:52 +0800</pubDate><description><![CDATA[1.现有Json数据是这样的。
{“2B:3E:5Y”,“devicestatus”[{
“Time”: “2020-01-20 13:41:23”,
“runningTime”: 2563354,
“cpuUsage”: 2,
“memUsage”: 51
}],
这个文件是没有表头的,是一个Json格式的,我想用spark sql取给他解数组:
吧runningTime吧字符串转换为时间戳

...]]></description><category></category></item></channel></rss>