<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[行走的数据智能]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/u014285607</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; u014285607]]></copyright><item><title><![CDATA[联想昭阳UOS1043专业版镜像下载地址]]></title><link>https://blog.youkuaiyun.com/u014285607/article/details/130010173</link><guid>https://blog.youkuaiyun.com/u014285607/article/details/130010173</guid><author>u014285607</author><pubDate>Fri, 07 Apr 2023 13:31:55 +0800</pubDate><description><![CDATA[联想昭阳UOS1043专业版镜像下载地址： https://cdimage-download.chinauos.com/desktop-professional/1043/uniontechos-desktop-20-professional-1043-amd64.iso。]]></description><category></category></item><item><title><![CDATA[Hive/Spark SQL常用函数(窗口分析函数、行列转换、JSON处理)]]></title><link>https://blog.youkuaiyun.com/u014285607/article/details/124830603</link><guid>https://blog.youkuaiyun.com/u014285607/article/details/124830603</guid><author>u014285607</author><pubDate>Tue, 17 May 2022 21:34:11 +0800</pubDate><description><![CDATA[文章目录

窗口分析函数
	
	
		1. 分析函数
			2. 聚合函数
			3. 窗口函数
		
	
	行列转换
	
	
		1. 行转列
			2. 列转行
		
	
	JSON处理
	
	
		1. JSON对象
			2. JSON数组
			
			Hive SQL
				Spark SQL
			
		
	
	时间处理





窗口分析函数

函数中用到的表数据如下图：



1. 分析函数

row_number()
	rank()
	dense_rank()
这3个函数通常用在组内.]]></description><category></category></item><item><title><![CDATA[用户画像及其应用案例分享]]></title><link>https://blog.youkuaiyun.com/u014285607/article/details/119508607</link><guid>https://blog.youkuaiyun.com/u014285607/article/details/119508607</guid><author>u014285607</author><pubDate>Sun, 08 Aug 2021 10:15:20 +0800</pubDate><description><![CDATA[一、用户画像基础概念

用户画像，即用户信息标签化，通过收集用户的社会属性、消费习惯、偏好特征等各个维度的数据，对用户特征属性进行刻画，并对这些特征进行分析、统计，挖掘潜在价值信息，从而抽象出用户的信息全貌。

作为一种勾画目标用户、联系用户诉求与设计方向的有效工具，用户画像已在各领域得到了广泛的应用。用户画像在实际应用中往往以最为浅显和贴近生活的话语将用户的属性、行为与期待的数据转化联结起来。如下用户画像示例图所示。





二、用户画像PERSONAL八要素

用户画像产品需要怎么做呢，用户画...]]></description><category></category></item><item><title><![CDATA[以程序员的视角带你看西安]]></title><link>https://blog.youkuaiyun.com/u014285607/article/details/118771895</link><guid>https://blog.youkuaiyun.com/u014285607/article/details/118771895</guid><author>u014285607</author><pubDate>Fri, 16 Jul 2021 00:32:45 +0800</pubDate><description><![CDATA[编者荐语：

作为一名土生土长的陕西人，我曾经在西安上了7年的学(本硕)，2018年硕士毕业来到深圳，已工作3年左右。最近几年西安的热度不断，抖音上不倒翁小姐姐、大唐不夜城火了，全国十四运这个夏天也要来了。今天，就让我们一起以程序员的视角带你去看看西安。



以下文章来源于微信公众号CS指南，作者大白











最近越来越多的人关注到西安这座城市，西安热度和知名度进一步提升，抖音上不倒翁小姐姐和大唐不夜城火了，全国第十四届运动会这个夏天也要来了。今天，就让我们一起以程序员的视角带你去看看西安.]]></description><category></category></item><item><title><![CDATA[2021年大数据面试宝典完整版（含答案解析）]]></title><link>https://blog.youkuaiyun.com/u014285607/article/details/117721436</link><guid>https://blog.youkuaiyun.com/u014285607/article/details/117721436</guid><author>u014285607</author><pubDate>Wed, 09 Jun 2021 02:22:46 +0800</pubDate><description><![CDATA[版本
			更新时间
			更新内容
		v1.0
			2020-07-01
			新建
		v1.1
			2020-07-18
			朋友面试大数据工程师提供的关于架构及数仓方面的题目
		v1.2
			2020-08-08
			朋友面试数据专家提供的数据驱动，spark及flink方面面试题
		v1.3
			2020-08-22
			朋友面试数据开发提供的关于hive及数仓方面的题目
		v1.4
			2020-09-06
			老徐提供面试题(数仓方向)及朋友提供数据开...]]></description><category></category></item><item><title><![CDATA[【转载】PinPoint（开源APM）全链路监控环境搭建]]></title><link>https://blog.youkuaiyun.com/u014285607/article/details/107214729</link><guid>https://blog.youkuaiyun.com/u014285607/article/details/107214729</guid><author>u014285607</author><pubDate>Wed, 08 Jul 2020 20:44:30 +0800</pubDate><description><![CDATA[PinPoint（开源APM）全链路监控

简介

Pinpoint是一个开源的 APM (Application Performance Management/应用性能管理)工具，用于基于java的大规模分布式系统，基于Google Dapper论文。

仿照 Google Dapper , Pinpoint 通过跟踪分布式应用之间的调用来提供解决方案， 以帮助分析系统的总体结构和内部模块之间如何相互联系。

如今的服务通常由很多不同模块组成，前端向后台发起一个查询请求，后台服务可能要调用多个服务，每个服]]></description><category></category></item><item><title><![CDATA[Linux学习路径图]]></title><link>https://blog.youkuaiyun.com/u014285607/article/details/100944998</link><guid>https://blog.youkuaiyun.com/u014285607/article/details/100944998</guid><author>u014285607</author><pubDate>Wed, 18 Sep 2019 00:10:57 +0800</pubDate><description><![CDATA[]]></description><category></category></item><item><title><![CDATA[在shell中如何判断HDFS中的文件目录是否存在]]></title><link>https://blog.youkuaiyun.com/u014285607/article/details/100754963</link><guid>https://blog.youkuaiyun.com/u014285607/article/details/100754963</guid><author>u014285607</author><pubDate>Thu, 12 Sep 2019 01:34:21 +0800</pubDate><description><![CDATA[在Linux文件系统中，我们可以使用下面的Shell脚本判断某个文件是否存在：


			# 这里的-f参数判断$file是否存在 

			if [ ! -f "$file" ]; then

			　　echo "文件不存在!"

			fi
			
		但是我们想判断HDFS上某个文件是否存在咋办呢？别急，Hadoop内置提供了判断某个文件是否存在的命令：


			[iteblog@www...]]></description><category></category></item><item><title><![CDATA[Hive操作表分区和表字段属性常用语句]]></title><link>https://blog.youkuaiyun.com/u014285607/article/details/100754519</link><guid>https://blog.youkuaiyun.com/u014285607/article/details/100754519</guid><author>u014285607</author><pubDate>Thu, 12 Sep 2019 01:06:36 +0800</pubDate><description><![CDATA[文章目录

1显示分区
	2添加分区
	3删除分区
	4修改分区
	5添加列
	6修改列
	7修改表属性
	8表的重命名
显示分区


			show partitions iteblog;
			
		添加分区


			ALTER TABLE table_name ADD [IF NOT EXISTS] PARTITION partition_spec 

			[LOCA...]]></description><category></category></item><item><title><![CDATA[Hive常用函数大全一览]]></title><link>https://blog.youkuaiyun.com/u014285607/article/details/100754263</link><guid>https://blog.youkuaiyun.com/u014285607/article/details/100754263</guid><author>u014285607</author><pubDate>Thu, 12 Sep 2019 00:49:17 +0800</pubDate><description><![CDATA[文章目录

1关系运算

	1.11、等值比较: =
		1.22、不等值比较:
		1.33、小于比较: &lt;
		1.44、小于等于比较: &lt;=
		1.55、大于比较: &gt;
		1.66、大于等于比较: &gt;=
		1.77、空值判断: IS NULL
		1.88、非空判断: IS NOT NULL
		1.99、LIKE比较: LIKE
		1.1...]]></description><category></category></item><item><title><![CDATA[Hive语句的书写顺序及执行顺序]]></title><link>https://blog.youkuaiyun.com/u014285607/article/details/100753528</link><guid>https://blog.youkuaiyun.com/u014285607/article/details/100753528</guid><author>u014285607</author><pubDate>Thu, 12 Sep 2019 00:05:26 +0800</pubDate><description><![CDATA[1、Hive语句的书写顺序：（从前往后）
(1)select
(2)from
(3)join on
(4) where
(5)group by
(6)having
(7)distribute by/cluster by
(8) sort by
(9) order by
(10) limit
(11) union(去重不排序)/union all（不去重不排序）



2、Hive语句的执行顺序：...]]></description><category></category></item><item><title><![CDATA[Hadoop常见命令 完整版]]></title><link>https://blog.youkuaiyun.com/u014285607/article/details/100717999</link><guid>https://blog.youkuaiyun.com/u014285607/article/details/100717999</guid><author>u014285607</author><pubDate>Wed, 11 Sep 2019 00:20:31 +0800</pubDate><description><![CDATA[1、列出根目录下所有的目录或文件

hadoop fs -ls /



2、列出/user目录下的所有目录和文件

Hadoop dfs -ls /user



3、列出/user目录及其子目录下的所有文件（谨慎使用）

hadoop dfs -ls -R /user



4、创建/soft目录

hadoop dfs -mkdir /soft



5、创建多级目录

had...]]></description><category></category></item><item><title><![CDATA[Hadoop Shell 常用命令]]></title><link>https://blog.youkuaiyun.com/u014285607/article/details/100633284</link><guid>https://blog.youkuaiyun.com/u014285607/article/details/100633284</guid><author>u014285607</author><pubDate>Sun, 08 Sep 2019 17:50:51 +0800</pubDate><description><![CDATA[FS Shell

调用文件系统(FS)Shell命令应使用bin/hadoop fs &lt;args&gt;的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统，scheme是hdfs，对本地文件系统，scheme是file。其中scheme和authority参数都是可选的，如果未加指定，就会使用配置中...]]></description><category></category></item><item><title><![CDATA[Linux 常用命令总结]]></title><link>https://blog.youkuaiyun.com/u014285607/article/details/100632483</link><guid>https://blog.youkuaiyun.com/u014285607/article/details/100632483</guid><author>u014285607</author><pubDate>Sun, 08 Sep 2019 17:21:27 +0800</pubDate><description><![CDATA[]]></description><category></category></item><item><title><![CDATA[Git常用命令速查表（收藏大全）]]></title><link>https://blog.youkuaiyun.com/u014285607/article/details/100632051</link><guid>https://blog.youkuaiyun.com/u014285607/article/details/100632051</guid><author>u014285607</author><pubDate>Sun, 08 Sep 2019 17:07:15 +0800</pubDate><description><![CDATA[名词

master: 默认开发分支
	origin: 默认远程版本库
	Index / Stage：暂存区
	Workspace：工作区
	Repository：仓库区（或本地仓库）
	Remote：远程仓库
一、新建代码库



二、配置

Git的设置文件为.gitconfig，它可以在用户主目录下（全局配置），也可以在项目目录下（项目配置）。



三、增加/删除/修改文件



四、代码...]]></description><category></category></item><item><title><![CDATA[Git 工作原理图与常用命令速查表]]></title><link>https://blog.youkuaiyun.com/u014285607/article/details/100632007</link><guid>https://blog.youkuaiyun.com/u014285607/article/details/100632007</guid><author>u014285607</author><pubDate>Sun, 08 Sep 2019 17:05:25 +0800</pubDate><description><![CDATA[一、Git 工作原理图与常用命令速查表




















]]></description><category></category></item><item><title><![CDATA[看我Git 72变，GitHub发布4已超过8000星]]></title><link>https://blog.youkuaiyun.com/u014285607/article/details/100588580</link><guid>https://blog.youkuaiyun.com/u014285607/article/details/100588580</guid><author>u014285607</author><pubDate>Sat, 07 Sep 2019 00:37:03 +0800</pubDate><description><![CDATA[简介：众所周知，Git是一个“分布式版本管理工具”，简单的理解版本管理工具。本文介绍了与使用Git相关的72个技巧，文末附带一张超详细的脑图。GitHub发布3天已经超过4000星，值得收藏！

来源：GitHub

编辑：金磊

众所周知，Git是一个“分布式版本管理工具”，简单的理解版本管理工具。本文介绍了与使用Git相关的72个技巧，文末附带一张超详细的脑图。GitHub发布3天已经超过4...]]></description><category></category></item><item><title><![CDATA[1000行 MySQL 学习笔记，不怕你不会，就怕你不学！]]></title><link>https://blog.youkuaiyun.com/u014285607/article/details/100588562</link><guid>https://blog.youkuaiyun.com/u014285607/article/details/100588562</guid><author>u014285607</author><pubDate>Sat, 07 Sep 2019 00:31:16 +0800</pubDate><description><![CDATA[简介：1000行 MySQL 学习笔记，不怕你不会，就怕你不学！

Windows服务


-- 启动MySQL
    net start mysql
-- 创建Windows服务
    sc create mysql binPath= mysqld_bin_path(注意：等号与值之间有空格)

连接与断开服务器


mysql -h 地址 -P 端口 -u 用户名 -p 密码

SHOW...]]></description><category></category></item><item><title><![CDATA[Hive 动态分区使用]]></title><link>https://blog.youkuaiyun.com/u014285607/article/details/100550155</link><guid>https://blog.youkuaiyun.com/u014285607/article/details/100550155</guid><author>u014285607</author><pubDate>Thu, 05 Sep 2019 01:08:08 +0800</pubDate><description><![CDATA[hive 动态分区与静态分区，静态分区需要制定分区字段的值插入分区数据，动态分区可以根据分区字段的值自动插入对应分区

静态分区：须指定分区字段的值


insert overwrite table test.tmp_edw_customer_event_detail_di partition(dt='20161218')
 select
    cid        ...]]></description><category></category></item><item><title><![CDATA[Hive 动态分区恢复静态分区表数据]]></title><link>https://blog.youkuaiyun.com/u014285607/article/details/100550022</link><guid>https://blog.youkuaiyun.com/u014285607/article/details/100550022</guid><author>u014285607</author><pubDate>Thu, 05 Sep 2019 00:59:46 +0800</pubDate><description><![CDATA[在企业上使用 Hive进行离线批量数据统计时，有时会遇到 Oozie工作流调度失败，导致很多 ptdate时间分区没有数据，可以通过 Hive创建临时表存储所有缺失的ptdate时间分区数据，然后通过Hive动态分区查询临时表导入数据至最终统计结果表中。



一、在正式介绍 Hive 动态分区恢复静态分区表数据时，先介绍一下 hive load导入数据的用法



hive ...]]></description><category></category></item></channel></rss>