zhangliushi的博客

早上收到优快云的推送信息，今天是我成为创作者的第1024天，回想起自己已经好久没有写博客了，突然间很有感触，想水一篇文章，跟小伙伴们分享一下我的经历。

Airflow学习笔记，包括页面主要功能模块，脚本编写，参数注意点等。

记录SQL存储过程基本语法，持续更新中。

记录Shell编程学习过程中的知识点，持续更新中。

第一范式，第二范式和第三范式的概念和具体实例学习。

PGSQL函数

文章目录前言一、提交代码二、添加执行权限三、合并代码总结前言笔者目前公司的离线数仓架构为使用sqoop定时接入关系型数据库数据，触发下游模型报表任务，定时任务调度使用的是airflow，需要自己写shell脚本和python脚本，shell脚本需要添加执行权限，本文介绍window环境下提交git代码的同时，给shell脚本授权。一、提交代码更新代码后，git add .git add .二、添加执行权限对制定shell文件进行授权， git update-index --chmod=+

文章目录前言一、数据仓库是什么二、数据中台是什么总结前言记录作者本人对于数据仓库和数据中台的理解。随着经验积累会不断完善更新。一、数据仓库是什么数据仓库是一套设计理念，区别于数据库，甚至很多方面和数据库的设计理念相反。它的主要作用是方便下游做数据分析，因此主动引入冗余，用空间换时间，进行预计算以达成此目的。二、数据中台是什么我理解的数据中台，应该是一个非常成熟的数据产品，上能接入各类数据源，下能给予前台各类数据并提供各种接口，以界面的形式提供接口让小白用户能够拿到需要的数据并保证数据安全。

文章目录前言一、什么是数据仓库二、数据仓库和数据库的区别三、数据仓库分层架构（一）ODS（二）DIM（三）DWD（四）DWS（五）ADS四、数据仓库建模方法（一）星型模型（二）雪花模型前言分享本人在数据仓库开发工作中遇到的问题及经验总结。一、什么是数据仓库因为数据库中的数据繁多、关系复杂且不能保证数据质量，为解决这样的问题，就诞生了数据仓库的概念。数据仓库是指将各种来源的数据统一接入到某个单一环境，对数据进行清洗，汇总并妥善保存以便支撑相关数据应用的方式。二、数据仓库和数据库的区别数据仓库与

git clone 拉代码进入目录后git branch -vv，查看当前分支git fetch -v 查看所有分支git checkout 分支名，切换到相应分支

系列文章目录第一章 Python 机器学习入门之pandas的使用文章目录系列文章目录前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结前言提示：这里可以添加本文要记录的大概内容：例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。提示：以下是本篇文章正文内容，下面案例可供参考一、pandas是什么？示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。二、使用步

文章目录前言一、Hadoop组件前言记录Hadoop学习与实战过程，持续更新中。一、Hadoop组件组件名称主要功能hdfs分布式文件存储mapreduce批量处理引擎yarn资源调度管理hive查询引擎，提供类sql的对hdfs中数据进行查询的接口hbase列类键值对 nosqlsqoop数据获取，从关系型数据库到hdfsflumk数据获取，日志类数据kafka高可扩展分布式消息引擎flink全功能的实时数据

\w 匹配字母或数字或下划线或汉字 等价于 ‘[^A-Za-z0-9_]’。\s 匹配任意的空白符\d 匹配数字\b 匹配单词的开始或结束^ 匹配字符串的开始$ 匹配字符串的结束

文章目录一、显示当前路径位置二、查看当前路径位置有什么内容三、改变当前路径四、创建文件夹三、进入vim四、后台运行一、显示当前路径位置pwd二、查看当前路径位置有什么内容ls作用：直接查看ls -l 或者 ll作用：长格式查看（以列表形式显示）ls -a作用：查看所有内容（包括隐藏文件）ll | grep作用：模糊搜索查看三、改变当前路径cd + 绝对路径（文件夹）作用：进入绝对路径或文件夹cd作用：进入相对路径（上层目录）cd ~作

归纳HiveQL常用函数，分享其在数据仓库开发中的案例。函数说明SUM()求和COUNT()求数量SUBSTR()截取字符串MAX()取最大MIN()取最小ROW_NUMBER()排序取值LOWER()转小写UPPER()转大写RLIKE/NOT RLIKEB是否在A里（支持正则）LIKE/NOT LIKEB是否在A里（不支持正则）COALESCE(参数.........

分享SQL的学习过程，记录其在数据仓库中的应用及本人所踩过的坑。