
hadoop
tianc.曦
贵州师范学院,一位努力学习的奋青。
展开
-
数仓分层及命名规范
一、分层 1、ODS层 原始数据层,存放原始数据,直接加载原始日志、数据,数据保持原貌,不做任何处理。 2、DWD层 对ODS层进行清洗,比如处理里面的空值、脏数据、极限值 3、DWS层 对DWD层进行join 或者聚合、汇总操作 4、ADS层 为各种统计报表提供数据 二、分层优点 1、把复杂问题简单化 将一个复杂的任务分解成多个步骤来完成,每一层只处理单一的步骤,比较简单、并且方便定位问题。 2、减少重复开发 规范数据分层,通过的中间层数据,能够减少极大的重复计算,增加一次计算结果的复用性。 3、隔离原始原创 2022-04-14 19:11:28 · 3425 阅读 · 0 评论 -
搭建集群时免密登录设置
1、vim /etc/hosts 通过主机名访问主机 2、 192.168.56.100 master 192.168.56.101 slave01 192.168.56.102 slave02 3、再使用scp命令将/etc/hosts复制 scp /etc/hosts root@192.168.56.101:/etc/ 4、验证 ping master 5、免密登录 ssh-keygen -t rsa 6、上传公钥到服务器 ssh-copy-id -i ~/.ssh/id_rsa.pub roo原创 2022-04-07 17:05:45 · 1258 阅读 · 0 评论