数智技术

一、数仓模型优化-如何判断一个数据模型的好坏1.完善度汇总数据能直接满足多少查询需求，即应用层访问汇总层数据的查询比例跨层引用率：ODS层直接被DWS/ADS/DM层引用的表，占所有ODS层表比例可以快速响应业务方的需求比较好的模型，使用方式是可以直接从该模型获取所有想要的数据的，如果DWS,ADS,DM层直接引用ODS层的表比例太大，即跨层引用率太高，则该模型不是最优，可以继续优化2.复用度模型引用系数：模型被读取并产出下游模型的平均数量3.规范度主题域归属...

Hadoop物理机集群搭建（hdfs和yarn）版本：hadoop-3.3.0准备工作：1.需要先安装jdk82.六台机器ssh相互信任3.关闭防火墙或者六台机器ip都加到白名单服务器配置（6台）：168.61.1.11（用作NameNode和ResourceManager）168.61.1.12、168.61.1.13、168.61.1.14、168.61.1.15、168.61.1.16（用作DataNode和NodeManager）新的改变我们对Markdown编辑器进行了一些功能拓