- 博客(11)
- 收藏
- 关注
RSS订阅原创 数仓分层及命名规范
一、分层 1、ODS层 原始数据层，存放原始数据，直接加载原始日志、数据，数据保持原貌，不做任何处理。 2、DWD层 对ODS层进行清洗，比如处理里面的空值、脏数据、极限值 3、DWS层 对DWD层进行join 或者聚合、汇总操作 4、ADS层 为各种统计报表提供数据 二、分层优点 1、把复杂问题简单化 将一个复杂的任务分解成多个步骤来完成，每一层只处理单一的步骤，比较简单、并且方便定位问题。 2、减少重复开发 规范数据分层，通过的中间层数据，能够减少极大的重复计算，增加一次计算结果的复用性。 3、隔离原始
2022-04-14 19:11:28
3687
原创 搭建集群时免密登录设置
1、vim /etc/hosts 通过主机名访问主机 2、 192.168.56.100 master 192.168.56.101 slave01 192.168.56.102 slave02 3、再使用scp命令将/etc/hosts复制 scp /etc/hosts root@192.168.56.101:/etc/ 4、验证 ping master 5、免密登录 ssh-keygen -t rsa 6、上传公钥到服务器 ssh-copy-id -i ~/.ssh/id_rsa.pub roo
2022-04-07 17:05:45
1310
原创 java开发常用工具类的使用
java判空工具类 StringUtils.isEmpty(request.getUsername()) //字符串判断是否为空 BeanUtils.copyProperties(request,example); //拷贝工具类 CollectionUtils.isEmpty(); //判断list是否为空 Lambda 表达式转list和map的方法以及判断Map是否含有值 //分别转成List和map XXXSevice.XXX().stream.map(DO:
2021-10-21 22:58:43
231
原创 list构建数据库父子关系
list构建数据库父子关系 递归解决父子表伪代码 @Override public List<ConsumablesDTO> getAll() { //数据库中获取所有的数据 List<ConsumablesDTO> consumablesDOS = BeanUtils.deepClone(generalBeanService.queryList(new ConsumablesDO()),ConsumablesDTO.class); //默认根是0 Cons
2021-10-16 22:10:14
1098
原创 spring手撕ioc简易版
在网上看了很多反射的资料，尝试手撕一下简易版的ioc。 IOC（控制反转） （1）IOC就是控制反转。就是对象的创建权反转交给Spring，由容器控制程序之间的依赖关系，作用是实现了程序的解耦合，而非传统实现中，由程序代码直接操控。(依赖)控制权由应用代码本身转到了外部容器，由容器根据配置文件去创建实例并管理各个实例之间的依赖关系，控制权的转移，是所谓反转，并且由容器动态的将某种依赖关系注入到组件之中。BeanFactory是SpringIoC容器的具体实现与核心接口，提供了一个先进的配置机制，使得任何类型
2021-05-31 14:44:01
285
原创 HashMap总结
java基础学习记录 第一天写博客了，也面了几家公司了，写写自己的心得吧，以前都是写在自己的ipad备忘录上了，想了想，挂在博客上挺好的。 HashMap总结 HashMap是什么？ HashMap是用于映射(键值对)处理的数据类型。随着JDK版本的更新，JDK1.8对HashMap底层的实现进行了优化，例如引入红黑树的数据结构和扩容的优化等。 MAP的分类 (1) HashMap：它根据键的hashCode值存储数据，大多数情况下可以直接定位到它的值，因而具有很快的访问速度，但遍历顺序却是不确定的。 Ha
2021-05-30 12:51:02
208
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人