- 博客(11)
- 收藏
- 关注
RSS订阅原创 数仓分层及命名规范
一、分层1、ODS层原始数据层，存放原始数据，直接加载原始日志、数据，数据保持原貌，不做任何处理。2、DWD层对ODS层进行清洗，比如处理里面的空值、脏数据、极限值3、DWS层对DWD层进行join 或者聚合、汇总操作4、ADS层为各种统计报表提供数据二、分层优点1、把复杂问题简单化将一个复杂的任务分解成多个步骤来完成，每一层只处理单一的步骤，比较简单、并且方便定位问题。2、减少重复开发规范数据分层，通过的中间层数据，能够减少极大的重复计算，增加一次计算结果的复用性。3、隔离原始
2022-04-14 19:11:28
3387
原创 搭建集群时免密登录设置
1、vim /etc/hosts 通过主机名访问主机2、192.168.56.100 master192.168.56.101 slave01192.168.56.102 slave023、再使用scp命令将/etc/hosts复制scp /etc/hosts root@192.168.56.101:/etc/4、验证ping master5、免密登录ssh-keygen -t rsa6、上传公钥到服务器ssh-copy-id -i ~/.ssh/id_rsa.pub roo
2022-04-07 17:05:45
1252
原创 java开发常用工具类的使用
java判空工具类StringUtils.isEmpty(request.getUsername()) //字符串判断是否为空BeanUtils.copyProperties(request,example); //拷贝工具类CollectionUtils.isEmpty(); //判断list是否为空Lambda 表达式转list和map的方法以及判断Map是否含有值//分别转成List和mapXXXSevice.XXX().stream.map(DO:
2021-10-21 22:58:43
175
原创 list构建数据库父子关系
list构建数据库父子关系递归解决父子表伪代码@Overridepublic List<ConsumablesDTO> getAll() { //数据库中获取所有的数据 List<ConsumablesDTO> consumablesDOS = BeanUtils.deepClone(generalBeanService.queryList(new ConsumablesDO()),ConsumablesDTO.class); //默认根是0 Cons
2021-10-16 22:10:14
1030
原创 spring手撕ioc简易版
在网上看了很多反射的资料，尝试手撕一下简易版的ioc。IOC（控制反转）（1）IOC就是控制反转。就是对象的创建权反转交给Spring，由容器控制程序之间的依赖关系，作用是实现了程序的解耦合，而非传统实现中，由程序代码直接操控。(依赖)控制权由应用代码本身转到了外部容器，由容器根据配置文件去创建实例并管理各个实例之间的依赖关系，控制权的转移，是所谓反转，并且由容器动态的将某种依赖关系注入到组件之中。BeanFactory是SpringIoC容器的具体实现与核心接口，提供了一个先进的配置机制，使得任何类型
2021-05-31 14:44:01
218
原创 HashMap总结
java基础学习记录第一天写博客了，也面了几家公司了，写写自己的心得吧，以前都是写在自己的ipad备忘录上了，想了想，挂在博客上挺好的。HashMap总结HashMap是什么？HashMap是用于映射(键值对)处理的数据类型。随着JDK版本的更新，JDK1.8对HashMap底层的实现进行了优化，例如引入红黑树的数据结构和扩容的优化等。MAP的分类(1) HashMap：它根据键的hashCode值存储数据，大多数情况下可以直接定位到它的值，因而具有很快的访问速度，但遍历顺序却是不确定的。 Ha
2021-05-30 12:51:02
166
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人