- 博客(568)
- 资源 (6)
- 收藏
- 关注
RSS订阅
原创 Kimball维度模型之构建数据仓库先决条件
成功的DW/BI项目通常共享上述一系列关键特征，而失败的项目则往往面临各种问题，其中一些问题可以总结自数据仓库专家Kimball的观点。失败的DW/BI项目因素：失败的项目往往出现在业务发起人缺乏深刻业务理解或技术发起人无法有效沟通业务需求的情况下。成功的项目通常建立在业务和技术团队紧密协作的基础上，而弱势的业务或技术发起人可能导致沟通障碍和项目目标的偏离。例子：在一个以技术为主导的项目中，业务发起人可能无法有效传达业务需求，导致最终交付的数据仓库无法满足真实业务场景。
2024-03-09 02:42:50
1185
原创 数学基础之排列组合知识点整理
排列强调顺序，公式为n!n−m!\dfrac{n!}{(n - m)!n−mn!。组合忽略顺序，公式为n!m!n−m!\dfrac{n!}{m!(n - m)!m!n−mn!。其性质与定理（如二项式定理）在概率计算、多项式展开等领域具有重要应用。
2025-04-01 13:55:39
730
原创 机器学习-西瓜书 第一章 绪论
核心定义机器学习是研究如何通过计算手段，利用经验（数据）改善系统自身的性能，从而在未知数据上做出有效预测或决策的学科。关键理解数据驱动：从数据中自动学习规律（模型），而非依赖人工规则传统编程 vs 机器学习：传统编程：输入规则+数据 → 输出结果机器学习：输入数据+结果 → 输出规则（模型）
2025-03-25 14:03:58
538
原创 数据仓库究竟在干什么?它在AI时代将何去何从?
在信息技术日新月异、数据爆炸性增长的今天，每一个组织、企业乃至政府机构都面临着如何有效管理、整合和利用海量数据的问题。数据仓库正是在这样的背景下应运而生，并逐渐发展成为一个集数据整合、业务建模和决策支持于一体的综合性平台。从宏观层面来看，数据仓库不仅仅是一套技术系统，而是一种全局视角下的信息治理战略。它在企业的数据管理、业务洞察以及未来预测中起到了无可替代的作用。
2025-03-13 14:25:46
593
原创 【订阅赠送】数据仓库开发规范之数据仓库模型表命名规范
本规范依赖《数据仓库架构》定义，需要提前理解基于Kimball维度模型指导标准三层架构方案，另外通过表命名涵盖必要业务含义模块化抽象进行命名规范设计。目标达成泛业务化的数据仓库通用命名规范定义，基于此，可以指导数据中台或数据开发平台的建设给出模块化的理论参考。
2025-03-07 01:43:48
50
原创 数据仓库开发规范之增全量标识设计规范
适配模式标识数据周期描述Batchh小时按小时周期更新数据Batchd日按日周期更新数据Batchw周按周周期更新数据Batchm月按月周期更新数据Streamrt实时实时更新数据适配模式标识数据加载方式描述Batchi增量加载模型表数据增量更新，仅加载新增或变更的数据Batchf全量加载模型表为非分区模式，每次更新全量数据Batchs快照加载分区快照，每个分区保存独立的全量数据快照，表示特定时间点的全量数据Streamrt实时加载。
2025-03-07 01:42:24
37
原创 Kimball维度模型之前台功能设计核心技术介绍
数据仓库前台功能中，标准化的查询管理是一项至关重要的任务。通过强大而直观的查询管理工具，用户能够高效地与数据仓库进行交互，从而深入挖掘数据、获取有价值的信息。查询管理功能提供了多种灵活的查询选项，包括基于SQL语言的高级查询和直观的图形化用户界面。用户可以通过简单的拖拽、选择和过滤操作，轻松构建复杂的查询，无需深入了解底层数据库结构。这一前台功能还包括了查询优化和性能监控，以确保用户能够获取高效的查询结果。
2025-03-07 01:11:13
469
原创 Kimball维度模型之迟到的维度
在数据仓库建设的过程中，处理“迟到的维度”是一个关键问题。所谓“迟到的维度”，指的是某一维度对应的事实数据已经发生，但其维度数据尚未被数据仓库采集到的情况。这可能由于数据采集的延迟、数据处理流程中的错误或者数据源的后续更新等原因引起。在Kimball的数据仓库设计理念中，处理“迟到的维度”至关重要，因为维度数据的完整性直接影响到数据仓库的分析结果和决策效果。本文将探讨在数据仓库建设中如何有效地处理这些“迟到的维度”。
2025-03-07 00:34:34
32
原创 Kimball维度模型之数据仓库灵魂总线架构
在数据仓库领域，深刻理解基本概念是确立强大数据管理体系的关键。数据仓库作为一个庞大而复杂的系统，其核心概念涉及多维体系结构、总线架构等关键要素。首要的是理解数据仓库的架构，例如Multidimensional Architecture（MD）或中文译名的“多维体系结构”、“总线架构”、”一致性维度“以及”一致性事实“，这些概念奠定了数据仓库建设的基础。 基本概念的理解不仅有助于建立合理的数据结构，还为查询管理、活动监控等提供性能和质量服务提供了坚实的基础。
2025-03-07 00:28:13
226
原创 数据结构与算法之N-ary树的遍历算法
前序遍历：先访问根节点，再访问子节点，适用于需要先处理节点本身的情况。后序遍历：先访问所有子节点，再处理根节点，适用于需要先处理子树的场景。中序遍历：虽然不常见，但在某些特定需求下可以自定义实现。深度优先遍历可以通过递归或者显式栈来实现，递归实现代码简洁直观，但栈实现避免了递归带来的栈溢出风险，适合较深的树结构。逐层遍历：BFS 从根节点开始逐层遍历，适合处理层次结构，常用于查找最短路径、广度优先搜索等问题。实现方式：使用队列，空间复杂度为O(w)，其中w是树的最大宽度。
2025-02-27 13:31:26
569
原创 组件之Seatunnel 2.3.2 安装与验证(Hive2.1.1 to Doris2.1.1)指南
本指南将帮助您完成 Seatunnel 2.3.2 的安装和配置，并执行简单的测试任务。按照以下步骤操作，确保您能够顺利完成 Seatunnel 的安装和验证。
2025-02-14 17:48:45
930
原创 Java基础之并发理论
并发（Concurrency）是计算机科学中的一个关键概念，涉及多个任务（如线程、进程等）在同一时段内的执行。并发不仅关心任务如何被调度执行，还强调任务之间如何协调与共享资源。在多核处理器和多处理器系统中，如何实现高效的并发执行已经成为现代程序设计的核心挑战之一。随着硬件的演进，尤其是多核和多处理器的普及，程序设计不得不面对如何有效利用硬件资源，提升程序的执行效率与可扩展性。因此，理解并发的基础理论、并发编程模型及其面临的主要问题，对于构建高效且可靠的并发程序至关重要。原子操作。
2025-02-07 13:40:07
627
原创 Java基础之异步编程介绍
异步编程是一种并发执行的方法，指的是在执行某个任务时，程序不需要等待该任务完成，而是可以继续执行其他操作。它允许程序在等待某个长时间运行的任务（如网络请求、文件读写等）时，依然能够继续处理其他任务，从而提高系统的整体效率和响应性。在传统的同步编程中，程序执行是线性的，即每个任务按顺序执行，一个任务的执行需要等待上一个任务完成。这种方式在处理长时间运行任务时可能会导致程序的性能瓶颈，特别是在处理 I/O 密集型操作时，程序的线程可能会因为等待任务完成而长时间处于空闲状态，浪费了宝贵的计算资源。
2025-02-04 03:22:56
696
原创 扩展模式之生产者&消费者模式
生产者/消费者设计模式是一种用于多线程环境中的设计模式，它基于生产者和消费者的角色定义了一个共享资源池，生产者负责生产任务或数据，消费者负责消费这些任务或数据。通过将生产者和消费者解耦，它们之间的交互通过缓冲区（通常是队列）进行。生产者将数据放入队列中，消费者从队列中取出数据并处理。这种模式的关键是如何合理设计生产者和消费者的关系，确保资源池能够在适当的时间有效地供给或消费，避免资源的浪费或阻塞。Producer（生产者）：负责产生任务或数据并将其放入缓冲区（队列）中。
2025-02-03 00:47:25
1124
原创 Java基础之Executor框架&线程池介绍
在现代计算机系统中，程序的执行通常需要多个任务同时进行，尤其是在多核处理器的环境下，高效地利用计算资源变得尤为重要。Java 提供了丰富的并发工具，而Executor框架正是其中专门用于管理和优化线程执行的核心组件。它不仅简化了线程的创建和管理，还提供了一种更为灵活和高效的方式来处理并发任务。Executor 是 Java 并发包（）提供的任务执行框架，旨在解耦任务提交与执行，提高线程管理的灵活性，避免手动创建和销毁线程的高昂开销。它提供了一套标准化的线程池实现，用于任务调度、线程复用和负载管理。
2025-02-01 00:12:48
810
原创 Java基础之锁机制介绍
在多核处理器和并发编程的背景下，线程之间的同步和资源共享变得日益重要。为了解决多线程访问共享资源时可能出现的竞态条件（Race Condition）和数据不一致问题，Java语言引入了锁机制。锁的作用是通过控制线程对共享资源的访问，确保同一时刻只有一个线程能够访问资源，从而保障程序的正确性和线程安全。锁的核心作用是通过在多个线程之间创建一个访问控制点，避免多个线程同时修改共享数据导致的错误。为了有效管理这些线程对资源的访问，Java的锁机制不仅保证了数据的一致性，还提供了调度和协调线程行为的能力。
2025-01-28 01:54:40
1070
原创 Java基础之线程基础介绍
线程是程序执行的基本单元，而进程则是操作系统进行资源管理和调度的基本单位。尽管线程和进程是计算机系统中的两大基本概念，但它们的关系和区别是理解多线程编程的关键。进程是操作系统分配资源的基本单位，每个进程都有独立的内存空间、数据栈以及一些用于记录执行状态的辅助数据。在操作系统中，每个正在运行的程序都有一个或多个进程实例。进程可以包含多个线程，这些线程共享进程的资源（如内存、文件句柄等），但每个线程有独立的执行栈和局部变量。
2025-01-21 00:58:51
780
原创 数据治理之基于HiveSQL实现HDFS小文件合并实战
在日常ETL中，不严谨的频繁的插入数据可能会导致生成大量的小文件，这会影响查询性能。为了优化这一问题，我们可以通过以下几个步骤合并小文件。
2025-01-17 12:55:38
286
原创 Java基础之泛型机制介绍
在计算机科学中，泛型是一种编程语言的特性，它允许开发者在定义类、接口或方法时引入类型参数，以实现对多种数据类型的支持。通过这种机制，开发者能够在保证类型安全的前提下设计出更具通用性和灵活性的代码。泛型的核心目标是增强代码的抽象能力，使其能够适应多样化的数据类型和需求场景，而无需牺牲类型的严谨性。从根本上看，泛型的定义是基于参数化类型的思想，它允许在编译期通过具体的类型来实例化参数化的代码结构。
2025-01-12 21:15:19
867
原创 Java基础之SPI机制介绍
Java 的服务提供者接口（Service Provider Interface，简称 SPI）是一个用于实现接口和其具体实现解耦的机制。SPI 允许开发者在应用运行时动态地查找和加载接口的实现，从而提供了灵活的插件机制。在传统的 Java 编程中，接口的实现通常由开发者在编译时指定，而 SPI 则支持通过配置文件和反射机制，在运行时加载服务的实现。通过这种方式，开发者能够在不修改应用程序的前提下，扩展系统的功能。
2024-12-27 13:13:35
791
原创 Java基础之Java注解机制介绍
Java作为一种面向对象的编程语言，长期以来凭借其平台独立性、丰富的API以及强大的开发工具支持，成为了全球最受欢迎的编程语言之一。而Java语言的成功，除了得益于JVM（Java虚拟机）的跨平台能力外，另一个不可忽视的因素便是Java的反射机制和注解机制。这两者为Java语言提供了面向元数据编程的基础支持，使得开发者能够在运行时或编译时获取类、字段、方法等元素的元数据，并根据这些信息进行动态处理。正是这种强大的元数据处理能力，使得Java在大规模开发、框架设计、自动化配置等方面具有了独特的优势。
2024-12-25 22:09:54
737
原创 Java基础之Java反射机制介绍
Java反射机制是Java语言中的一项重要特性，它使得程序能够在运行时动态地检查类的结构（如字段、方法、构造函数等），并且对这些结构进行操作。这种特性提供了很大的灵活性和扩展性，使得Java在很多领域中得以应用，尤其是在框架开发、动态代理、以及在一些需要处理未知类型或在运行时变化的类型的场景下。在Java语言中，反射最早是由Sun Microsystems（现在的Oracle）为了提供更强大的动态能力而引入的。
2024-12-16 19:31:51
732
原创 Java基础之语法构成要素介绍
Java 语言的语法由以下五个主要元素构成：关键字、字面量、标识符、分隔符和操作符。 通过这五种基本元素的组合，Java 程序员能够编写出功能强大且结构清晰的程序代码。 Java中的关键字和字面量数量较多。以下内容包含了Java语言中的所有关键字及字面量，共53个(javaparser中一共定义了69个)，不包括字符类型字面量。关键字和字面量列表(Java8中不被识别的已经被移除) 为了便于理解和记忆，可以根据其功能将关键字和字面量分组。访问控制符：类、
2024-12-11 22:42:22
641
1
原创 Java基础之Java NIO详解
在传统的Java I/O中，操作系统会为每个I/O操作分配一个独立的线程来进行处理，这种方式称为“阻塞I/O”。尽管这种方式简单易懂，但在高并发场景下，它容易导致性能瓶颈，因为每个线程都在等待I/O操作完成，系统资源难以高效利用。为了提升性能，Java引入了NIO（New I/O），它打破了传统的I/O模型，通过非阻塞I/O和异步I/O技术，使得线程可以在等待数据的同时去处理其他任务，极大地提高了效率。Java NIO的出现，为处理大量并发I/O请求提供了更为高效的解决方案。
2024-12-04 00:16:48
835
原创 Java基础之Java网络编程详解
网络编程是现代软件开发中不可或缺的一部分，它通过网络实现了计算机之间的通信，使得信息交换和数据共享成为可能。在网络通信的实现过程中，语言的选择和工具的使用至关重要，而Java提供了强大的支持，使得开发者可以更便捷地构建网络应用程序。网络通信的核心是数据的发送与接收，而Java的网络编程模型为此提供了一套易用且高效的工具。无论是点对点的通信，还是基于更复杂协议的多节点交互，Java都能满足需求。在网络编程中，基础的通信模式是基于Socket的点对点连接，它可以实现客户端和服务器之间的直接通信。
2024-11-28 01:29:27
1325
原创 Java基础之Java集合框架(JCF)介绍
Collection是 Java 集合框架的核心接口之一，表示一组对象的集合。它定义了操作集合的通用方法，所有具体的集合类（如ListSet和Queue）都直接或间接实现了该接口。Collection是一个顶层抽象接口，它的设计目的是为各种数据结构提供一致的操作规范。在这部分内容中，我们将详细探讨Collection接口的特性、方法以及其子接口和实现类的详细内容。Collection是集合框架的基础接口之一，定义了处理单一元素集合的基本操作，包括添加、删除、查询、迭代等功能。不限定具体的数据结构。
2024-11-24 01:20:29
920
原创 Java基础之中Iterable和Iterator详细介绍
IterableIterable是 Java 中的一个顶级接口，位于java.lang包中。它是为了统一“可迭代对象”的概念而设计的，表示实现该接口的类可以提供一个迭代器 (Iterator) 来逐个访问其内部的元素。Iterableiterator()方法： 返回一个Iterator对象，后者可以被用来遍历集合中的元素。IteratorIterator是 Java 集合框架中提供的一个迭代器接口，用于遍历集合中的元素。通过Iterator。
2024-11-20 23:48:42
1207
原创 Java基础之Java IO详细介绍
Java IO 是 Java 提供的一套用于输入与输出操作的核心工具集，位于java.io包中。作为 Java 标准库的一部分，它在文件操作、数据传输和流式处理等场景中扮演着至关重要的角色。从读取一个简单的文本文件，到处理复杂的二进制数据，java.io提供了高度灵活且功能丰富的解决方案。这套 API 的核心设计思想是以“流”（Stream）为中心，通过将输入与输出抽象为数据流，屏蔽底层设备的复杂性，帮助开发者专注于业务逻辑。在计算机的世界里，IO 的概念无处不在。
2024-11-20 00:20:32
1160
原创 面向对象编程的基本原则
以上这些原则能够帮助开发者在项目中编写出更加模块化、灵活且易于维护的代码。在面向对象编程中，合理应用这些原则有助于提高代码质量，提升代码的可扩展性和稳定性。
2024-11-12 11:11:11
171
原创 设计模式之访问者模式
访问者模式（Visitor Pattern）是一种行为设计模式，它允许将一组算法与对象结构分离。访问者模式的核心思想是：将要执行的操作封装到不同的访问者对象中，访问者通过访问对象结构（如树或集合），对结构中的各类对象进行特定操作。这样，访问者模式能在不修改对象结构的情况下扩展新功能，实现开闭原则。Visitor（访问者）：定义访问元素的接口，对每个具体元素类型定义访问操作。ConcreteVisitor（具体访问者）：实现具体的访问操作，每个具体访问者负责处理某种逻辑操作，能够访问多种具体元素。
2024-11-10 23:03:56
1158
原创 扩展模式之空对象模式
空对象模式是一种行为设计模式，旨在处理程序中可能为空的对象引用问题。通常情况下，当我们获取某个对象的引用时，如果该对象可能为空，常见的处理方式是对其进行null检查，确保程序不因空引用而抛出异常。然而，这种检查会使代码显得臃肿，不利于维护。空对象模式的解决方案是为可能为空的对象提供一个特殊的实现，该实现不执行任何操作或返回默认值，从而避免空检查。空对象设计模式通过提供一个特殊的空对象，减少了代码中反复的null检查操作。它在代码结构上增强了可读性和可维护性，也有效降低了代码复杂度。
2024-11-07 17:49:15
439
原创 设计模式之解释器模式
解释器设计模式（Interpreter Pattern）是一种行为型设计模式，主要用于解释执行某些特定的语言或表达式。通过定义一系列规则，解释器模式能够分析并执行这些规则，使得代码能理解并处理自定义的语法规则或语言。解释器模式广泛应用于文本解析、规则引擎、编程语言开发等领域。// 抽象表达式接口解释器设计模式在解析和执行特定语言或规则的领域内发挥了重要作用，特别适用于解析数学表达式、构建规则引擎、实现脚本解析等场景。
2024-11-07 12:29:07
871
原创 设计模式之代理模式
代理模式（Proxy Pattern）是一种结构型设计模式，旨在为其他对象提供一种代理以控制对该对象的访问。它通过引入代理类来控制对目标对象的访问，代理对象与客户端进行交互，并根据具体需求对目标对象进行额外的功能扩展、权限控制、懒加载等。代理模式的核心思想是通过一个中介对象（代理对象）来替代直接访问目标对象，从而增强或改变目标对象的行为。@Override。
2024-11-06 19:16:36
1127
原创 设计模式之桥接模式
桥接模式（Bridge Pattern）是一种结构型设计模式，它通过将抽象和实现分离，来实现它们之间的独立变化。桥接模式主要是通过引入一个桥接接口，让抽象部分和实现部分可以分别独立扩展，从而实现灵活的功能组合和解耦。将抽象部分与实现部分分离，使得它们可以独立变化。通过使用桥接模式，可以避免在不需要改变抽象部分的情况下，修改具体实现。通过将实现部分抽象出来，桥接模式有效地将客户端和具体实现之间的耦合度降低。抽象类（Abstract）：通常包含对实现类接口的引用，并定义抽象的方法。
2024-11-06 17:11:45
1030
原创 设计模式之观察者模式
观察者模式是一种对象行为模式，定义了对象之间的“一对多”依赖关系。当一个对象的状态发生变化时，所有依赖于它的对象都得到通知并自动更新。观察者模式是一个非常经典的事件驱动模型，广泛应用于各种需要事件通知机制的场景。主题（Subject）：持有观察者列表并提供注册、注销观察者的功能。它在自身状态改变时会通知所有的观察者。观察者（Observer）：负责接收主题的通知并根据变化做出反应。每个观察者都可以独立处理更新逻辑。
2024-11-05 20:52:46
463
原创 Flink实战之基于Flink SQL 实现长周期数据去重: 分层去重方案介绍
在大数据处理中，如何高效去重数据，尤其是面对长周期流数据时，是一个值得深入探讨的问题。Flink SQL 作为流处理的强大工具，提供了灵活的查询和变换能力，尤其是在数据去重场景中，可以采用分层去重方案以提高性能和准确性。本文将通过一段基于 Flink SQL 的去重实现代码，详细介绍如何设计并实现一个适用于长周期数据的分层去重方案。Flink SQL 提供了灵活的流数据处理能力，特别适用于大规模实时数据的去重。通过设计分层去重方案，不仅可以在数据流中高效去重，还能通过外部存储进一步确保数据的唯一性。
2024-11-05 19:26:36
1013
原创 设计模式之中介者模式
中介者模式是一种行为型设计模式，它定义了一个中介对象，用于封装一组对象之间的交互。通过中介者，多个对象不再相互引用，而是通过中介者进行通信，从而达到降低耦合的目的。中介者模式的核心思想是将多个对象之间的复杂通信逻辑集中到一个中介者对象中，避免了对象之间的直接依赖关系，使对象的关系结构变得简单且可控。中介者设计模式通过引入一个中介者对象来简化对象之间的交互，降低了对象之间的耦合度。在复杂的系统中，它有效地减少了对象之间的依赖，使系统的扩展和维护更加容易。
2024-10-25 00:29:56
866
原创 设计模式之状态模式
状态设计模式（State Pattern）是一种行为型设计模式，它允许对象在其内部状态变化时改变其行为，对象看起来好像修改了它的类。换句话说，状态模式让一个对象在其状态改变时表现出不同的行为，这种模式通过将每个状态封装成一个类来实现。状态模式和策略模式很相似，也是将类的"状态"封装了起来，在执行动作时进行自动的转换，从而实现，类在不同状态下的同一动作显示出不同结果。它与策略模式的区别在于，这种转换是"自动"，"无意识"的。当一个对象的行为依赖于其状态，并且在运行时可以改变状态。
2024-10-23 19:19:48
444
原创 设计模式之过滤器模式
过滤器设计模式提供了一种方式来根据不同的条件标准对对象进行过滤处理。在该模式中，每一个条件（标准）被封装为一个单独的类，这些条件可以被单独使用，也可以组合使用（例如通过逻辑“与”、逻辑“或”等），从而灵活地筛选符合条件的对象集合。有大量对象集合，需要根据不同标准进行筛选。筛选条件是动态的或组合复杂度较高。希望筛选逻辑与对象本身的结构解耦，从而保持代码清晰、可扩展。过滤器设计模式通过将筛选条件封装成独立的标准类，解决了对象集合的多条件筛选问题。
2024-10-21 19:09:24
977
实时数仓模拟流式数据源代码
2024-03-15
p8670579_112010_LINUX
2014-08-23
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人