- 博客(275)
- 收藏
- 关注
RSS订阅原创 rdd的持久化
在Apache Spark中，RDD（弹性分布式数据集）的持久化（Persistence）是一种优化技术，用于将RDD的计算结果存储在内存或磁盘中，避免重复计算。
2026-01-06 19:30:53
207
原创 kafka防止数据丢失的办法
防止数据丢失是一个涉及生产者、Broker和消费者三方协作的系统工程。acks=allretries足够大（并启用以安全重试）。(通常),。, 在消息处理成功后手动提交偏移量，并处理好重复消费。通过正确配置这些参数并理解其含义，可以显著降低数据丢失的风险，实现高可靠的消息传递。
2025-12-30 19:12:07
733
原创 Doris基于 Arrow Flight SQL 的高速数据传输链路
好的，Doris 结合的协议，构建了一条高效的数据传输链路，显著提升了大数据量交互的性能。
2025-12-30 19:07:30
393
原创 doris的聚合多维分析
Doris 通过其独特的聚合模型和强大的Rollup机制，实现了高效的预聚合。这使得在进行常见的多维分析查询（分组聚合）时，能够直接从预计算的结果中读取数据，避免了昂贵的实时全表扫描和聚合计算开销。结合其 MPP 架构和向量化执行引擎，Doris 能够在海量数据上提供亚秒级的聚合查询响应，是构建高性能数据分析平台的理想选择。
2025-12-30 19:06:00
768
原创 阿里云DataV 简介
兼容主流数据库（MySQL、MaxCompute等）、API接口、Excel文件及阿里云生态产品（如Quick BI）。通过将复杂数据转化为直观视觉叙事，DataV已成为企业数字化决策的核心工具。通过拖拽式操作快速搭建动态数据看板，支持实时数据接入与动态更新。内置高精度地图服务，支持热力图、轨迹流、3D建筑等空间数据渲染。优化大规模数据（如千万级点位）的实时渲染效率，保障大屏流畅展示。阿里云DataV是一款专业的数据可视化产品，专注于构建。
2025-12-29 19:29:23
195
原创 kafka生产者的数据滤重
首选幂等生产者：如果您的场景满足其限制条件（单生产者实例、单会话、单分区幂等），这是最简单高效的方式。配置。业务唯一标识 + 消费者端滤重：这是最通用、适用范围最广的方案。适用于需要严格全局去重、跨生产者、跨会话、跨分区或需要与下游业务状态结合的场景。谨慎使用生产者端状态：除非有特殊且可控的环境，否则不建议依赖生产者自身状态进行滤重。事务型生产者：当需要严格的 exactly-once 语义（涉及生产者和消费者两端）时使用，但要注意其复杂性和开销。
2025-12-29 19:16:06
545
原创 kafka将数据传送到指定分区的方法
如果默认的哈希分区不满足需求，生产者可以实现自定义分区器。这允许基于业务逻辑（如消息内容、时间戳等）动态决定分区。实现步骤定义一个类实现接口。在partition方法中编写自定义逻辑，返回目标分区索引。在生产者配置中指定使用这个自定义分区器。代码示例（Java）@Override// 自定义逻辑：例如，基于消息值的内容决定分区return 0;// 发送到分区0} else {return 1;// 发送到分区1@Override。
2025-12-29 19:13:18
617
原创 spark的多维分析介绍
Spark的多维分析通过分布式架构与内存计算平衡了灵活性与性能，适用于TB/PB级数据的复杂分析场景。其与Hadoop生态的深度集成（如Hive Metastore）进一步简化了企业级数据仓库的构建流程。Spark的多维分析是一种基于分布式计算框架的在线分析处理（OLAP）技术，主要用于高效处理海量数据的复杂查询与聚合操作。
2025-12-29 19:09:42
296
原创 JournalNode节点的作用
$ \text{Active NameNode} \xrightarrow{\text{写入}} \text{JournalNode集群} \xrightarrow{\text{同步}} \text{Standby NameNode} $$：JournalNode通过集中管理编辑日志，为分布式系统提供了高可用性所需的元数据一致性和快速故障恢复能力。通过读取JournalNode中的最新编辑日志完成状态恢复，实现秒级故障切换，避免单点失效。（QJM）协议实现多数节点确认写入，保障日志可靠性。
2025-12-29 08:35:37
485
原创 第四范式介绍
第四范式（The Fourth Paradigm）是数据密集型科学发现的一种新范式，由计算机科学家吉姆·格雷（Jim Gray）在2007年提出。它强调了数据在科学研究中的核心地位，标志着科学研究方法的重大转变。
2025-12-29 08:11:17
154
原创 flume组件的 taildir 介绍
是 Apache Flume 中一种非常实用且可靠的 Source 类型，特别适用于监控一个或多个目录下不断追加内容的文本文件（例如日志文件）。它能够跟踪文件的变化，只读取新增的内容，并记录每个文件当前读取到的位置（偏移量），确保在 Flume Agent 重启后能够从上次停止的位置继续读取，避免数据丢失或重复采集。Taildir Source 是 Flume 中一个强大且可靠的 Source 组件，特别适合用于监控不断追加内容的文件，尤其是日志文件。其核心优势在于多文件监控能力断点续传功能以及对。
2025-12-29 08:10:14
785
原创 下巴斯-科德范式介绍
V$是非终结符集合$\Sigma$是终结符集合$P$是产生式规则集合$S$是起始符号在标准形式中，所有产生式满足以下形式之一： $$ A \to a $$ $$ A \to aB $$ 其中$A, B \in V$，$a \in \Sigma$。
2025-12-29 08:09:36
324
原创 第五范式介绍
平凡性：存在某个 $R_i = U$（即依赖包含整个关系）超键约束：每个 $R_i$ 是 $R$ 的超键（Superkey）用符号表示为： $$ \forall , *{R_1, R_2, \dots, R_n} \implies \left( \exists i: R_i = U \right) \lor \left( \forall i: R_i \text{ is a superkey} \right) $$
2025-12-29 08:08:52
402
原创 中央数据仓库的介绍
中央数据仓库（Central Data Warehouse）是企业级的数据存储与管理架构，主要用于集成来自不同业务系统的数据，支持决策分析和商业智能应用。其核心功能包括数据整合、历史数据存储、统一数据视图提供等。
2025-12-28 15:51:11
317
原创 flume启动命令中各个部分的功能含义
参数作用启动 Agent 模式--conf指定环境配置目录指定数据流配置文件--name指定 Agent 名称（需与配置匹配）-D参数设置 JVM 参数或覆盖日志配置。
2025-12-28 15:48:42
330
原创 cache在spark执行流程中的作用
缓存的本质是以空间换时间，通过存储中间结果减少重复计算。需根据数据大小、复用频率和集群资源动态选择存储级别，才能最大化提升执行效率。
2025-12-28 15:22:18
123
原创 spark执行流程中降低分区可以不经过shuffle就实现，为什么有时候建议走Shuffle来降低分区？
优先尝试coalesce()当分区数小幅减少且原数据分布较均匀时，直接使用coalesce()更高效。显式使用若需大幅降低分区、消除倾斜或变更分区策略，主动触发Shuffle是合理选择，可通过监控工具（如Spark UI）验证分区均衡性。
2025-12-28 15:20:47
214
原创 Stage转换的TaskSet中Task个数由什么决定
每个Task负责处理一个RDD分区（Partition）。当Stage包含Shuffle操作（如。
2025-12-28 15:19:01
192
原创 spark执行流程的executor的作用
Executor 是 Spark 分布式计算的执行引擎，负责任务运行、数据存储、资源管理与容错，其高效协作是 Spark 高性能的关键。Spark执行流程中，
2025-12-28 15:17:41
211
原创 spark提交流程中的driver的作用
总之，driver是Spark提交流程中的“大脑”，它确保用户程序高效、可靠地在分布式集群上执行。如果没有driver，应用程序无法启动或管理任务执行。在实际开发中，优化driver的配置（如内存设置）可以提高性能，避免成为瓶颈。在Apache Spark框架中，driver程序在提交流程中扮演着核心角色。它负责协调整个应用程序的执行，从用户代码解析到任务调度和结果收集。
2025-12-28 15:15:19
314
原创 spark执行流程中的sparkcontext所起到的作用
唯一性：每个Spark应用仅有一个实例（SparkSession是其高层封装）。核心枢纽：协调Driver、Executor、Cluster Manager三者协作，是分布式任务执行的调度中心。资源隔离：不同应用的sc相互独立，确保资源与数据隔离。通过，开发者能够以统一接口管理分布式计算的全生命周期，显著降低分布式编程复杂度。
2025-12-28 15:14:07
272
原创 MySQL中的游标介绍
在 MySQL 中，游标是一种数据库对象，它允许你逐行遍历SELECT查询返回的结果集。你可以把它想象成一个指针，指向结果集中的当前行。通过操作这个指针，你可以一行一行地处理查询结果，这在需要对结果集中的每条记录进行复杂操作时非常有用。MySQL 游标是一个在存储过程或函数中用于逐行处理SELECT查询结果集的工具。它的基本流程包括声明游标、打开游标、循环获取数据、处理数据、关闭游标，并常配合处理器处理边界条件。
2025-12-27 20:05:29
483
原创 hive中的视图和doris的物化视图的区别
好的，我们来详细解释一下 Hive 中的视图和 Doris 中的物化视图的区别。这两者在概念和实现上有显著的不同： 简单来说：
2025-12-27 20:03:58
365
原创 mysql中的视图与daris的物化视图的区别
在数据库系统中，视图（View）和物化视图（Materialized View）是两种不同的数据抽象机制，它们在MySQL和Apache Doris中的实现存在显著差异。通过理解两者的底层机制，可更高效地利用其特性优化数据库架构。
2025-12-27 20:02:11
187
原创 flume自定义拦截器的步骤
可通过在拦截器中添加日志输出（需确保Flume配置了日志框架），或使用。将生成的JAR文件放入Flume的。暂存数据后检查事件内容。
2025-12-27 20:00:20
374
原创 hive自定义函数的步骤
在Hive中创建自定义函数主要分为以下步骤：UDF (User-Defined Function) 处理单行输入，返回单行输出，例如：字符串处理UDAF (User-Defined Aggregation Function) 处理多行输入，返回单行聚合结果，例如：UDTF (User-Defined Table-Generating Function) 输入单行，返回多行输出（表结构）需继承Hive API的基类：向量化优化 对于UDF，可通过注解支持批量处理数据
2025-12-27 19:57:33
200
原创 Hadoop序列化和java序列化的区别
Hadoop序列化通过牺牲通用性换取极致性能，是分布式系统高效运行的基石；而Java序列化更适用于通用对象传输场景。在大数据生态中，Hadoop序列化（及其扩展框架如Avro）已成为主流选择。其设计舍弃了Java序列化的元数据冗余，采用紧凑的二进制格式，显著减少序列化后的数据体积。适用于需完整保留对象结构的场景（如RPC调用、持久化存储对象状态）。（如保留类继承结构、字段类型等），但序列化后的数据体积较大。开发者需显式控制数据的写入/读取顺序，避免元数据存储。实现序列化与反序列化。仅存储4字节整数值。
2025-12-27 19:52:58
345
原创 mapreduce中的Text泛型的介绍
在MapReduce框架中，Text是Hadoop提供的一种用于高效处理文本数据的泛型类。相较于Java原生的String类，Text。
2025-12-27 19:50:57
465
原创 mapreduce中的LongWrite泛型的介绍
在MapReduce框架中，是一个用于处理长整型数据的泛型类。它属于Hadoop的Writable接口体系，专为高效序列化设计。
2025-12-27 19:49:13
225
原创 doris的导入数据库文件的的同步导入方式
DorisDB（原Apache Doris）支持多种数据导入方式，其中通常指通过**语句**实现单条或小批量数据的实时写入。
2025-12-26 14:38:12
186
原创 doris对于hdfs的异步导入方式
方式实现 HDFS 数据的异步导入，该方式适用于大数据量场景且不阻塞客户端操作。异步导入方式适用于 TB 级数据迁移，但需提前验证 Broker 网络连通性与 HDFS 稳定性。Doris 支持通过。
2025-12-26 14:36:52
293
原创 cep的库构建模式
复杂事件处理（CEP）是一种用于实时分析事件流的技术，旨在检测特定模式或序列。构建一个CEP库涉及设计高效的架构来处理事件流、定义规则和实现模式匹配。以下是CEP库构建模式的核心步骤和关键组件，我会逐步解释。通过以上步骤，您可以构建一个健壮的CEP库。实际开发中，建议参考开源实现（如Esper）以获取更高级功能。以下是一个简化的Python代码示例，展示CEP库的基本结构。假设我们实现一个温度监控CEP库。构建时需考虑性能优化，例如使用索引加速查询，或分布式处理处理大规模流。
2025-12-26 13:59:16
228
原创 guavaCache在交通项目中的应用
好的，我们来探讨一下 Guava Cache 在交通项目中的典型应用场景及其优势。Guava Cache 是一个强大的本地缓存库，特别适合在需要高效访问临时或短期数据的场景中使用。在交通项目中，它可以提升性能、减少外部依赖并优化用户体验。总而言之，Guava Cache 是优化交通项目性能、提升用户体验的有效工具，特别适用于缓存时效性要求适中、访问频繁且计算或获取成本较高的数据。设计时需要根据具体业务需求和数据特性仔细权衡缓存策略。
2025-12-26 13:43:46
833
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人