- 博客(11)
- 收藏
- 关注
RSS订阅原创 Iceberg与hive的集成
2.上传jar包拷贝到Hive的auxlib目录下3.修改hive-site.xml使用TEZ引擎注意事项：（1）使用hive版本>=3.1.2,需要TEZ版本>=0.10.1(4)启动HMS服务。
2026-06-24 13:30:15
318
原创 湖仓事务底座：从零吃透 Iceberg 核心设计
lceberg:为了解决数据存储和计算引擎之间适配的问题表格式可以理解为元数据以及数据文件的一种组织方式，处于计算框架（flink、spark）之下，数据文件之上跟hive功能差不多，但是比他的功能强大hive读取hdfs的文件 是以目录(分区)扫描的，Iceberg是以文件扫描的，大大提高了查询效率表格能力HiveIcebergACID 事务仅有限支持，并发易冲突完整 ACID，多引擎并发读写Schema 变更修改字段需重写全表仅改元数据，秒级生效分区调整。
2026-06-23 15:32:53
384
原创 基于 Spark的大数据计算实战
哪些是触发算子：count,take,foreach,saveAsTextFile, first,top,takeOrdered,collect,reduce,collectAsMap,foreachPartition。
2026-05-18 19:43:41
342
原创 pgsql
PostgreSQL的开源协议和Linux内核版本的开源协议是一样的。PGSQL因为开源，有很多做数据迁移的工具，可以让你快速的从MySQL，SQLServer，Oracle直接平转到PGSQL中内部，比如pgloader这样的数据迁移工具。之前叫Ingres，后面为了解决一些ingres中的一些问题，作为后面的ingres，就起名叫postgre。PostgreSQL版本迭代的速度比较快，现在最新的正式的发布版本，已经到了15.RELEASE。PostgreSQL是一个功能强大的 开源 的关系型数据库。
2026-05-06 16:20:24
332
原创 DataX从入门到实战：保姆级教程，搞定异构数据源离线同步
DataX是阿里巴巴开源的离线数据同步工具，支持多种异构数据源之间的高效同步。本文从基础认知、安装部署、实战案例到性能调优，全面介绍了DataX的使用方法。核心内容包括：DataX采用"Framework+Plugin"架构，通过Reader和Writer插件实现不同数据源间的数据传输；支持MySQL、Hive、HDFS、MongoDB等主流数据源；提供详细的安装指南和常见报错解决方案；通过具体案例演示MySQL到Hive、Hive到MySQL等典型同步场景；深入讲解性能调优技巧，包括并
2026-04-23 18:53:26
734
原创 Flume 四大经典数据流场景实战：从 Avro 通信到 HDFS 数仓采集全解
本文深入解析了 Flume 四大经典数据流场景的实战配置与核心原理，覆盖了从跨节点通信到不同文件采集场景的全流程。调试场景优先选择；单文件实时日志采集推荐；批量文件采集优先使用；多文件并行实时采集首选。
2026-04-16 19:59:10
717
原创 Hive SQL 踩坑实录
replaceall和replace 都是替换所有 replaceall 能用正则表达式。志查阅报错信息和日志 sql异常。
2026-04-10 20:20:11
163
原创 HDFS 3副本 vs 纠删码（EC）选型指南：生产环境落地实战解析
本文对比了HDFS中3副本与纠删码(EC)两种存储方案的差异。3副本空间利用率仅33%，但读写性能优异，适合热数据和频繁访问场景；EC6-3方案空间利用率达66.7%，存储成本更低，但存在计算开销，适合冷数据归档。生产环境建议混合部署：热数据采用3副本保证性能，冷数据使用EC节省成本，并通过自动迁移策略实现优化。核心选型依据是业务需求：性能优先选3副本，成本优先选EC。文末提供了典型场景适配建议和后续优化方向。
2026-04-09 20:34:20
757
原创 从源码到原理：彻底搞懂 MapReduce 运行机制
原始数据 → Split切片 → MapTask（局部计算） → 分区 → 局部排序 → 溢写/合并 → 数据拉取 → merge分组 → ReduceTask（汇总计算） → 最终结果。
2026-04-08 19:55:02
1022
原创 zookeeper
2.没有刷新环境变量 记得刷新环境变量 source /etc/profile。4.看日志 日志在/opt/installs/hadopp3.1.4/logs。1、坏了的解释器 文件是window。
2026-04-07 20:33:49
389
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人