- 博客(38)
- 收藏
- 关注
RSS订阅原创 datagrip连接带有kerberos认证的hive
C:\Program Files\MIT\Kerberos\bin\kinit ： 这个就是一个安装包安装的默认路径 如果没有修改 默认就是这个路径 如果改了 选择自己的目录。变量值：这个就是Kerberos认证通过后会生成一个缓存文件 可以和上面krb5.ini一个路径 名字就叫krb5.cache。变量值： 这个就是Kerberos认证给的krb5.conf文件 这边重命名改成 krb5.ini。hive.service.keytab ：这个就是Kerberos认证的keytab文件。
2026-08-10 16:13:50
515
1
原创 Flink HA配置与测试
默认情况下，每个Flink集群只有一个JobManager，这将导致单点故障（SPOF，single point of failure），如果这个JobManager挂了，则不能提交新的任务，并且运行中的程序也会失败，这是我们可以对JobManager做高可用（High Availability，简称HA），JobManager HA集群当Active JobManager节点挂掉后可以切换其他Standby JobManager成为主节点，从而避免单点故障。
2026-03-04 10:06:37
775
原创 Flink任务提交与架构模型
Session 模式是先有Flink集群后再提交任务，任务在客户端提交运行，提交的多个作业共享Flink集群；Per-Job模式和Application模式都是提交Flink任务后创建集群；Per-Job模式通过客户端提交Flink任务，每个Flink任务对应一个Flink集群，每个任务有很好的资源隔离性；
2026-03-03 13:38:35
634
原创 Flink架构与集群部署
在Flink的整个软件架构体系中，同样遵循这分层的架构设计理念，在降低系统耦合度的同时，也为上层用户构建Flink应用提供了丰富且友好的接口。上图是Flink基本组件栈，从上图可以看出整个Flink的架构体系可以分为三层，从下往上依次是物理部署层、Runtime 核心层、API&Libraries层。
2026-02-28 14:17:46
757
原创 Spark-Submit参数介绍及任务资源使用测试
yarn-client模式中，通过指定“--num-executors”参数则默认为Spark任务启动2个Executor；提交任务后，可以通过WebUI查看当前Application使用资源情况：ApplicationMaster使用2G（1024M+384M=1048M，向上取整为2048M）+1Core资源，启动2个Executor，每个Executor使用2G内存（1024M+384M=1408M，向上取整为2048M）+1Core资源，所以总共在Yarn中使用3Core和6G内存（6144M）。
2025-12-30 17:57:22
1101
2
原创 spark算子类型
1.在 Apache Spark 中，算子（Operator） 是对分布式数据集（RDD）进行操作的函数或方法。根据功能和特性，Spark 的算子主要分为三大类：转换算子（Transformation）、行动算子（Action） 和 持久化算子（Persistence）。Transformation算子用于从一个 RDD 转换生成另一个 RDD，具有惰性特性；Action算子用于触发实际计算，将结果返回给Driver或写入外部存储；持久化算子用于将 RDD 的数据缓存或持久化，以提高重复计算的效率。
2025-12-29 15:26:08
780
原创 基于doris manager部署Doris存算分离集群及测试
(我用的商业的，没有自己部一套开源的)doris-manager（版本直接搞最新的，越新越好用）
2025-12-18 19:36:01
997
原创 spark计算框架与RDD特性介绍
在 Apache Spark 编程中，RDD（Resilient Distributed Dataset，弹性分布式数据集）是 Spark Core 中最基本的数据抽象，代表一个不可变、可分区、可并行计算的元素集合。RDD 允许用户在集群上以容错的方式执行计算。
2025-12-05 11:32:48
1269
原创 lvs+keepalived轮询访问doris集群
LVS（Linux Virtual Server）的 DR（Direct Routing）模式和 NAT（Network Address Translation）模式是两种最常用的负载均衡模式，核心差异体现在。
2025-12-03 10:56:30
980
原创 spark standalone模式HA部署，任务失败重提测试
Standalone集群中Worker汇报资源、提交应用程序、Driver申请资源时都需要与Master进行通信，如果Standalone集群中只有一个Master，当Master挂掉后就会影响以上通信，所以在Standalone集群中配置Master HA就有必要。
2025-12-01 16:32:00
713
原创 spark3.5.5部署及任务运行
在Standalone-Client模式中，Driver进程在提交Application的客户端节点上启动，客户端可以查看任务的执行情况和结果。此模式适用于测试环境，不建议用于生产环境。原因在于，当客户端提交大量Application时，所有Driver都在客户端启动，Driver与集群之间存在大量通信，可能导致客户端网络流量激增。
2025-11-28 17:37:54
644
原创 phoenix（5.2.1）部署和离线datagrip连接phoenix
Phoenix是构建在HBase上的一个SQL层，是HBase的开源SQL皮肤。它不仅可以使用标准的JDBC API替代HBASE client API创建表、插入、查询HBASE表，也支持二级索引、事务以及多种SQL层优化。
2025-11-12 10:31:09
1130
原创 presto安装与使用
Presto是Facebook在2012年开发的，是专为Hadoop打造的一款数据仓库工具。在早期Facebook依赖Hive做数据分析，Hive底层依赖MapReduce，随着数据量越来越大，使用Hive进行数据分析，时间可能需要分钟级到小时级别，不能满足交互式查询的数据分析场景。Facebook开发Presto，每日处理数据PB以上。Presto的查询速度是Hive的5-10倍。
2025-11-07 14:35:31
860
原创 HBase Java API
Java API 操作HBase需要创建连接HBase的Connection对象，然后通过该对象创建Admin对象，该对象负责操作创建表、删除表、启用/禁用表、添加/修改列族等。NameSpace Java API 操作包括创建NameSpace、查看NameSpace、删除NameSpace。
2025-10-27 10:41:29
1020
原创 HBase概述及其部署
Apache HBase是一个开源的分布式NoSQL数据库，支持对海量数据的随机、实时的读写访问，能够在普通硬件集群上管理非常大的数据表，HBase基于Google的 Bigtable模型实现，HBase继承了Bigtable的分布式、可扩展的特性并实现基于HDFS 之上进行数据存储。
2025-10-24 17:28:08
890
2
原创 Kerberos的介绍、安装与使用
Kerberos 是一种网络身份验证协议，Kerberos协议通过使用密钥加密为Client/Server应用程序提供强大的身份验证。不同于其他网络安全协议的保证整个通信过程的传输安全，Kerberos侧重于通信前双方身份的认定工作，帮助客户端以及服务端验证是真正的自己并非他人，从而使得通信两端能够完全信任对方的身份，在一个不安全的网络中完成一次安全的身份认证继而进行安全的通信。
2025-10-17 15:41:08
1943
原创 hive join优化和数据倾斜处理
使用Hive Join语句时，如果数据量大，可能造成SQL执行速度和查询速度慢，可以进行join优化，Join优化可分为Map Join、Bucket Map Join、Sort Merge Bucket MapJoin、Join 顺序优化。
2025-10-13 16:14:11
1038
原创 hive on tez运行及hive ha搭建
在Hive2.x版本起，Hive官方不再建议使用MapReduce作为底层默认执行引擎，推荐使用Tez或者Spark作为执行引擎（目前Hive4.0.0版本不支持Spark引擎），这些引擎相比于默认的MapReduce执行引擎执行任务时可以提升查询性能、降低延迟并优化资源利用，Hive4.x版本后可能会彻底弃用MapReduce引擎。Apache Tez是一个开源分布式执行框架，专为处理复杂数据流任务而设计。它允许将多个依赖任务转化为单一的有向无环图（DAG）作业，从而大幅提升性能。
2025-10-10 10:10:34
1457
原创 hive窗口函数与自定义函数
在Hive中提供的函数可以满足我们绝大多数数据分析场景，对于一些复杂的分析场景如果不能使用Hive自带函数来解决，也可以通过自定义函数来实现。最常用的自定义函数类型就是UDF。
2025-09-25 19:51:00
1042
原创 hive SQL查询与函数
Order By：全局排序，所有数据一个顺序，性能开销最大，适用于需要全局排序的情况。Sort By：局部排序，每个reducer内排序，适用于大数据集的部分排序。Distribute By：仅分区，不排序。Cluster By：分区内排序，每个分区的数据由一个reducer排序，适用于需要数据按键分区的场景。Order By和Sort By区别在于前者保证全局有序，后者仅保证Reducer内数据有序。
2025-09-25 16:49:15
1789
原创 hive架构及搭建
Apache Hive 是基于Hadoop的数据仓库工具，它可以使用SQL来读取、写入和管理存在分布式文件系统中的海量数据。在Hive中，HQL默认转换成MapReduce程序运行到Yarn集群中，大大降低了非Java开发者数据分析的门槛，并且Hive提供命令行工具和JDBC驱动程序，方便用户连接到Hive进行数据分析操作。Hive官网地址：http://hive.apache.org。
2025-09-23 16:47:43
1434
1
原创 yarn参数与队列介绍
Yarn中资源主要包含Cpu和内存，Yarn集群在节点数固定的情况下如果性能有瓶颈，可以尝试进行如下参数的调节。这些参数可以配置在$HADOOP_HOME/etc/hadoop/yarn-site.xml配置文件中。
2025-09-12 14:55:58
1689
原创 HDFS基准测试与数据治理
当搭建好HDFS集群后，我们想要了解集群的读写能力，可以通过HDFS基准测试来获取HDFS集群的读写性能。在运行基准测试之前需要将“junit-4.11.jar”放入到提交任务节点的“$HADOOP_HOME/share/hadoop/common”目录下，在执行基准测试时需要使用到该包。
2025-09-10 20:26:41
974
原创 HDFS权限介绍
HDFS是面向多用户的分布式文件系统，不同用户之间存储的文件通常需要进行权限隔离，防止被其他用户误操作。HDFS中文件权限与Linux/Unix文件系统中的权限模型是一样的，都是采用UGO模型，U表示User，G表示Group，O表示Other，每个文件的权限都基于UGO来设置。查看HDFS目录/文件权限：HDFS文件/目录权限包括可读（r）,可写（w），可执行（x）,三个为一组，基于UGO来设置。如：“-rw-r--r--”中第一个字符是文件类型标识符，短横线“-”表示普通文件，如果是“d”表示目录。
2025-09-09 21:42:52
1435
原创 Yarn介绍与HA搭建
Apache Hadoop Yarn(Yet Another Reasource Negotiator，另一种资源协调者)是Hadoop2.x版 本后使用的资源管理器，可以为上层应用提供统一的资源管理平台,Yarn主要由 ResourceManager、NodeManager、ApplicationMaster、Container组成。
2025-09-08 21:11:26
1067
原创 HDFS架构核心
HDFS（Hadoop Distributed File System） 是 Apache Hadoop 项目的一个子项目，设计目的是用于存储海量（例如：TB和PB）文件数据，支持高吞吐读写文件并且高度容错。HDFS将多台普通廉价机器组成分布式集群形成分布式文件系统，提供统一的访问接口，用户可以像访问普通文件系统一样来使用HDFS访问文件。每个block块默认128MHDFS适合大文件写入，不适合大量小文件写入。
2025-09-05 16:54:34
1210
原创 ckman部署的clickhouse，节点迁移
在企业中可能需要，将clickhouse的某一台服务器下架，换上另一台服务器，如何实现这个操作，本篇将进行介绍；hadoop104✔（上线）
2025-08-28 15:38:22
401
原创 Ckman部署clickhouse
ckman，全称是ClickHouse Management Console， 即ClickHouse管理平台。它是由擎创科技数据库团队主导研发的一款用来管理和监控ClickHouse集群的可视化运维工具。目前该工具已在github上开源，开源地址为：github.com/housepower/ckman。
2025-08-28 11:52:08
550
原创 stargo缩扩容starrocks集群，实现节点服务器替换
在企业中可能需要，将starrocks的某一台服务器下架，换上另一台服务器，如何实现这个操作，本篇将进行介绍；
2025-08-27 19:31:38
1318
1
原创 stargo部署starrocks
StarGo 是用于管理多个 StarRocks 集群的命令行工具，通过 StarGo 我们可以进行多集群的部署、查看、启停、调参、升级、降级及扩缩容等操作。
2025-08-27 17:02:34
1501
原创 HDFS (3.3.6) ha原理及部署
在Hadoop2.x版本中，NameNode HA 支持2个节点，在Hadoop3.x版本中，NameNode高可用可以支持多台节点。
2025-08-22 15:54:47
1793
原创 HDFS（3.3.6）Federation联邦机制介绍和部署
在大数据时代，随着数据量的爆炸式增长，Hadoop分布式文件系统（HDFS）面临着前所未有的扩展性挑战。传统的单一NameNode架构逐渐显露出性能瓶颈，举个例子，一般1GB内存放1，000，000 block元数据。200个节点的集群中每个节点有24TB存储空间，block大小为128MB，能存储大概4千万个block（200*24*1024*1024M/128 约为4千万或更多）。
2025-08-14 19:57:07
1395
原创 HDFS(3.3.6版本)完全分布式部署
进入 $HADOOP_HOME/sbin路径下，在start-dfs.sh和stop-dfs.sh文件顶部添加操作HDFS的用户为root，防止启动错误。HDFS完全分布式集群搭建完成后，首次使用需要进行格式化，在NameNode节点（hadoop101）上执行如下命令。以root用户启动hadoop会报错误，这是hdfs出于安全问题考虑。在hadoop103上查看/data 目录。在hadoop101上查看/data目录。hadoop-3.3.6版本下载。
2025-08-12 21:34:19
1555
原创 Apache Flink介绍
Apache Flink 是一个和，用于在和数据流上进行的计算。Flink 能在所有常见集群环境中运行，并能以和进行计算。
2025-08-11 17:58:23
1451
原创 hadoop及大数据技术生态体系介绍
Hadoop是由Apache基金会所开发的分布式系统基础架构，。广义上来说，Hadoop通常是指围绕Hadoop打造的大数据生态圈Hadoop官网：hadoop.apache.org。
2025-08-01 16:28:05
2022
原创 zookeeper集群部署与选举机制
ZooKeeper 是 Apache 基金会开发的一款，专为解决分布式系统中的一致性、同步、配置管理等核心问题而设计。
2025-07-30 10:58:41
1326
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人