本旺-优快云博客

NameNode 作为集群的 Master 节点，需要管理集群中的所有 Slave 节点即 DataNode，负责 DataNode 的心跳状态检查、上下线和整个集群的所有文件操作（读、写、删除）以及所有的用户操作。所以对于 NameNode 来说，在保证自己高可用的情况下还需要可以支撑超大流量的并发操作。注：运行在Hadoop集群的任务都会产生很多个请求，这些所有的请求都打到 NameNode 这儿 (更新元数据目录树)

2023-07-05 23:10:21 778

原创 Flink 写入 Doris

apache Flink 写入 Apache Doris

2023-07-05 16:17:14 4435 1

原创 Doris 升级手册

Apache Flink Data Stream 写入 Apache Doris

2023-07-05 16:11:45 1398

原创 Doris Spark Load 记录

在使用 Apache Doris Spark Load 中遇到的问题记录，每个人的环境不同可能遇到的问题不一样，记录一下希望能帮助到大家

2023-01-04 14:49:55 1218 3

原创 Kafka 压缩、限流和 SASL_PLAIN 、 SASL_SCRAM-SHA-256简单认证

限流方式方式优点缺点client id简单便捷client id，一次只能有一个生产者实例，只能单并发user可以多 producer 同时进行，可与client id 进行组合，可以设置用户密码，增加一定的安全性，但用户名密码位置容易暴露需要对kafka 开启安全认证，部署复杂行增加基于 client id 限流使用方法# 对 test_lz4_10m_client 进行限流生产消费速率为 10 M/S./bin/kafka-configs.sh --

2021-10-03 17:53:32 2138

原创 Presto 系列之（三）Presto On Yarn

本系列主要会记录笔者在学习和使用 Presto 过程中学习记录及所遇到的问题和解决的方法，会不定期更新，同时也欢迎各位同鞋在文末留言一起探讨使用心得～概述什么是 Presto On Yarn ？为啥要有 Presto On Yarn ，能解决什么问题？实现 Presto On Yarn 需要做些什么？Presto On Yarn 是指将 Presto 集群运行在 Yarn 集群上面将集群资源统一交由 Yarn 进行管理；在实际工作环境中，Presto 集群进行单独部署需要单独的占用额外资源，而 .

2021-06-17 17:43:45 2971 5

原创 Presto 系列之（二）Presto 安装部署

本系列主要会记录笔者在学习和使用 Presto 过程中学习记录及所遇到的问题和解决的方法，会不定期更新，同时也欢迎各位同鞋在文末留言一起探讨使用心得～在 Presto 系列之（一）初识 Presto 一篇我们大概介绍了 Presto 的架构和 Presto 特点及其查询的拆分执行，在本篇我们实操下 Presto 的部署安装。安装部署笔者的安装环境为：Centos 7jdk 11 （从 presto 332 开始需要使用 jdk11，可不设置环境变量，可在 presto 启动脚本中单独指定 .

2021-06-16 17:46:54 2174

原创 Presto 系列之（一）初识 Presto

本系列主要会记录笔者在学习和使用 Presto 过程中学习记录及所遇到的问题和解决的方法，会不定期更新，同时也欢迎各位同鞋在文末留言一起探讨使用心得～Presto 简介Presto 是一款由 Facebook 开源的分布式 SQL 查询引擎，被设计为使用 MapReduce 作业管道 ( 如 Hive 或 Pig ) 查询HDFS的替代工具，用于对从 GB 到 PB 级别的各种大小的数据源运行交互式分析查询，并实现秒级和分钟级响应。它是一个符合 ANSI SQL 的查询引擎，允许用户将他们喜欢的数据.

2021-06-15 14:52:32 3233 1

原创 Redis学习记录（一）之Redis的简介及安装使用

Redis学习记录（一）之Redis的简介及安装使用Redis作为NoSql较为流行使用的数据库之一，个人觉得还是有必要系统学习一下滴。文章目录Redis学习记录（一）之Redis的简介及安装使用一、Redis简介1.1 是什么1.2 能干嘛二、下载安装2.1 下载2.2 安装三、使用3.1 基本使用一、Redis简介1.1 是什么Redis:REmote DIctionary S...

2020-03-24 17:32:44 295

原创美团设计模式在外卖营销业务中的实践-学习笔记（一）

美团设计模式在外卖营销业务中的实践-学习笔记（一）文章目录美团设计模式在外卖营销业务中的实践-学习笔记（一）一、设计模式原则二、设计模式在美团外卖营销业务中的具体案例2.1、工厂模式和策略模式2.1.1 业务简介2.1.2 返奖规则与设计模式**业务建模****模式：工厂模式****模式：策略模式****工程实践：**2.1.3 返奖流程与设计模式实践**业务建模****工程实践****模式：策...

2020-03-23 17:31:34 1145

weixin_39750695的博客

原创【Starrocks + Hive 】BitMap + 物化视图实战记录

原创 Starrocks-数据备份与恢复

原创 Starrocks 开启 Ranger 权限认证支持

原创 Starrocks 存算分离 VS Trino 性能测试

原创 [新一代实时神器 Fluss实战] - Lookup joins 实战

原创 [新一代实时神器 Fluss实战] - 开启 Streaming Lakehouse

原创 Ranger 常用 Rest API 介绍

原创 Yarn Service API - 一种万物 On Yarn 的部署方式

原创 [新一代实时神器 Fluss实战] - Flink SQL 读写Fluss

原创新一代实时神器-Fluss初识及部署

原创《Yarn 资源调度器》使用记录

原创 Flink & Iceberg 系列之 FLink 整库入湖探索

原创 Doris 集成Flink on Yarn 日志异常记录

原创 Flink Connector 写入 Iceberg 流程源码解析

原创 Flink 去重 Debezium-json 格式数据

原创初识 Apache Iceberg 及自动化 Iceberg 表维护（小文件治理）

原创 Hadoop 系列 - 初识 Hadoop 及 NameNode 解析