- 博客(662)
- 资源 (13)
- 收藏
- 关注
RSS订阅
原创 Flink 1.12.2 源码浅析 : 目录汇总 [持续更新中....]
Flink 1.12.2 源码浅析 : 环境准备Flink 1.12.2 源码浅析 : 本地DEBUG环境准备Flink 1.12.2 源码浅析 : 相关启动脚本Flink 1.12.2 源码浅析 : yarn-per-job模式解析 [一]Flink 1.12.2 源码浅析 : yarn-per-job模式解析 [二]Flink 1.12.2 源码浅析 : yarn-per-job模式解析 [三]Flink 1.12.2 源码浅析 : yarn-per-job模式解析 [四]Flink 1.
2021-04-16 01:26:54
1835
1
原创 Kerberos 安装&使用
.一 .前言二 .搭建Kerberos Server2.1.使用 yum 安装Kerberos Server的套件2.2. 配置 /etc/krb5.conf2.3. 配置 /var/kerberos/krb5kdc/kdc.conf2.4. 配置 /var/kerberos/krb5kdc/kadm5.acl2.5. 初始化Kerberos的数据库2.6. xxx三 .xxxxxx3.1. xxx3.2. xxx3.3. xxx3.4. xxx3.5. xxx3.6. xxx四 .xxxxxx4.1. x
2021-03-27 01:03:42
4506
3
原创 Flink 从1.7 到1.12版本升级汇总
-------------------------一 .前言二 .Flink 1.7 版本2.1. Flink中的Scala 2.12支持2.2. 状态变化2.3. Exactly-once语义的S3 StreamingFileSink2.4. Streaming SQL中支持MATCH_RECOGNIZE2.5. Streaming SQL中的 Temporal Tables 和 Temporal Joins2.6. 版本化REST API2.7. Kafka 2.0 Connector2.8.
2021-02-18 19:51:41
3640
原创 Spark2.3.2源码解析 [目录]
Spark基础知识详解Spark2.1 内存管理详解Spark2.3.2源码分析：1.代码阅读环境准备Spark2.3.2源码解析： 2.启动master节点流程源码分析Spark2.3.2源码解析： 3.启动worker节点启动流程源码分析Spark2.3.2源码解析： 4.1.Yarn cluster 模式 SparkSubmit源码分析（一）Spark2.3.2源码解析： 4.2.Yarn cluster 模式 SparkSubmit源码分析（二）ApplicationMasterSpa
2021-01-12 20:32:47
2456
原创 Hadoop3.2.x YARN源码分析目录汇总 [持续更新中....]
Hadoop3.2.x YARN源码分析目录汇总如下:Hadoop3.2.1 【 YARN 】源码分析 : RPC通讯解析Hadoop3.2.1 【 YARN 】源码分析 : ResourceManager 浅析Hadoop3.2.1 【 YARN 】源码分析 : ClientRMService 浅析Hadoop3.2.1 【 YARN 】源码分析 : AdminService 浅析Hadoop3.2.1 【 YARN 】源码分析 : ApplicationMaster 浅析Hadoop3.2
2020-12-28 09:26:38
2176
原创 为什么HDFS文件块（block）大小设定为128M解析.
Table of Contents一.前言二. block 大小设置原则：最小化寻址开销,减少网络传输.三、为什么HDFS中块（block）不能设置太大，也不能设置太小？四、 HDFS中块（block）的大小为什么设置为128M？一.前言HDFS中存储数据是以块（block，这只是一个逻辑概念）的形式存储在DataNode，block大小可通过设置HADOOP_HOME/etc/hadoop/hdfs-site.xml中dfs.blocksize实现（设置时先stop集群，修改.
2020-10-11 23:42:31
10919
10
原创 Hadoop3.2.x HDFS源码分析目录汇总 [完结]
Hadoop3.2.0 源码编译 [一]MAC版本: Hadoop3.2.0 源码编译 [ 二 ]Hadoop3.2.0 源码分析: SHELL启动脚本 DEBUG 模式Hadoop3.2.0 源码分析: namenode 启动Hadoop3.2.0 源码分析: datanode 启动Hadoop3.2.0 源码分析: ResourceManager启动Hadoop3.2.0 源码分析: NodeManagerHadoop3.2.0 源码分析: Container 之...
2020-09-27 09:28:38
13781
2
原创 [JVM]了断局: [ 目录 ]
[JVM]了断局: 说什么也没用,背就完了[必背][JVM]了断局: “运行时数据区“理论梳理[JVM]了断局: 类文件结构梳理[JVM]了断局: JDK默认配置.[JVM]了断局: G1 入门[JVM]了断局: 类加载机制原图:https://www.processon.com/view/5cff6c05e4b0a65d8095d130未完,待补充................
2020-08-24 21:09:07
10026
原创 Hadoop3.2.1 RPC通讯 一锅端
下面是最近整理的关于Hadoop3.2.1 RPC 的通讯文章汇总,以及我最后画的一张从Client端请求到Server端的流程图.有什么不对的地方,欢迎指正...Hadoop3.2.1 【 HDFS 】源码分析 : RPC实现 [一] proto接口协议Hadoop3.2.1 【 HDFS 】源码分析 : RPC实现 [二] 概述&使用Hadoop3.2.1 【 HDFS 】源码分析 : RPC原理 [三] 概述&原理Hadoop3.2.1 【 HDFS 】源...
2020-06-21 23:08:28
11203
原创 基准测试神器 - JMH [ Java Microbenchmark Harness ]
一. 简介JMH，全称 Java Microbenchmark Harness (微基准测试框架），是专门用于Java代码微基准测试的一套测试工具API，是由 OpenJDK/Oracle官方发布的工具。其精度可以达到毫秒级.可以执行一个函数需要多少时间,或者一个算法有多种不同实现等情况下,选择一个性能最好的那个.Java的基准测试需要注意的几个点：测试前需要预热...
2020-05-06 15:24:42
3797
3
原创 CentOS7.6 万兆网卡性能测试.
Table of Contents一. 物理机&软件:二.网卡信息三. 安装netperf四. 开启多队列功能五. 测试六. 查看结果七.总结最终结果极限 万兆网卡: 网络吞吐量 大约为9409.58Mbit/s ≈1176M/s本文章主要是为了测试万兆网卡的传输速率.一. 物理机&软件:1.两台装有万兆网卡的物理机, ...
2020-04-22 15:51:43
19457
原创 flink-connector-kafka 3.4源码编译
本文为准备flink-connector-kafka 3.4 源码阅读环境.记得关注一下 flink-connector-kafka里面pom.xml匹配的flink 版本.
2025-01-02 23:30:00
575
原创 Flink SQL 支持 kafka 开启 kerberos 权限控制.
1. 无论subscribe 和assign 都需要授权topic . 2. subscribe 方法需要指定group id , 所以需要group id 授权. 3. assign 方法 group id 不是必填项, 不指定group id 的时候, group id 不生效, 指定了之后group id , 权限控制就会生效.
2024-12-23 20:24:50
1316
原创 1024蹭徽章专用帖
1024蹭徽章专用帖。1024蹭徽章专用帖。1024蹭徽章专用帖。1024蹭徽章专用帖。1024蹭徽章专用帖。1024蹭徽章专用帖。1024蹭徽章专用帖。1024蹭徽章专用帖。
2024-10-24 07:52:59
129
原创 Mysql redo log 和bin log 区别
在MySQL数据库中，redo log（重做日志）和bin log（二进制日志）是两种不同类型的日志文件，它们各自承担了不同的角色和功能。
2024-05-17 01:00:00
455
1
原创 mysql max_connections 默认值是多少
参数定义了能同时连接到数据库服务器的最大客户端连接数。该参数的默认值可能会根据 MySQL 版本和服务器的配置而有所不同。的默认值通常是 151。这意味着同时可以有 150 个客户端连接到服务器，加上一个保留给超级用户 (root) 的连接。你可以通过运行以下 SQL 命令来检查你的 MySQL 服务器的当前。如果需要调整这个值，可以在 MySQL 的配置文件（通常是。对于 MySQL 5.7 和 MySQL 8.0，值，让你知道服务器能够同时处理多少连接。这个命令将返回当前的。在 MySQL 中，
2024-05-16 23:30:00
654
原创 Myql 数据库采用RAID存储带来电池充放电问题原因以及处理方式
Mysql作为数据库, 在某些特定情况下会采用RAID（冗余磁盘阵列）进行存储. 以保证数据库的性能以及可靠性.
2024-05-15 01:45:00
837
原创 Mysql .frm 和 .ibd 文件区别
简而言之，.frm 文件负责存储表的结构定义，而 .ibd 文件（在使用 InnoDB 存储引擎的情况下）则负责存储表的实际数据和索引。这种分离确保了表结构的定义与表数据的物理存储相独立，有助于数据库的管理和优化。
2024-05-07 11:31:56
1938
原创 Mysql数据在磁盘上的存储结构
一行数据的存储格式大致如下所示:变长字段的长度列表，null值列表，数据头，column01的值，column02的值，column0n的值…
2024-05-07 01:30:00
1318
1
原创 Mysql 行格式 DYNAMIC 和 COMPACT 区别
总而言之，选择哪种行格式取决于特定的应用场景和数据特征。对于包含大量BLOB、TEXT或大VARCHAR字段的表，DYNAMIC格式可能是更好的选择，因为它提供了更高的空间效率和性能优势。而对于不涉及这些大字段的表，或在兼容性是主要考虑因素的情况下，COMPACT格式可能是一个合适的选择。MySQL的InnoDB存储引擎提供了多种行格式，其中DYNAMIC和COMPACT是两种常见的选择。这两种行格式在处理数据时有一些关键的区别，尤其是在管理大字段（如BLOB、TEXT和大的VARCHAR字段）方面。
2024-05-06 20:25:21
798
1
原创 Mysql 行格式 innodb_default_row_format 可以配置那些值, 有什么区别
在MySQL中，选项指定了InnoDB表创建时的默认行格式。这个设置对于新创建的表非常重要，因为它影响了数据的存储方式、空间利用率和性能。
2024-05-06 10:43:59
1151
原创 Mysql InnoDB引擎生产环境配置 - 待完善
在生产环境中mysql如何配置, 有什么约定项…数据库在生产环境运行的时候，你必须根据机器的内存设置合理的buffer pool的大小，然后设置buffer pool的数量，这样的话，可以尽可能的保证你的数据库的高性能和高并发能力。在线上运行的时候，buffer pool是有多个的，每个buffer pool里多个chunk但是共用一套链表数据结构，然后执行crud的时候，就会不停的加载磁盘上的数据页到缓存页里来，然后会查询和更新缓存页里的数据，同时维护一系列的链表结构。
2024-05-05 19:52:31
394
原创 MySQL LRU算法(冷热数据分离)
MySQL中使用的InnoDB存储引擎采用了一种特别的最近最少使用（LRU, Least Recently Used）算法来管理其Buffer Pool中的页（包括数据页和索引页）。Buffer Pool是InnoDB用来缓存数据，以减少磁盘I/O操作的内存区域。正确地管理这个缓存对于数据库的性能至关重要，而LRU算法就是用来决定哪些页应该保留在Buffer Pool中，哪些页应该被替换出去的一种策略。因为mysql的预读机制, 预读大量无用的数据. 可能会导致缓存失效, 降低性能…
2024-05-05 17:54:18
839
原创 MySQL: Buffer Pool概念整理
MySQL中的Buffer Pool是存储引擎用来缓存表数据和索引的内存区域。这是InnoDB性能优化中最关键的部分之一。通过在内存中缓存这些数据，InnoDB可以极大减少对磁盘I/O的需求，因为从内存中读取数据远比从磁盘读取要快得多。因此，Buffer Pool的大小和管理方式直接影响到数据库的性能。
2024-05-05 17:18:38
1160
原创 哪些情况下会触发MySQL的预读机制？
MySQL的预读机制主要与其底层存储引擎的实现有关，尤其是InnoDB存储引擎。预读（Pre-reading）或预取（Prefetching）是一种性能优化技术，其中数据库系统主动读取可能很快就会被查询到的数据页到缓冲池（Buffer Pool）中，即使这些数据页此刻还没有被直接请求。这样做的目的是减少等待I/O操作完成的时间，从而提高查询性能。
2024-05-05 17:15:53
606
原创 mysql binlog 如何区分db
在MySQL中，Binary Log（binlog）记录了数据库更改操作的所有细节，对于实现数据复制、恢复以及审计等功能至关重要。尽管binlog记录了所有数据库的活动，但在实际应用中，我们有时候需要针对特定数据库（db）的活动进行过滤或者分析，这就需要我们能够区分不同数据库的binlog记录。
2024-05-04 17:39:16
569
原创 docker login : x509: certificate signed by unknown authority
docker login 登录harbor镜像仓库报错.
2023-08-29 20:27:55
2470
原创 k8s 重装flannel . 解决cni failed to set up pod “xxxxx“ network: failed to set bridge addr
在安装k8s的时候,采用了flannel组件. 安装完之后, 有报错. 应该是多次安装的时候, flannel没清理干净.
2023-08-28 11:12:03
1192
原创 kubeadm init 失败: failed to pull image k8s.gcr.io/etcd:3.4.13-0
因为k8s.gcr.io镜像库在国内需要翻墙，所以普通下载无法成功完成，可以更改一下下载的镜像库地址为国内地址，下载后将标签打回和kubeadm config一致的方法解决。
2023-08-25 12:12:08
1179
原创 docker安装报错: Requires: container-selinux ＞= 2:2.74
Error: Package: containerd.io-1.6.22-3.1.el7.x86_64 (docker-ce-stable) Requires: container-selinux >= 2:2.74Error: Package: 3:docker-ce-19.03.15-3.el7.x86_64 (docker-ce-stable) Requires: container-selinux >= 2:2.74
2023-08-25 11:27:49
1160
原创 ApplicationListener , @EventListener 和 CommandLineRunner 启动顺序验证
排查线上问题, 发现一个重要功能的全局锁线程启动延迟很高. 服务启动40分钟之后, 才能拿到锁. 排查之后发现原因是因为代码引入了高优先级的ApplicationListener代码, 导致全局锁线程启动延迟.
2023-08-21 12:04:00
989
jdk-8u251-macosx/linux/windows 多版本下载
2020-06-28
Flink基础教程.pdf
2019-05-28
深入理解计算机系统（原书第3版）PDF 计算机科学丛书 [美] 兰德尔 E.布莱恩特
2019-03-08
Java虚拟机规范（Java SE 8版） 带书签
2018-10-26
Thinking in UML(2 edition)
2014-06-24
《谁说菜鸟不会数据分析》入门篇-简版电子书
2014-06-24
[逻辑思维训练500题II].于雷.扫描版
2014-06-24
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人