- 博客(13)
- 收藏
- 关注
RSS订阅原创 Mysql8 Yum 安装
环境简介 操作系统：centos8 CPU架构：aarch 安装步骤 清除mysql相关包 #列出MySQL相关的安装包 rpm -qa | grep mysql #依次删除安装包 yum remove xxx 安装centos8下MySQL8的yum源 #下载源 wget https://dev.mysql.com/get/mysql80-community-release-el8-1.noarch.rpm #安装源 rpm -ivh mysql80-community-release-el
2022-03-30 17:19:47
3727
原创 Hive 全局排序
Hive全局排序取清单 CREATE TABLE tmp2 AS SELECT * FROM tmp DISTRIBUTE BY ( CASE WHEN year < 1930 THEN 0 WHEN year > 1960 THEN 2 ELSE 1 END) SORT BY (year ASC, t DESC); Hive全局排序取TopN --从表中获取name长度为TOP10的数据 SELECT a.id, a.name FROM ( SELE.
2022-03-11 14:56:27
2440
原创 Hive Join Explain
对于一下两种join方式，执行计划结果是一致的，都是只有一个MR explain select * from tb1 t1 LEFT JOIN tb2 t2 ON t1.name = t2.name LEFT JOIN tb3 t3 ON t2.name = t3.name; explain select * from tb1 t1 LEFT JOIN tb2 t2 ON t1.name = t2.name LEFT JOIN tb3 t3 ON t1.name = t3.name; STAGE D.
2022-03-11 14:46:45
1459
原创 Idea 正则
匹配不包含abc的行 ^(?:(?!abc).)+$ mysql查询取结果 ^(?:(?!\|( )*[0-9]*( )*\|).)+$ 空行 ^\s*\n
2022-02-17 18:05:50
677
原创 交换空间清理及使用率调整
交换空间 内存释放 内存释放前提：当前物理内存空余空间 > 交换空间使用大小 修改交换空间使用率 vi /etc/sysctl.conf # 默认值为60（0-100），数值越大表示越优先使用交换空间 # 增加 vm.swappiness=60 sysctl -p /etc/sysctl.conf # 动态加载 /etc/sysctl.conf 文件，使配置生效 释放方式： swapoff -a && swapon -a ...
2022-02-09 11:43:45
1290
原创 驻留内存 虚拟内存 共享内存
虚拟内存（VIRT） 驻留内存（RES） 共享内存（SHR） 程序在运行过程中 使用的内存地址都是虚拟内存地址 。 每个进程都会在内存中有自己独立的page table 用来将虚拟内存地址映射到 物理内存地址。 多个进程可能会使用共同的数据内容（.iso等），因此会出现不同进程的page table 映射到同一个物理内存地址，这些共用的物理内存即为共享内存 进程的page table 是按需映射的， 因此虚拟内存 中并不是全部映射到物理内存地址，已映射到物理内存的大小即为进程的驻留内存 。 因此描述一个.
2022-02-09 11:23:04
1020
原创 虚拟内存 物理内存 交换空间
虚拟内存 = 物理内存 + 交换空间 物理内存（Physical Memory） 虚拟内存（Virtual Memory） 交换空间（Swap Space） 使用磁盘来作为物理内存的扩展，这样可用的内存就会增加，其中被指定的磁盘空间即为交换空间，扩展后的总内存大小即为虚拟内存大小。 CPU会将暂时不用的数据内容存到交换空间内，等到需要用到时，会再将其加载进内存中。 读写硬盘的速度要慢于内存读写速度数千倍。 ...
2022-02-09 10:36:35
916
原创 Flink 生产实践 性能问题
1. CDC 性能问题 问题描述: ChunkSplitter split chunks 耗时导致CheckPoint 超时 job重启 解决方案: 增大CheckPoint超时间隔 增大Chunk.Size(需考虑数据源压力) 2. JM 和 TM 内存分配问题 问题描述: 当容器内存全部使用时，RM会kill 容器，重新申请容器，最终任务失败 解决方案: 调整内存分配策略，分别设置内存比例系数 合理设置状态清理周期 ...
2022-01-27 20:27:36
1719
原创 Yarn-Scheduler（Fair）
Yarn-Scheduler（Fair）Fair-Scheduler1. yarn-site.xml1.1 调度策略配置1.2 任务归属队列配置1.3 抢占配置1. 4 容器分配配置2. fair-scheduler.xml2.1 队列未指定属性默认值2.2 任务选择队列配置2.3 子队列配置3. Web UI监控值 Fair-Scheduler 1. yarn-site.xml 1.1 调度策略配置 <!--选用公平调度器--> <property> <name>ya
2021-08-01 23:05:09
628
原创 maven 打 可执行jar包
pom文件中直接指定main class <build> <plugins> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-assembly-plugin</artifactId> .
2021-04-30 17:39:06
213
2
原创 No ExecutorFactory found to execute the application idea2020.3 include dependencies with provided
异常:Exception in thread "main" java.lang.IllegalStateException: No ExecutorFactory found to execute the application 原因:maven依赖添加provided 解决: 2020.3版本idea: 其余版本:
2021-04-24 19:04:30
919
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人