- 博客(102)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 使用 PySpark 批量清理 Hive 表历史分区
通过 PySpark 批量清理 Hive 表历史分区，可以有效释放存储空间，提升 Hive 元数据管理效率。该方法简单高效，适用于大多数基于时间分区的 Hive 表维护场景。
2025-04-18 13:44:29
435
原创 基于Python脚本实现Flink on YARN任务批量触发Savepoint的实践指南
在流计算生产环境中，Flink on YARN的部署方式凭借其资源管理优势被广泛采用。Savepoint作为Flink任务状态的一致性快照，承载着故障恢复、版本升级、作业暂停等重要场景的核心保障。当集群中运行数十个Flink作业时，手动逐个触发Savepoint耗时且易出错。本文提出一种基于Python脚本的批量化操作方案，可显著提升运维效率。
2025-04-08 09:57:40
954
原创 Flink API 解析 Flink Job 依赖的checkpoint 路径
Flink API 解析 Checkpoint _metadata 中依赖的元数据路径
2025-02-24 11:48:13
225
原创 RocksDB Bloom Filter 如何避免假阳性问题探索
对于 Flink 等大数据应用，合理配置 Bloom Filter 参数并监控其有效性，可大幅降低状态查询延迟，提升吞吐量。（False Positive）：当 Bloom Filter 认为键存在时，实际可能不存在，这会导致无效的磁盘 I/O，影响查询性能。当键包含时间戳时，RocksDB 会在比较中剥离时间戳，仅基于用户键（User Key）判断逻辑存在性，避免因时间戳版本导致的误判。然而，其核心缺陷是存在。
2025-02-21 09:25:32
853
原创 Flink 任务启动脚本-V2（包括ck启动）
备注：由于Flink checkpoint 个别情况下，不一定能保证落地的checkpoint文件一定有效，所以需要人工介入支持。本次新增一个不从 ck 启动的选择，默认从 最新 ck 启动，用法 sh start.sh -n。
2024-11-27 14:09:38
508
原创 Flink 任务启动脚本（包括ck启动）
备注：由于Flink checkpoint 个别情况下，不一定能保证落地的checkpoint文件一定有效，所以需要人工介入支持。
2024-10-02 09:47:21
638
转载 mysql数据库备份脚本
这个脚本是结合优快云里面的几篇文章写的脚本：@echo offecho 现在是 %DATE% %TIME% echo.echo MySQL数据库备份echo *****************************echo.SET "Ymd=%date:~,4%%date:~5,2%%date:~8,2%"md "E:\Backup\Mysql\%Ymd%" echo fo
2014-03-01 14:46:49
1002
转载 Java读取excel的相关的原理和方法介绍
JXL(Java Excel API)是一个用来动态读写Excel文件的开源框架，利用它可以在任何支持Java的操作系统上动态读写Excel文件。JXL的主页是：http://www.andykhan.com/jexcelapi/，可以在这里下载到它的最新的版本。你可以分别通过如下命令java -jar jxl.jar -xml test.xlsjava -jar jxl.jar -c
2013-12-01 19:45:05
1067
原创 截图小程序
下面是个简单的截图小程序，没有写GUI，只写了个简答的截图屏幕的代码部分。import java.awt.Dimension;import java.awt.Rectangle;import java.awt.Robot;import java.awt.Toolkit;import java.awt.image.BufferedImage;import java.io.File;i
2013-11-18 21:00:41
3188
转载 JVM崩溃的原因及解决！An unexpected error has been detected by HotSpot Virtual Machine
Java的应用有时候会因为各种原因Crash，这时候会产生一个类似java_errorpid.log的错误日志。可以拿到了这个日志，怎样分析Crash的原因呢？下面我们来详细讨论如何分析java_errorpid.log的错误日志。一. 如何得到这个日志文件如果有一个严重的错误引起Java进程非正常退出，我们叫Crash，这时候会产生一个日志文件。缺省情况下，这个文件会产生在工
2013-11-14 14:56:24
2552
原创 Mysql精简与绿化版本
一．文件的下载：.首先是获取Windows下的MySQL免安装版本，这个需要去到MySQL官网进行下载。我一般喜欢把首页页面拖动到最下方，点击MySQL Server进入下载。我下载了MySQL5.5.33版本(zip包)。二.mysql的压缩和相关文件的处理： 得到的文件就是mysql-5.5.33-win32.zip，解压出来后把名字改成了mysql。 解压后文件目录如
2013-11-13 19:36:49
3057
原创 mysql版本详解
mysql基础知识 mysql version：在mysql的官网上的下在界面上有下面几个版本的选择：1. MySQL Community Server 社区版本，开源免费，但不提供官方技术支持。2. MySQL Enterprise Edition 企业版本，需付费，可以试用30天。3. MySQL Cluster 集群版，开源免费。可将几个MySQL Server封装成一个
2013-11-13 15:13:26
3301
转载 java swing 图片按钮的使用
1 JButton 图片和文字按钮的实现 JButton btn1 = new JButton("打开", new ImageIcon(ImageView.class.getResource("10.png"))) ;btn1.setHorizontalTextPosition(SwingConstants.CENTER);btn1.set
2013-11-09 21:02:15
6507
转载 red hat linux5汉化
添加镜像文件 （镜像文件就是你下载的linux系统）1.点击如图2.点击设置3.使用ISO镜像文件，预览选择.ISO文件所在路径4.确定后出现DVD（如果没有出现注销一下）5.双击打开，在光盘目录Server下，按顺序进行查找双击数据包 （前三个为系统汉化，后面的是汉字输入法）一直点击蓝色字样即可6.注：一定要按照顺序进行双击。 fonts-chine
2013-11-07 13:03:25
785
原创 jsp项目中如何更改tomcat的默认index.jsp访问路径
jsp的工程下有一个叫做WEB－INF文件夹下的web.xml打开它 如果你要该的默认访问对象再 WebRoot 下面，就 index.jsp jsp项目默认访问的是index.jsp的页面的内容如果想改变的话，只要改变这个名字即可，换成你需要的页面
2013-11-07 13:01:54
6804
1
转载 Windows XP系统下架设FTP服务器实例详解
Windows XP系统下架设FTP服务器实例详解【实例1】公司网络环境:ADSL + 路由器 + 交换机 + PC机，我们单位要在客户端架设FTP服务器，当然在服务器端也是可以的，主要用于内部资料的共享，还有外部网络的访问达到资源共享的目的。具体操作步骤如下：1.用IIS架设FTP服务器（备注：IIS只适用于Windows NT/2000/XP系统）(1)、进入控制面板, 找到"添
2013-11-07 13:01:27
1704
转载 ubuntu怎么进入x-windowjie
是不是你的系统默认启动的时候采用文字界面了？你可以通过设置runlevel 为2 来控制以后的登陆，或者是升级不完全、中间出错了，无法正常登陆。有2中方式来进入图形界面：1. 登陆系统后，输入如下命令来启动图形界面：startx2. 登陆系统后、重新运行gdm管理器：gdm3. 如果没法正常启动，或者提示已经运行图形界面，那就查看 tty8， ctrl+alt+F8，查看是否已经运行图形界面；4.
2013-11-07 13:00:51
1085
原创 导入导出mysql数据库 语句
windows系统下导出mysql的数据和表结构：1、在运行里输入cmd进入dos命令窗口2、进入mysql的安装目录下的bin目录下3、输入mysqldump -u root -p -d database > d:/data.sql4、然后输入密码回车即可。windows系统下导入mysql的数据和表结构：1、进入mysql的 Mysql
2013-11-06 22:22:28
840
转载 java串口编程
串口之间的通信的小例子：/******************************************* 程序文件名称：SendComm.java* 功能：从串行口COM1中发送数据******************************************/import java.awt.*;import java.awt.event.*;import jav
2013-11-06 22:17:40
1586
转载 Java日志管理：Logger.getLogger()和LogFactory.getLog()的区别（详解Log4j）
第一、Logger.getLogger()和LogFactory.getLog()的区别 1.Logger.getLogger()是使用log4j的方式记录日志； 2.LogFactory.getLog()则来自apache的common-logging包。common-logging组件： Jakarta Commons Logging (JCL
2013-11-06 22:08:50
1129
原创 window下一台PC机器上安装多个mysql的方法
在同一台电脑上安装多个MySQL服务的要点：1、不同的mysql在不同的目录2、每个mysql使用不同的配置文件，配置文件在defaults-file参数中指定，配置文件中端口号和数据库位置不同3、注册的服务名各不相同启动可以使用net服务1、net服务2...等同时启动多个mysql数据库服务（当然也可以进入windows的服务管理中启动）。实验环境:OS:Windows
2013-10-30 17:27:28
3777
原创 java 操作comm（串口）入门问题
javaComm20-win32你操作comm的需要的资料和相关的配置文件，相关的配置方法如（javaComm20-win32的里面也有相关的介绍）：把win32com.dll复制到java.home/bin下；把javax.comm.properties复制到java.home/lib下；把comm.jar添加到你classPath下。前面两个都是非常重要的。Java,comm是专门为J
2013-10-25 17:24:35
2806
1
转载 Java: serialVersionUID的作用
serialVersionUID 用来表明类的不同版本间的兼容性 简单来说，Java的序列化机制是通过在运行时判断类的serialVersionUID来验证版本一致性的。在进行反序列化时，JVM会把传来 的字节流中的serialVersionUID与本地相应实体（类）的serialVersionUID进行比较，如果相同就认为是一致的，可以进行反序 列化，否则就会出现序列化版本不一致的异常。
2013-10-19 19:57:15
685
转载 QQ通信原理概述
一、登陆。 不管UDP还是TCP，最终登陆成功之后，QQ都会有一个TCP连接来保持在线状态。这个TCP连接的远程端口一般是80，采用UDP方式登陆的时候，端 口是8000。因此，假如你所在的网络开放了80端口（80端口是最常用端口。。就是通常访问Web的端口，禁掉它的话，你的网络对你来说价值已经不大 了），但没有屏蔽腾讯的服务器IP，恭喜你，你是可以登陆成功QQ的。二
2013-09-19 20:19:33
950
转载 浅谈BIOS和CMOS的区别
如果本文你看不懂，你可以直接看文章最后的彩色字部分。BIOS，完整地说应该是ROM－BIOS，是只读存储器基本输入／输出系统的缩写，它实际上是被固化到微机主板ROM芯片上的一组程序，主要保存着有关微机系统最重要的基本输入输出程序，系统信息设置、开机上电自检程序和系统启动程序等；为计算机提供最低级的、最直接的硬件控制。准确地说，BIOS是硬件与软件程序之间的一个“转换器”或者说是接口(虽然它
2013-09-09 19:14:49
1275
原创 MySQL整型：TINYINT, SMALLINT, MEDIUMINT, INT, BIGINT的范围
TINYINT：有符号的范围是-128至127，无符号的范围是0到255，2的8 次方SMALLINT：有符号的范围是-32768至32767，无符号的范围是0到65535，2的16次方MEDIUMINT：有符号的范围是-8388608至8388607，无符号的范围是0到16777215，2的24次方INT(integer)：有符号的范围
2013-09-05 21:02:31
1449
转载 MySQL存储过程详解 mysql 存储过程
数据类型一、整型1、BIGINT语法：BIGINT [(display_size)] [AUTO_INCREMENT] [UNSIGNED] [ZEROFILL]存储：8字节。描述：最大的整数类型，支持的整数范围是：-9 223 372 036 854 775 808 ~ 9 223 372 036 854 775 807（UNSIGNED时为：0 ~ 18 446 744 0
2013-09-04 16:55:47
1086
原创 Innode引擎监控的开启的方法
查看当前InnoDB引擎信息mysql> show innodb status\G开启InnoDB监控，有四种：1. innodb_monitormysql> create table innodb_monitor(x int) engine=innodb;2. innodb_lock_monitormysql> create table innodb_lock_m
2013-08-03 14:38:47
2106
转载 Mysql/SQLServer数据类型与java基本数据类型的对应
问题描述：假如现在你要对mysql数据库进行插入操作。因为要插入很多数据，为了效率，因此，你创建了一个PreparedStatement：insert into table values(?,?,?,?,?)其中table表各列的数据类型分别为INTEGER,BIGINT,CHAR,TEXT,BINARY现在你要向创建的PreparedStatement中的五个 ? 赋值。
2013-07-11 22:07:04
1448
原创 java 代码实现保留小数点的位数
还这个是个人，应为应用的需要，所以就写个简单。。。希望大家都给给建议。。共同学习、、、import java.text.* ; import java.math.* ; public class Test{ public Test(){ double a=saveNumber(15.12312312,6); System.out.println("a....."+a);
2013-07-10 09:41:13
1933
转载 用Java向数据库中插入大量数据时的优化
连接网址为：http://gooderlee.iteye.com/blog/1160949这个写的相当不错。。。所以推荐给大家看看。。。
2013-07-05 19:07:30
952
原创 单个字母转换为数字
这个人写出来的，如果有什么不足，请提出，多多指教。public class Test { public static void main(String[] args) { String a="a"; char aa=a.charAt(0); int aaa=aa-65; System.out.println(aaa); }}
2013-07-05 17:20:36
1050
原创 ubuntu的root登陆的问题
ubuntu的root用户默认是禁止的，需要手动打开才行 事实上ubuntu下的所有操作都用不到root用户，由于sudo的合理使用，避免了root用户下误操作而产生的毁灭性问题 root账号启用方法(其实我个人认为这没有多大必要)：执行下面的操作：1.先解除root锁定，为root用户设置密码打开终端输入：sudo passwdPasswo
2013-06-30 15:08:08
979
转载 运行在任意电脑上的Chrome OS的USB启动镜像文件
国外用户编译出可运行在任意电脑上的Chrome OS的USB启动镜像文件，并提供种子下载。这下可以摆脱虚拟机带来的不便了。不过，不要高兴太早，使用起来也不是那么舒服的。与TualatriX编译的版本不同，下面这个方法得到的USB启动盘不限于上网本，任何机器都可以。TualatriX的版本因为需要运行在上网本上，条件限制所以我没有尝试。这个方法以及版均本来自国外，我还没下载，所以更没有试过，希望
2013-06-19 20:40:28
2294
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人