- 博客(154)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 【无标题】
将Oracle JDK替换为OpenJDK后，因java.net.InetAddress$CacheEntry为JDK私有类，导致javahost 0.9.8更新DNS缓存失败。经测试，仅OpenJDK 1.8.0_332-b09（8u332-b09）版本兼容该调用，其余版本均不支持，建议在不修改代码前提下选用此特定版本以保障DNS解析功能正常。
2026-10-27 09:01:29
11
原创 python之函数之变量
Python 中只有模块（module），类（class）以及函数（def、lambda）才会引入新的作用域，其它的代码块（如 if/elif/else/、try/except、for/while等）是不会引入新的作用域的，也就是说这些语句内定义的变量，外部也可以访问。在函数中不使用 global 声明全局变量时不能修改全局变量的本质是不能修改全局变量的指向，即不能将全局变量指向新的数据。nonlocal 也用作内部作用域修改外部作用域的变量的场景，不过此时外部作用域不是全局作用域而是嵌套作用域。
2026-07-22 16:44:45
138
原创 iceberge与hive集成
一、版本能力限制说明hive添加外部包两种方式：（1，add 命令，每次执行都需要执行 2，放到扩展jar目录auxlib(更方便)）三、创建Hive扩展jar目录auxlib（若不存在）
2026-07-21 11:13:11
192
原创 神经网络激活函数进化
Mish：由x * tanh(softplus(x))定义，设计理念和Swish类似，追求平滑和自正则化，在某些视觉任务上表现出色，但计算成本更高。ELU：结合了ReLU正半轴无饱和与负半轴软饱和的特性，能使输出的均值更接近0，从而加速收敛。Leaky ReLU / PReLU / RReLU：给负半轴一个很小的、甚至可学习的斜率，让信息仍能流过“死亡”的神经元。1，从神经网络最开始的图像识别的阶跃函数到sigmoid到tanh函数再到ReLU函数再到针对ReLU的各种变换函数。
2026-06-23 09:43:26
321
原创 统计命令积累
摘要：使用Parquet工具统计HDFS上Parquet文件总记录数的方法是通过Hadoop命令行执行。命令格式为hadoop jar parquet-tools-*.jar rowcount <集群文件路径>，其中需要替换parquet-tools版本号和目标文件路径。该命令会返回指定Parquet文件包含的数据行总数，适用于大数据环境下快速获取文件记录数统计的需求。注意需确保parquet-tools工具包已部署且Hadoop环境配置正确。
2026-04-10 17:18:52
41
原创 数据湖学习路线总结
数据湖学习指南摘要：本文系统介绍数据湖从入门到进阶的学习路径。首先明确数据湖作为存储原始数据的集中式存储库，对比其与数据仓库的核心差异。学习分为四个阶段：基础概念（架构组件、存储格式）、核心技术（ACID事务、主流工具Delta Lake/Iceberg/Hudi）、实践应用（搭建实验环境、行业案例）和进阶趋势（湖仓一体、AI结合）。推荐结合官方文档、在线课程和动手实验（如MinIO+Spark），重点掌握1-2种工具并关注数据治理以避免"数据沼泽"。建议3-6个月掌握基础，1年深入复杂
2026-01-27 18:00:05
530
原创 数据湖Time Travel时间旅行
数据湖Time Travel功能解决了数据版本管理的核心痛点，通过时间戳或版本号实现历史数据查询、版本恢复和审计溯源。它采用事务日志和版本化存储技术（如Delta Lake、Iceberg、Hudi），平衡数据动态性与不可变性，支持误操作恢复、合规审计和多版本分析。主流框架通过写时复制、元数据记录和分级存储优化成本与性能。Time Travel让数据湖具备"时光机"能力，成为企业智能化数据管理的核心特性。
2026-01-27 14:15:43
96
原创 自动查询结果脚本
sql中day是需要通过{day}占位符 例如：select * from carbon where 1=1 and day=${day} limit 1;script_b.sh中需要根据实际的jdbc连接地址更改为实际的地址。通过script_a.sh 调动script_b.sh 脚本执行查询。请输入结束时间(yyyyMMdd): 20260102。输入开始时间(yyyyMMdd): 20260101。下面是script_a.sh的脚本。下面是script_b.sh。执行script_a.sh。
2026-01-16 14:46:01
63
原创 kafka输出报错
2，报错分析，报错显示kafka不支持事务，查官网验证kafka2.8版本是支持事务的，kafka是2.13-2.8.0的版本。3，代码中实现设置不适用事务也不行，2.8的客户端中实现实例的时候默认就是事务。4，最后追踪，我依赖中的scala是2.12版本替换后解决。中间会给transactionalId 设置值。1，kakfa输出报错。
2025-12-05 18:23:36
373
原创 kafka启动小脚本
#!/bin/bashKAFKA_HOME=“/home/kafka_2.11”KAFKA_START_SCRIPT=“$KAFKA_HOME/bin/kafka-server-start.sh”KAFKA_CONFIG_FILE=“$KAFKA_HOME/config/server.properties”LOG_FILE=“$KAFKA_HOME/kafka_startup.log”function log_message {echo “$(date ‘+%Y-%m-%d %H:%M:%S’) 1">>
2025-09-12 09:48:47
425
原创 clickhouse单节点更改为副本集
将数据从旧表移动到新表（/var/lib/clickhouse/data/db_name/table_name/）目录内的 ‘detached’ 目录中。如果你有一个手动同步的 MergeTree 表，您可以将其转换为可复制表。如果你已经在 MergeTree 表中收集了大量数据，并且现在要启用复制，则可以执行这些操作。如果各个副本上的数据不一致，则首先对其进行同步，或者除保留的一个副本外，删除其他所有副本上的数据。1，创建新的本地表和分布式表（表结构和dwd_testsadf broad_temp一致）
2025-08-20 19:18:29
382
原创 ClickHouse系列--BalancedClickhouseDataSource实现
2.通过一个定时线程任务，来不断的去ping url列表，来更新可用的url列表；clickhouse-jdbc中负载均衡数据源的实现。1.通过配置的url串，来切分构造url列表；新需求，每次获取连接实例的时候打印出连接的ip。3.在可用列表中随机返回一个可用url；
2025-06-26 10:31:52
417
【大数据平台】Zookeeper 3.4.14安装部署指南：从解压到集群配置详细步骤说明
2025-08-01
g### 【数据库技术】bGBase 8ac多模多态分布s式数据库：e产品特性、架构与应用场景详解
2025-06-24
clickhouse-client-23.3.1.2823.x86-64中的4个包，还有一个比较大，分开上传，描述中贴有地址
2024-11-06
clickhouse-common-static-dbg-23.3.1.2823.x86-64的第二部分，需要将两个问件合并
2024-11-06
clickhouse-common-static-dbg-23.3.1.2823.x86-64包前部分
2024-11-06
java中守护进程小结
2020-11-14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人