- 博客(15)
- 收藏
- 关注
RSS订阅原创 Maxwell使用教程及踩坑
Maxwell需要在MySQL中存储其运行过程中的所需的一些数据，包括binlog同步的断点位置（Maxwell支持断点续传）等等，故需要在MySQL为Maxwell创建数据库及用户。（1）地址：https://github.com/zendesk/maxwell/releases/download/v1.29.2/maxwell-1.29.2.tar.gz。#目标Kafka topic，可静态配置，例如:maxwell，也可动态配置，例如：%{database}_%{table}
2025-12-04 19:59:39
842
原创 linix虚拟机无法正常启动的解决方案（centos出现:/#）
xfs_repair -L /dev/mapper/centos-root # 清空日志。之后exit一下退出紧急救援模式，# 如果提示 busy，再试。
2025-12-03 11:39:49
117
原创 FlinkSql总结
/ table 中的数据是无法直接打印的，要想得到里面的数据，需要将table对象变为流对象。// 将数据流转换成动态表，动态表只有一个字段，重命名为myLong。// 将数据流转换成包含f0和f1字段的表，在表中f0和f1位置交换。// 将f1字段命名为myInt，f0命名为myLong。// 将数据流转换成只包含f1字段的表。//3. 在创建一个表。// 将结果表写入已注册的输出表中。1.3 累积窗口 Cumulate。// 将这个流对象变为一个表。// 经过查询转换，得到结果表。
2025-12-02 20:28:20
578
原创 解决spoon（kettle）中hadoop cluster无法加载出来driver问题的解决办法
删除这个文件里的caches和data文件重启spoon重新加载。
2025-10-13 12:48:49
162
原创 DBeaver的hive代码提示包驱动导入
原理：对于语言驱动类功能实现，软件一般都采取用到了就下载的方式，这是由于这类驱动由最初的语言编纂者去进行统一的实现。语言驱动类一般都需要网络下载链接。很多软件之间的jar包都是通用的。解决DBeaver缺少hive代码提示可以通过github搜索其他软件开源项目来获取。比如datagraph的hive驱动包就可以跟DBeaver共用。链接：https://pan.baidu.com/s/1fJyA26TjqIrm-vDCH-iYZg。我在网上没有查到DBeaver的hive代码提示驱动包，故填补一下空白。
2025-09-29 18:32:16
142
原创 如何使用datax
配置信息错误，您提供的配置文件[/opt/installs/datax/plugin/reader/._drdsreader/plugin.json]不存在. 请检查您的配置文件。"column": ["id", "name", "create_time"], // 支持 *、常量、函数。"path": "/user/hive/warehouse/test.db/user", //本地路径。"defaultFS": "hdfs://bigdata01：9870", //hdfs页面路径。
2025-09-24 19:13:35
746
原创 flume 配置及使用
flume-ng agent -c 沉降目标路径 -f 选择的配置脚本 -n agent名字 -Dflume.root.logger=INFO,console (在虚拟机页面的输出配置)source：avro和thrift（监听某个端口是否有信息）、exec（监听unix命令）、JMS（消息队列监听）三部分组成：source（流量源）、channel（管道）、sink（沉降配置）channel：memory（内存）、Kafka、jdbc、file（文件）概念介绍：抽水泵，有水就抽，没水等着。
2025-09-23 20:09:33
204
原创 配置hdfs resourcemanager 自动恢复
基于LevelDB的存储。它比前两种方式都更轻量级，占用的存储空间和I/O要小得多，并且支持更好的原子性操作。对性能有极致要求时采用。因为两个RM都有可能是活跃的（认为自己才是真正的RM），进而发生脑裂。基于ZK的存储可以通过隔离（fence）状态数据防止脑裂。参数，该参数用来指定RM在重启之前将自己的状态保存在何种存储媒介上，目前有3种存储可选。默认值，是基于文件系统的存储（本地存储或者HDFS）。配置项设为true（默认是false）。基于ZooKeeper的存储，（状态数据的根节点路径）参数。
2025-09-16 20:53:47
283
原创 hdfs 纠删码与偷米的老鼠
冗余块的大小与原始块一致，其内容是原始块的 “校验信息”—— 不直接存储原始数据，而是存储原始块的数学运算结果（如异或、多项式计算）。在最初，hdfs使用的是二保一策略，在存储数据时复制两份备份来确保一份的使用安全，这样做不仅耗费存储空间，传输起来也极其麻烦，有时也会出现三份都错的情况，这时就会让无数程序员异常抓狂。当存储的块（原始块或冗余块）发生丢失时，只要剩余的块数量 ≥ k（即丢失的块数量 ≤ m），就能通过 RS 解码算法，利用剩余块计算出丢失块的完整内容。2. 编码生成冗余块（Encoding）
2025-09-16 20:45:20
185
原创 IDEA出现maven依赖错误导致项目无法运行的排查思路
当出现无法呈现的错误，需要到 All Dependencies as List内去根据报错关键字来排除依赖冲突的包。若明确哪里出现依赖错误的话也可以到maven自带的依赖管理工具进行依赖管理。在pom.xml文件下会出现dependencies这个按钮，点击进去。一般的maven依赖错误会在Conflicts内呈现。也可以用 <exclusions>来排除冲突的依赖。
2025-09-15 18:57:24
243
原创 Idea GIT本地和远程不一致错误及无法获取远程GIT路径处理
这是一个非常经典的错误，当我在本地推送过后，对远程进行变更后，比如用另一个IDEA项目访问同一个Path路径后，就会出现这个错误，如果重新拉取，由于两边数据不一致就会导致拉取失败。这时候只需要到右下角右键远程分支选择 "Pull into Current Using Rebase"就可以实现对远程仓库的更新。2：当GIT需要更新时会故意让你获取不到远程仓库。1：版本控制问题：可以在这里设置GIT路径；
2025-09-15 18:46:30
173
原创 linix中的资源和索引——innode和block
当数据块超过4kb大小，则一个innode索引，会对应多个block数据块（存放块的指针信息），每个数据块大小都是4kb，当磁盘读取时，按照block为单位读取，每次读取消耗一次毫秒级磁盘IO，innode是树形目录索引结构，部分索引之间的数据结构是B+树结构，由于是存放的是块的指针信息，innode与block之间是尽可能存储在连续的物理内存地址上。
2025-09-01 20:47:49
187
原创 全网最详细的关于unity内委托和事件详解，Unity内事件的用法
/约束事件处理器，创建出的实例是专门存储事件处理器。模版参考BiLiBiLi背包系统:https://www.bilibili.com/video/BV1FT4y1m79Z/?// //事件拥有者 事件参数。// //public event OrderEventHandler OnOrder //声明事件。// //事件订阅（+=操作符） += （只能增加或者减少事件，其他不行）
2025-03-12 22:38:38
775
原创 unity ，委托，与事件系统：
/约束事件处理器，创建出的实例是专门存储事件处理器。模版参考BiLiBiLi背包系统:https://www.bilibili.com/video/BV1FT4y1m79Z/?// //事件拥有者 事件参数。// //public event OrderEventHandler OnOrder //声明事件。// //事件订阅（+=操作符） += （只能增加或者减少事件，其他不行）
2025-03-12 22:35:10
2368
原创 UNITY 与 Json
类名 Data=jsonUtility.Fronjson(jsonStr,typeof(文件名)) as 类名。类名 Data=jsonMapper.ToObject(jsonStr,typeof(类名)) as 类名；类名 jsonStr=jsonUtility.Fronjson<类名>(jsonStr);string jsonStr=jsonUtility.Tojson(自定义的类)；string jsonStr=jsonMapper.Tojson(对象名)；
2025-03-02 17:31:02
805
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人