- 博客(8)
- 收藏
- 关注
RSS订阅原创 Hadoop单节点磁盘均衡
Hadoop的balancer主要是针对于集群之间的数据均衡，但是有些时候节点内有新增磁盘或者数据出现在磁盘上不均衡时，需要做磁盘均衡，就是将其他已经写入数据的磁盘均衡到新增加的磁盘上去，大概分为以下三个步骤，（plan）计划，（execute）执行，（query）查询如上图需要将Hadoop103节点/app的数据均衡到/app2中。
2025-02-17 16:56:08
613
原创 datax运行时报错-数据库服务的IP地址或者Port错误，请检查填写的IP地址和Port或者联系DBA确认IP地址和Port是否正确。如果是同步中心用户请联系DBA确认idb上录入的IP和PORT信
今天在用datax进行数据数据同步时候报错了，报错内容如下：异常Msg:DataX无法连接对应的数据库，可能原因是：1) 配置的ip/port/database/jdbc错误，无法连接。2) 配置的username/password错误，鉴权失败。请和DBA确认该数据库的连接信息是否正确。java.lang.Exception: DataX无法连接对应的数据库，可能原因是：1) 配置的ip/port/database/jdbc错误，无法连接。
2023-10-13 13:57:26
3548
3
原创 Linux上更改MySQL存储路径
注意：没有百分百的把握话，遇到关于更改数据存储的操作一定要cp，不要用mv，别问为什么，问就是都是泪！其中，/var/lib/mysql 是原始的数据目录路径，/path/to/new/data/dir 是新的数据目录路径。4、开启 SELinux 安全模式下 MySQL 服务访问其他目录的权限。3、修改 MySQL 配置文件。2、复制 MySQL 数据目录。1、停止 MySQL 服务器。5、启动 MySQL 服务器。
2023-06-28 15:54:59
2436
2
原创 关于hive服务无法正常启动，报错 javax.jdo.JDODataStoreException: Error executing SQL query “select “DB_ID“ from “D
2、因为我的元数据存储在Mysql中，检查Mysql的配置发现昨天对Mysql数据库的大小写是否敏感打开了，因为我的表名有挺多大写的，造成找不到表。1、执行下面代码先重新hive的service服务，并观察是否报错。发现元数据找不到metastore.dbs。
2023-06-13 17:23:17
767
1
原创 ClickHouse无法启动，且无日志输出
错误信息为 Effective user of the process (root) does not match the owner of the data (wwwroot). Run under 'sudo -u wwwroot'，意思是进程的有效用户为root，而数据所有者是wwwroot，两者不匹配。然后我想到，可能是因为为了减少我磁盘的压力，我把日志文件和数据存储的位置做了调整，新建了云盘文件夹，从而导致了用户名称不对应导致的。1、执行下面代码，使其输出日志，方便查找错误。
2023-06-08 17:18:02
4094
1
转载 HDFS挂载云盘，免重启扩容
HDFS数据本身并不总是均匀的放置在DataNode中，在添加新磁盘后，我们需要重新平衡下数据，HDFS为我们提供了一个工具，可以分析数据块放的位置和跨 DataNode 重新平衡数据：balancer。注（可选）：一般在平衡时，可以先停止存储比较高的节点上的NodeManager，这样在该节点上就不会受本地NodeManager落数据到本地，使得本地存储迅速增加的影响。平衡指定节点，磁盘平衡目标数，启动线程数为10。本次执行平衡命令，磁盘平衡目标数为20。平衡指定节点，磁盘平衡目标数为10。
2023-05-29 09:58:30
218
1
原创 关于因为datanode存储路径安装到系统盘，造成系统盘压力
在Hadoop的HDFS中，dfs.datanode.data.dir配置属性指定了DataNode上数据块的存储路径。5、这个过程可能会导致一些数据块的复制因子低于其目标值，你可以使用hdfs fsck /命令来检查文件系统，并使用hdfs dfsadmin -setrep命令来调整复制因子。6、均衡数据：最后，你需要运行HDFS的均衡器来重新分配数据块，确保数据块在DataNode上均匀分布。2、删除的目录路径中的数据复制到其他在dfs.datanode.data.dir中指定的路径（新开的路径）。
2023-05-27 19:10:33
250
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人