Trafodion 使用Hadoop命令修改Trafodion表的副本数

最新推荐文章于 2024-06-30 22:16:28 发布
原创 最新推荐文章于 2024-06-30 22:16:28 发布 · 1.1k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了一种通过减少Hadoop集群数据副本数量来释放磁盘空间的方法，并提供了具体的命令示例。从三副本减少到两副本后，显著降低了存储占用。

前一篇文章， 我们提到如何查询Trafodion表占用的存储空间，参考 http://blog.youkuaiyun.com/post_yuan/article/details/72530683

最近遇到一个Case，客户环境由于磁盘空间有限加上大批量加载数据的任务，导致集群整体磁盘可用空间不足15%，希望能在现有的集群上释放一些空间出来。

Hadoop集群释放磁盘空间的其中一个方法就是减少数据的副本数，Hadoop默认是3个副本，可以通过Hadoop命令将副本数减少为2或1，使用的Hadoop命令如下，

这里写图片描述

现在让们尝试一下修改副本前后的变化，首先查看默认三副本的状态，

[trafodion@openstack-1 ~]$ hadoop fs -du /hbase/data/default | sort -n -r
4195610  12586830  /hbase/data/default/TRAFODION._MD_.COLUMNS
858558   2575674   /hbase/data/default/TRAFODION._MD_.OBJECTS
36317    108951    /hbase/data/default/TRAFODION._MD_.KEYS
27963    83889     /hbase/data/default/TRAFODION._MD_.TEXT
21929    65787     /hbase/data/default/TRAFODION._MD_.OBJECTS_UNIQ_IDX
16646    49938     /hbase/data/default/TRAFODION._MD_.TABLES
7708     23124     /hbase/data/default/TRAFODION._REPOS_.METRIC_SESSION_TABLE
7708     23124     /hbase/data/default/TRAFODION._REPOS_.METRIC_QUERY_AGGR_TABLE
4631     13893     /hbase/data/default/TRAFODION._DTM_.TDDL
3684     11052     /hbase/data/default/TRAFODION._REPOS_.METRIC_QUERY_TABLE
3207     9621      /hbase/data/default/TRAFODION._DTM_.TLOG1_CONTROL_POINT
1796     5388      /hbase/data/default/TRAFODION._DTM_.TLOG0_CONTROL_POINT
1178     3534      /hbase/data/default/TRAFODION._DTM_.TLOG0
634      1902      /hbase/data/default/TRAFODION.PERSNL.SB_HISTOGRAM_INTERVALS
632      1896      /hbase/data/default/TRAFODION.PERSNL.SB_PERSISTENT_SAMPLES
632      1896      /hbase/data/default/TRAFODION._MD_.UNIQUE_REF_CONSTR_USAGE
628      1884      /hbase/data/default/TRAFODION._MD_.TABLE_CONSTRAINTS_IDX
626      1878      /hbase/data/default/TRAFODION._REPOS_.METRIC_TEXT_TABLE
624      1872      /hbase/data/default/TRAFODION._TENANT_MD_.TENANT_USAGE
620      1860      /hbase/data/default/TRAFODION._MD_.TABLE_CONSTRAINTS
616      1848      /hbase/data/default/TRAFODION.PERSNL.SB_HISTOGRAMS
616      1848      /hbase/data/default/TRAFODION._MD_.REF_CONSTRAINTS
616      1848      /hbase/data/default/TRAFODION._MD_.LIBRARIES_USAGE
614      1842      /hbase/data/default/TRAFODION._TENANT_MD_.TENANTS
608      1824      /hbase/data/default/TRAFODION._MD_.VIEWS_USAGE
606      1818      /hbase/data/default/TRAFODION.PERSNL.XEMPNAME
606      1818      /hbase/data/default/TRAFODION.PERSNL.XEMPDEPT
606      1818      /hbase/data/default/TRAFODION.PERSNL.XDEPTRPT
606      1818      /hbase/data/default/TRAFODION.PERSNL.XDEPTMGR
606      1818      /hbase/data/default/TRAFODION.PERSNL.EMPLOYEE
604      1812      /hbase/data/default/TRAFODION.PERSNL.PROJECT
604      1812      /hbase/data/default/TRAFODION._MD_.LIBRARIES
602      1806      /hbase/data/default/TRAFODION._MD_.VERSIONS
602      1806      /hbase/data/default/TRAFODION._MD_.ROUTINES
602      1806      /hbase/data/default/TRAFODION._MD_.DEFAULTS
600      1800      /hbase/data/default/TRAFODION._MD_.SEQ_GEN
600      1800      /hbase/data/default/TRAFODION._MD_.INDEXES
598      1794      /hbase/data/default/TRAFODION.PERSNL.DEPT
596      1788      /hbase/data/default/TRAFODION.PERSNL.JOB
596      1788      /hbase/data/default/TRAFODION._MD_.VIEWS
596      1788      /hbase/data/default/TRAFODION._MD_.AUTHS
535      1605      /hbase/data/default/TRAFODION._DTM_.TLOG1
...

上述结果中第一列为数据的原始大小，第二列是第一列的3倍关系，也就是默认的3副本，现在我们利用-setrep命令将副本设置为2，

su - hdfs
hadoop fs -setrep -w 2 -R /hbase/data/default

完成之后，再查看修改后的文件大小，

[hdfs@openstack-1 ~]$ hadoop fs -du /hbase/data/default | sort -n -r
4195610  8391220  /hbase/data/default/TRAFODION._MD_.COLUMNS
858558   1717116  /hbase/data/default/TRAFODION._MD_.OBJECTS
36317    72634    /hbase/data/default/TRAFODION._MD_.KEYS
27963    55926    /hbase/data/default/TRAFODION._MD_.TEXT
21929    43858    /hbase/data/default/TRAFODION._MD_.OBJECTS_UNIQ_IDX
16646    33292    /hbase/data/default/TRAFODION._MD_.TABLES
7708     15416    /hbase/data/default/TRAFODION._REPOS_.METRIC_SESSION_TABLE
7708     15416    /hbase/data/default/TRAFODION._REPOS_.METRIC_QUERY_AGGR_TABLE
4631     9262     /hbase/data/default/TRAFODION._DTM_.TDDL
3684     7368     /hbase/data/default/TRAFODION._REPOS_.METRIC_QUERY_TABLE
3207     6414     /hbase/data/default/TRAFODION._DTM_.TLOG1_CONTROL_POINT
1796     3592     /hbase/data/default/TRAFODION._DTM_.TLOG0_CONTROL_POINT
1178     2356     /hbase/data/default/TRAFODION._DTM_.TLOG0
634      1268     /hbase/data/default/TRAFODION.PERSNL.SB_HISTOGRAM_INTERVALS
632      1264     /hbase/data/default/TRAFODION.PERSNL.SB_PERSISTENT_SAMPLES
632      1264     /hbase/data/default/TRAFODION._MD_.UNIQUE_REF_CONSTR_USAGE
628      1256     /hbase/data/default/TRAFODION._MD_.TABLE_CONSTRAINTS_IDX
626      1252     /hbase/data/default/TRAFODION._REPOS_.METRIC_TEXT_TABLE
624      1248     /hbase/data/default/TRAFODION._TENANT_MD_.TENANT_USAGE
620      1240     /hbase/data/default/TRAFODION._MD_.TABLE_CONSTRAINTS
616      1232     /hbase/data/default/TRAFODION.PERSNL.SB_HISTOGRAMS
616      1232     /hbase/data/default/TRAFODION._MD_.REF_CONSTRAINTS
616      1232     /hbase/data/default/TRAFODION._MD_.LIBRARIES_USAGE
614      1228     /hbase/data/default/TRAFODION._TENANT_MD_.TENANTS
608      1216     /hbase/data/default/TRAFODION._MD_.VIEWS_USAGE
606      1212     /hbase/data/default/TRAFODION.PERSNL.XEMPNAME
606      1212     /hbase/data/default/TRAFODION.PERSNL.XEMPDEPT
606      1212     /hbase/data/default/TRAFODION.PERSNL.XDEPTRPT
606      1212     /hbase/data/default/TRAFODION.PERSNL.XDEPTMGR
606      1212     /hbase/data/default/TRAFODION.PERSNL.EMPLOYEE
604      1208     /hbase/data/default/TRAFODION.PERSNL.PROJECT
604      1208     /hbase/data/default/TRAFODION._MD_.LIBRARIES
602      1204     /hbase/data/default/TRAFODION._MD_.VERSIONS
602      1204     /hbase/data/default/TRAFODION._MD_.ROUTINES
602      1204     /hbase/data/default/TRAFODION._MD_.DEFAULTS
600      1200     /hbase/data/default/TRAFODION._MD_.SEQ_GEN
600      1200     /hbase/data/default/TRAFODION._MD_.INDEXES
598      1196     /hbase/data/default/TRAFODION.PERSNL.DEPT
596      1192     /hbase/data/default/TRAFODION.PERSNL.JOB
596      1192     /hbase/data/default/TRAFODION._MD_.VIEWS
596      1192     /hbase/data/default/TRAFODION._MD_.AUTHS
535      1070     /hbase/data/default/TRAFODION._DTM_.TLOG1

从上述结果可以看出，第二列的size修改为第一列的2倍，即现在只有2个副本了。

Hadoop基础命令的使用
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
06-25 5499
搭建好Hadoop环境后，就可以使用Hadoop的一些命令来实现一些功能了。HDFS是Hadoop应用用到的一个最主要的分布式存储系统。本实验用一些常用的命令来熟悉Hadoop对文件的操作。熟练掌握hadoop基础命令的使用，理解HDFS和Hadoop的关系。本次环境是：Ubuntu16.04 + jdk1.8.0_151 + hadoop2.7.3 工具包在/simple/soft目录下安装好Hadoop环境之后，可以执行【】命令进行对hadoop进行操作。我们通过命令行和Hadoop打交道，进一步增加对
Hadoop的认知副本放置策略、HDFS读写流程、pid文件、hdfs dfs常用命令、多节点，单节点的磁盘均衡、安全模式
wjw0806的博客
12-08 543
Hadoop的认知副本放置策略、HDFS读写流程、pid文件、hdfs dfs常用命令、多节点，单节点的磁盘均衡、安全模式Hadoop的认知1.副本放置策略2.HDFS写流程3.HDFS读流程4.pid文件5.hdfs dfs常用命令6.多节点，单节点的磁盘均衡7.安全模式 Hadoop的认知 1.副本放置策略 共计3个副本 第一个副本：假如上传节点为DN节点，优先放置本节点；否则就随机挑选一台磁...
hadoop副本数查看修改
weixin_38610500的博客
10-25 8373
hdfs的默认副本数量是3个，配置在/etc/hadoop/conf/hdfs-site.xml中 dfs.replication 3 我们也可以通过hdfs dfs -ls /path/to/file 命令查看hdfs上的文件： 文件类型会在第二列显示副本数量3，第五列显示文件大小，目录因为是由namenode维护的，所以没有副本数量，显示为- 如果想修改全局副本数量，只需要修改上面的hdfs-site.xml中的配置然后重启hdfs即可，修改完成后： 若hdfs中副本数
Trafodion CLI 常用命令
数据源的港湾
11-09 1000
我们已经知道，Trafodion提供CLI给用户以交互式的方式去操作数据库。常用的CLI包括Trafci和Sqlci。拿Trafci来说，当在服务器上或客户端执行trafci后便开启了一个会话，即Session。CLI中其实有很多命令是跟Session有关，下面就一一通过例子尝试一下。 ENV/SESSION/SHOW SESSION --显示当前会话的属性和设置 SQ
hadoop 副本不足或者损坏情况以及两个standby namenode的处理
weixin_42728895的博客
01-06 2147
一 hadoop两个standby namenode的处理 1.先检查zookeeper启动是否正常，配饰是否正确 2.重启启动namenode和zkfc 3.如果没有恢复正常，在namenode上面执行bin/hdfs haadmin -transitionToActive nn2 其中nn2是你的namenode中的一个（如果是新配置的HAhadoop集群，可能是zkfc（DFSZKFailoverController）没有格式化导致namenode节点的自动切换机制没有开启） 二、安全模式 当 hdf
Hadoop集群节点扩展之后，更改HDFS数据副本数
大数据技术杂谈
07-11 3971
问题： 本人近期将Hadoop集群节点从3个扩展为8个之后扩展之后，更改HDFS数据副本数，之后HBase操作非常缓慢，查看日志信息一直有数据在移动。 解决方案： 由于数据副本数增加，在扩展完节点之后，在Hadoop主节点执行如下命令sbin/start-balancer.sh使各个节点数据负载均衡之后各数据节点数据一直在移动并复制增加数据副本数据，因此导致集群运行缓慢，因此建议此操作在非工
Trafodion查看运行时任务——Offender
yangpengpeng2015的博客
07-17 368
Offender是Trafodion数据库用于查看运行时执行Sql语句的工具。   以下介绍操作示例及详细用法。 首先登陆数据库安装服务器，切换到trafodion用户并且切换到工具所在目录： # su - trafodion $ cdw $ cd export/limited-support-tools/LSO/ 然后执行offender语句，最常用的offender命令如下： ...
hadoop命令大全
01-08
- `dfsadmin`：用于管理HDFS，如检查副本数、设置副本数、报告磁盘空间等。 - `-report`：显示HDFS的总体状态，包括数据节点、块总数、总存储量等信息。 3. **MapReduce命令**： - `jar`：执行MapReduce作业，...
修改HDFS上传和已有文件副本数，fsck命令检查文件的副本数，副本数量的配置，Block块大小的配置
qq_65231448的博客
06-30 1142
修改HDFS上传和已有文件副本数，fsck命令检查文件的副本数，副本数量的配置，Block块大小的配置
Hadoop命令手册
03-21
由于提供的内容中并没有具体的知识点描述，而只是对于“Hadoop命令手册”的标题和描述，以及一些特殊的...使用Hadoop时，熟悉这些命令能够帮助高效地处理大数据工作负载，并通过Hadoop命令行工具来执行各种集群操作。
Hadoop命令使用手册中文版
10-20
- `hadoop fs -setrep [-R] <rep> <path>`：设置文件或目录的副本数。 - **空间管理**： - `hadoop fs -du <path>`：检查文件或目录的磁盘使用情况。 - `hadoop fs -df [-h]`：显示HDFS文件系统的磁盘使用状态。 ...
HDFS修改副本数并生效
学亮编程手记
06-03 3201
1、hadoop集群使用的ucloud的uahdoop 2、是公司集群配置小，只有两台core节点，实际就是两台的datanode。 容量占用超过了80%，需要缩减副本以空出容量。 3、查看 hadoop fs -du -h /user/hive/warehouse/xxwarehouse.db/xx_datasourceraw/partitiondate=2019-10-31 可以看到，每个文件三个副本。 4、执行 hdfs dfs -setrep -R 2 / 　将所有的已经上传的副本从3个变成了两个
hadoop的hdfs手工清理磁盘空间指令
kingrootZ的博客
10-07 1119
手工执行删除指令
HDFS磁盘清理维护
蜀门嗯哼的博客
03-09 2917
HDFS磁盘查看清理
HDFS空间占用问题解决
热门推荐
雨钓的专栏
03-29 1万+
HDFS文件系统问题
Hadoop集群！将HDFS副本数设置为3；可以正常提交MapReduce运行！
weixin_65518219的博客
06-28 2605
HDFS 数据副本概念：HDFS数据副本存放策略，副本的存放是HDFS可靠性和高性能的关键。优化的副本存放策略是HDFS区分于其他大部分分布式文件系统的重要特性。这种特性需要做大量的调优，并需要经验的积累。
hadoop进阶---hadoop性能优化(一)---hdfs空间不足的管理优化
直到世界的尽头
03-03 9783
Hadoop 空间不足，hive首先就会没法跑了，进度始终是0%。 将HDFS备份数降低 将默认的备份数3设置为2。 步骤：CDH–&gt;HDFS–&gt;配置–&gt;搜索dfs.replication–&gt;设置为2 删除无用HDFS数据和Hbase表格 主要使用命令hadoop fs -du，hadoop fs -ls，hadoop fs -rm 空间不足根本的解决...
Hadoop知识点总结
weixin_50528552的博客
03-11 1071
Hadoop知识总结
HDFS增加副本减少副本
anguoan的博客
11-07 748
hdfs副本增减
hadoop 命令使用
最新发布
06-12
### Hadoop 命令使用教程或文档 Hadoop 提供了丰富的命令行工具，用于管理和操作分布式文件系统（HDFS）以及运行 MapReduce 作业。以下是一些常用的 Hadoop 命令及其功能[^1]： #### Hadoop Shell 命令 Hadoop 的 Shell 命令主要用于与 HDFS 进行交互。这些命令通常以 `hadoop fs` 开头，例如： ```bash hadoop fs -ls /path/to/directory ``` - **查看文件列表**：`hadoop fs -ls /path/to/directory` 可以列出指定目录下的文件和子目录[^1]。 - **上传文件到 HDFS**：`hadoop fs -put local_file_path hdfs_path` 将本地文件上传到 HDFS。 - **从 HDFS 下载文件**：`hadoop fs -get hdfs_path local_file_path` 将 HDFS 上的文件下载到本地系统[^1]。 - **删除 HDFS 文件**：`hadoop fs -rm hdfs_path` 删除指定路径的文件。 - **创建目录**：`hadoop fs -mkdir -p /path/to/new_directory` 创建一个新目录。 #### 配置环境变量 在使用 Hadoop 命令之前，确保正确配置了 Hadoop 的环境变量。例如，在 Linux 系统中，可以通过编辑 `~/.bashrc` 文件添加以下内容[^2]： ```bash export HADOOP_HOME=/usr/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin ``` 然后执行 `source ~/.bashrc` 使更改生效。 #### 其他常用命令 除了 HDFS 相关命令外，Hadoop 还提供了其他管理工具： - **格式化 NameNode**：`hadoop namenode -format` 用于初始化 HDFS 文件系统[^1]。 - **启动 Hadoop 集群**：`start-dfs.sh` 和 `start-yarn.sh` 分别启动 HDFS 和 YARN 服务。 - **停止 Hadoop 集群**：`stop-dfs.sh` 和 `stop-yarn.sh` 分别停止 HDFS 和 YARN 服务[^2]。 #### 示例代码 以下是一个完整的示例，展示如何上传文件并查看其内容： ```bash # 上传本地文件到 HDFS hadoop fs -put /local/path/to/file.txt /hdfs/path/to/file.txt # 查看 HDFS 文件内容 hadoop fs -cat /hdfs/path/to/file.txt ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

数据源的港湾

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值