- 博客(3)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 CDH环境快速恢复不同步的JournalNode
背景： CDH集群中一个DataNode节点宕机后所有服务中断，其他节点正常运行并存储了大量新数据。 在恢复宕机节点后，重启其DataNode与JournalNode，之后CM报出JournalNode不同步的错误，如下图。 处理： 1、停止bigdata168上不同步的JournalNode服务（在CM上操作角色） 2、备份bigdata168服务器上JournalNode的数...
2020-03-30 11:22:27
3819
1
原创 Spark中便捷生成全局唯一自增ID
总体思路 利用spark RDD API所提供的的zipWithIndex() 和 zipWithUniqueId()生成唯一ID，两者的区别如下。 zipWithIndex() 首先基于分区索引排序，然后是每个分区中的项的排序。所以第一个分区中的第一项得到索引0，第二个分区的起始值是第一个分区的最大值。从0开始。分区内id连续。会触发spark job。 zipWithUnique...
2020-03-11 19:42:49
3870
原创 真正有效地收缩VMware linux虚拟机硬盘
随着VMware虚拟机的使用，会发现其数据文件所占电脑空间越来越大。 我参考了网上很多方法也都没有效果，最终参考某位大佬的教程又试了一下(link)，终于达到了预期的收缩效果，现将精炼的教程分享给大家。本人linux系统是CentOS7.1。 教程： 1、先打开虚拟机，执行下列命令（将虚拟磁盘没用的空间全部填成zero）： dd if=/dev/zero of=/zero.file bs...
2019-05-19 12:12:15
50
kafkatool2-64bit.zip kafka管理工具
2020-07-24
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人