自建大数据集群
清雨夜
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
如何通过VMware共享软件服务资源
前言 本人近期入手了一台macbook,但是旧电脑(windows)里面的资料还是挺多的,例如有些在VMware的集群集群镜像,都倒腾到新电脑的话,占地方不说,还影响新电脑的性能。于是我想能不能让新电脑使用老电脑的资源呢。例如我旧电脑里的集群能不能分享出来给新电脑用呢。答案当然是可以的。 分析 最近工作中接触了一些网络的配置,以及对VMware的虚拟网卡做了一些了解之后,偶然得到了一些思路。VMware有三个虚拟网卡,VMnet0、VMnet1、VMnet8。这里可以参考这篇文章 区分VM网卡。其中VMne原创 2021-09-05 12:56:56 · 371 阅读 · 0 评论 -
Eclipse2020.6+scala2.11.11+Spark+kafka运行报错 JsonMappingException: Incompatible Jackson version: 2.9.1
发现问题 在低版本eclipse上已经完成flume+kafka+SparkStreaming+Mysql的整合(说明代码没有问题),奈何低版本的eclipse实在难用(各种方面的难用。。想念idea),于是想在最新版eclipse上移植该代码。 结果各种报错,前面的报错也很让我抓狂,但是我没有来得及记录下来,但是确实是和scala的版本有关。高版本scala向下兼容性不好。有些包被重复编译。可能减少一些包可以解决问题。。可能。。反正我是换用了低版本的scala。总之不同版本之间的互相兼容是一个大问题(不原创 2020-08-01 19:53:57 · 575 阅读 · 0 评论 -
HBase集群从节点HRegionServer启动失败的解决方案
问题简述 配置完集群之后,启动主节点HBase,发现从节点里的HRegionServer不启动。 于是不停的修改,不停的找配置问题,最终发现不是HRegionServer没有启动,而是启动了一小会自己就关了。这问题我还是第一次见。于是上网查找。解决方案如下 解决方案 大数据集群对时间的敏感度很高,集群之间的系统时间一定要同步。否则就可能出现这个坑爹的问题。 该问题一般出现在虚拟机搭建的大数据集群中。 同步时间: 安装这个东西 yum install -y ntpdate 找个ntp服务器了解一下现原创 2020-07-11 17:45:02 · 1651 阅读 · 0 评论
分享