宝华的小岛

为了不混乱，我把网卡1确定为桥接网络，网卡2，确定为192.168.2.x网段，网卡3确定为192.168.10.x网段，网卡4使用vbox默认的192.168.56.x网段，一般使用前两个就行，四个网卡全开会出问题。手动复制和修改网络配置文件比较麻烦。由于此时的网卡2使用的是动态分配的ip，所以没法用网卡2的ip去ssh，可以使用网卡1的ip登录，或者在虚拟机显示界面直接登录，查看和修改网卡2的配置。红框部分都是需要修改的，UUID可以重新生成一个，也可以做一点稍微的修改，不要与复制的源文件相同就好了。

Flume的官网是http://flume.apache.org,官网提供了丰富实用的技术资料。l 一、下载软件

Yearning是干啥的？ 《MySql从删库到跑路》，这个熟悉不？这不是一本书，也不仅仅是一个梗。可能真有其事发生。如果公司都放任程序员去操作数据库，真有一天re'ren'b

Hive服务器需要Hadoop，我使用的是Hadoop3.3.0，这个提前已经搭建好了。MySql5.7.34也已经准备好。 一、下载软件

鉴于Docker搭建HBase遇到那种令人恶心的设计，我决定采用CentOS7直接搭建。孰料，过程更麻烦，坑更多。简直就是一个踩坑的体验。不过我横下心来杠到底，非要把这个问题解决不可。用了一个工作日，尝试各种版本，梳理各种思路，查阅了很多资料，终于搞定了。 HBase工作需要zookeeper，虽然HBase本身集成了zookeeper，但是使用并不是很自由，建议还是使用独立的zookeeper。所以我们首先要在系统中安装zookeeper。 HBase的底层存储使用的还是Hadoop的HDFS，因此还

打算学习研究Spark，搭建一个单节点的Spark集群来做线上测试和研究。 首先要安装好安装Scala环境https://blog.youkuaiyun.com/xxkalychen/article/details/117175314。 一. 下载Spark软件 cd /var/app wget https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-3.1.1/spark-3.1.1-bin-hadoop3.2.tgz 二. 解压 tar -zx.

一、下载软件 cd /var/app wget https://mirrors.bfsu.edu.cn/apache/kafka/2.8.0/kafka_2.13-2.8.0.tgz 二、解压 tar -zxvf kafka_2.13-2.8.0.tgz 三、创建日志文件夹 mkdir -p /var/app/kafka_2.13-2.8.0/logs 四、运行zookeeper和kafka nohup /var/app/kafka_2.13-2.8.0/bin/zookeeper-s

一、下载软件 cd /var/app wget https://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.13.0/flink-1.13.0-bin-scala_2.12.tgz 二、解压软件 tar -zxvf flink-1.13.0-bin-scala_2.12.tgz 三、添加环境变量 vi /etc/profile 添加内容 # Flink export FLINK_HOME=/var/app/flink-1.13.0

一、WEB服务器 二、关系型数据库 2-1.Docker架设MySql5.7.34服务器 三、NoSQL数据库 3-1.Docker架设Memcached服务器并与Springboot整合 四、消息中间件 五、流式数据处理服务器 六、大数据 七、开发管理服务器 7-1.Docker架设SVN服务器 7-2.Docker架设Gitlab服务器 7-3.Docker搭建jira服务器 八、分布式注册中心及配置中心 8-1.Consul注册中心服...

写到这里，kafka -> storm -> es 应该是流式数据处理最标准的模型了，从消息队列获取流式数据源，经storm多分支流水线逐次清洗、处理、计算，把需要的数据持久化到仓库。根据前几次的不断深入和修改，现在我们就把数据源改成kafka。 我们需要做三点改动就好了。 一、添加kafka的依赖。 <dependency> <groupId>org.apache.kafka</groupId> <artifactId>k

最近学习研究Storm，需要一个Storm服务器环境。搜一下发现网络上大都是架设集群的，本人主要从事java后端，不需要在服务器运维方面搞得过于深入，加之用虚拟机架设一个多节点的集群也颇为消耗资源。试想我正在调试Java程序，还要开着三个虚拟机，是不是很麻烦。所以我们只需要一个单实例的服务器就好了。 最开始还是追求Docker化的架设，但是考虑到可能需要把Storm的jar包上传到服务器，使用Docker就有点啰嗦，所以还是直接在CentOS7里面进行架设。架设过程中当然还是遇到了一些问题，最终是架设成功

本次练习我测试了CentOS单实例运行，Docker单实例部署，Docker集群架设，CentOS集群架设。Windows下的运行没有做，貌似太简单。Docker集群做内网伪分布式模式测试成功，但是模拟分布式把容易运行在不同的虚拟机测试失败。下次需要尝试创建私人网络再试。这种资料好像不太多，找到的有关Docker架设Consul集群的资料几乎都是基于同一个服务器。这有什么用呢？要挂一起挂，于高可用没有什么作用。还好不用Docker创建分布式集群成功了。 一、CentOS7架设单实例服务 依次执行以下命令

参考资料：https://hub.docker.com/_/mysql 我们选择5.7.x，在github上，可以看出，在我架设测试和写文章时，版本刚刚更新，最新版本是5.7.34.就在不到一天之前。 https://github.com/docker-library/mysql 一、拉取镜像 docker pull mysql:5.7.34 三、创建挂载文件夹 mkdir -p /var/docker/mysql/conf && mkdir -p /var/docker