这都不是事er 的博客

大数据平台实时数仓从0到1搭建之 - 14 Maxwell & Canal 对比概述环境数据库配置安装配置启动命令输出结果HA监控web总结概述前两章分别写了maxwell和canal的安装使用，我本人其实是第一次听说这两个工具。那就从新手使用方面，对比下这两个工具。环境工具版本LinuxCentos 7JDK1.8scala2.11mariadb10.3Zookeeper3.5.8kafka2.4.1Flink1.1

大数据平台实时数仓从0到1搭建之 - 13 Canal概述Canalquickstart修改MariaDB配置Docker下载canal-server启动canal-server客户端输出收尾附客户端代码概述今天学习下Mysql数据库的实时数据采集，看着网上比较流行的有阿里的Canal和Maxwell，看着GitHub上还是用Canal的的人多一点，可能是因为阿里的开源项目。不过，工具不在乎背景，适合自己的才是最好的。初次认识到这两个工具，先从实践来看下两个工具的相似和不同。Maxwell官网：M

mysql数据库实时数据采集，mysql数据库同步，maxwell

大数据平台实时数仓从0到1搭建之 - 11 server113概述docker安装配置镜像站完成概述创建个新节点，用来安装一些工具服务，配套基础服务Dockerserver113 192.168.1.113docker安装参考菜鸟教程，https://www.runoob.com/docker/centos-docker-install.html[root@server113 ~]# curl -fsSL https://get.docker.com | bash -s docker

大数据平台实时数仓从0到1搭建之 - 09 Flink 安装配置概述Flink集群规划安装配置文件同步Standalone模式集群启动web UI测试关闭集群Flink on Yarn同步到其他机器提交任务安装完成附件：kafka生产者附件：WordCount 代码概述Flink集群规划server110server111server112FlinkJobManagerTaskManagerTaskManagerTaskManager安装配置[root@serv

大数据平台实时数仓从0到1搭建之 - 06 zookeeper 安装配置概述zookeeper集群规划安装配置同步其他机器测试安装完成概述zookeeper 安装比较简单，只需要在zoo.cfg中加入集群信息即可，需要注意的地方是zkData/myid不要忘了配置，三台机器id不能相同zookeeper集群规划server110server111server112zookeeperzk.1zk.2zk.3安装#直接解压[root@server110 so

大数据平台实时数仓从0到1搭建之 - 05 hive 安装配置概述集群规划mariadb10.3安装配置创建metastore库和hive用户hive解压hive-env.sh配置hive-site.xmlmysql jar包初始化元数据配置完成测试hive同步到server111,server112完成概述hive不需要集群配置，在server110上安装配置完，然后复制到server111,server112就行环境具体的环境信息可以参考02-架构设计篇Centos 7jdk 1.8

大数据平台实时数仓从0到1搭建之 - 10 阶段回顾概述jpsall整体架构概述截止kafka安装完成，其实一个简单的架构已经可以用了，这里整理下现在集群上安装的各种服务jpsalljpsall，展示出目前三台节点上所有的java进程[root@server110 opt]# ./jpsall.sh ----------------jps server110 --------------------31744 QuorumPeerMain32420 Jps32182 Kafka173

大数据平台实时数仓从0到1搭建之 - 07 kafka 安装配置概述kafka集群规划安装配置同步到其他节点集群启动集群测试安装完成概述kafka安装也比较简单，只需要配置数据存储路径和集群服务器就行，需要注意的也是集群唯一标识broker.idkafka集群规划server110server111server112kafkabroker.id.0broker.id.1broker.id.2安装配置[root@server110 software]# t

关于虚拟机基础配置，jdk安装，免密登录

hadoop historyserver启动，无法访问，查看报错等问题1、historyserver无法启动2、historyserver已启动，可以看到进程，web无法访问url3、historyserver已启动，可以访问日志，提示可能未完成日志聚集记录下hadoop遇到的问题1、historyserver无法启动mapred-site.xml 文件里配置的server111节点，所以只能在server111节点启动，其他节点均不能启动2、historyserver已启动，可以看到进程，

大数据平台实时数仓从0到1搭建之 - 08 集群脚本概述环境变量jps & jpsall.shzkServer.sh & zk.shkafka-server-start & kafka.sh概述目前涉及到的zookeeper和kafka，都是需要在每台机器上做启动停止操作，本文使用shell脚本，处理集群的操作重点语法：ssh host 命令在对应的host节点上执行某个命令环境变量需要修改对应的用户的环境变量，使用root用户执行脚本，则需要在/root/.b

hadoop 最详细的安装教程。从解压到部署完成的整个教程

架构选型、框架选择、框架下载

大数据平台实时数仓从0到1搭建之 - 01 目录概述目录概述由于公司架构选型，正好有机会可以从传统数仓向大数据离线实时数仓转型，记录下自己学到的东西,以及遇到的问题。预计框架组件，希望路过的大佬可以指点一二hadoop，hive，hbase，zk，kafka，flink，mysql目录大数据平台实时数仓从0到1搭建之 - 01 目录大数据平台实时数仓从0到1搭建之 - 02 架构设计大数据平台实时数仓从0到1搭建之 - 03 虚拟机基础配置大数据平台实时数仓从0到1搭建之 - 0