rocky_24的博客

国产牛逼系列 dolphinscheduler文章目录国产牛逼系列 dolphinscheduler1 调度工具对比话不多说 直接开干安装包部分 TODO基础搭建解压缩，重命名mysql 依赖 ip 改一下，注释源 postgresql运行 MySQL 初始化脚本运行环境修改一键部署配置文件 conf/config/install_config.conf启动一键部署登录系统1 调度工具对比以往使用 azkaban 虽然并发够，但是面临运维问题也很大。1 大半夜 调度任务挂了，酸爽了，半夜调

文章目录hue 4.1 安装1 安装环境2 下载地址3 安装各种包4 配置 HDFS Hivehue 4.1 安装前言：试了很多个版本，各种奇葩问题。 4.1 总算成功了。 记录一下备份1 安装环境CentOS 7.7JDK 1.8Maven 3.5.4Python 2.7.52 下载地址wget https://cdn.gethue.com/downloads/releases/4.1.0/hue-4.1.0.tgz3 安装各种包可搜索 3.9 等其他所有安装依赖。

文章目录1 mysql 内存1.1 查看 linux mysql 内存使用率 %1 mysql 内存1.1 查看 linux mysql 内存使用率 %free -m | sed -n '2p' | awk '{print "used mem is "$3"M,total mem is "$2"M,used percent is "$3/$2*100"%"}' 1.2 Top 方式查看执行 top 命令，1 监控每个逻辑CPU的状况：2 shift + p ：进程 CPU 排序3

文章目录1 不建议使用 3.73.1 其他生产环境换个正式版的 如图：2 下载、解压缩3 编译、 跳过测试.4 创建 azkaban 目录、将编译后的 exec web 复制到目录下。5 azkaban 数据库初始化6 配置文件修改7 启动命令：7 地址、异常1 不建议使用 3.73.1 其他生产环境换个正式版的 如图：因为我这个是测试环境必须跟生产一致，所以必须搭建这个版本。2 下载、解压缩wget https://github.com/azkaban/azkaban/archive/3

文章目录安装 azkaban 需要初始化脚本，刚好这个 edge 节点没有 mysql 客户端 安装下一 下载二 移除旧环境安装 azkaban 需要初始化脚本，刚好这个 edge 节点没有 mysql 客户端 安装下一 下载wget http://mirrors.sohu.com/mysql/MySQL-5.7/mysql-community-client-5.7.23-1.el6.x86_64.rpmwget http://mirrors.sohu.com/mysql/MySQL-5.7/mys

文章目录一 kafka 版本选择二 下载、安装三 复制各节点启动即可一 kafka 版本选择kafka 的版本选择与 zookeeper、 scala 对应scala 与 spark 版本也需要对应二 下载、安装tar -zxvf kafka_2.12-2.3.0.tgz修改配置文件中brock.idzklogdir( 数据存放位置 )三 复制各节点启动即可...

文章目录1 下载、解压、软链2 环境变量配置31 下载、解压、软链wget https://archive.apache.org/dist/spark/spark-3.0.1/spark-3.0.1-bin-hadoop2.7.tgztar -zxvf spark-3.0.1-bin-hadoop2.7.tgzln -s spark-3.0.1-bin-hadoop2.7 spark如果还不行可以在清华大学镜像站 或我留的备份下载2 环境变量配置2.1 vim /etc/profi

文章目录1 下载、解压、上传 mysql connector2 Hive-site.xml （ beeline、Hive 路径指定、）3 环境变量4 授权1 下载、解压、上传 mysql connectorwget https://mirrors.tuna.tsinghua.edu.cn/apache/hive/hive-2.3.7/apache-hive-2.3.7-bin.tar.gztar -zxvf apache-hive-2.3.7-bin.tar.gzcp mysql-connect

文章目录1、查看已有 mysql2、卸载已存在的3、安装依赖包4、 rpm 安装包下载、解压5 安装6 配置 mysql 的初始化文件/etc/my.cnf （免密启动用）7.启动mysql8.验证mysql是否启动9.首次登录（第6步[mysqld]代码下方添加skip-grant-tables，目的是为了首次登录时不用输入密码）10.显示以上，安装完成，远程 Windows 使用。如果测试使用至此可以结束。 作为大数据使用还有很多事要做。继续11.安装后续工作，设置root密码重启服务1、查看已有

文章目录1 切 Hadoop 权限用户2 解压缩、修改 etc/profile 配置文件3 设置 slaves4 环境变量5 ZKFC6 JournalNode7 启动 HA8 HADOOP_HOME 不存在异常9 JobHistory1 切 Hadoop 权限用户ZK 检测：zkServer statusJDK 检测：java -versionScala 检测：scala -version2 解压缩、修改 etc/profile 配置文件cd /hadoop/hadoo

文章目录下载安装解压安装：配置文件修改创建 myid：添加环境变量启动 zk，3个节点都要执行：下载安装wget http://archive.apache.org/dist/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.tar.gz解压安装：tar -zxvf zookeeper-3.4.14.tar.gz -C /opt/hadoop/创建软连接ln -s zookeeper-3.4.14 zookeeper配置文件修改cd /opt/hadoo

文章目录1 配套版本2 穷人版节点部署与编排 123 Yarn 资源预估4 硬件配置5 穷人版节点部署与编排 10节点6 乞丐版混搭7 土豪金版本设计1 配套版本版本考虑： 生产环节已有一套 但 kafka 的 scala 不配套、本次测试/开发环境与生产同步，可以测试调研升级版本等问题2 穷人版节点部署与编排 123 Yarn 资源预估4 硬件配置5 穷人版节点部署与编排 10节点6 乞丐版混搭7 土豪金版本设计辅助节点跳板机节点主节点调度节点计算节点Kafka 吞吐

大数据集群 CentOS 7.7 节点初始化( 同 CentOS 6X 不同点)文章目录大数据集群 CentOS 7.7 节点初始化( 同 CentOS 6X 不同点)1 CentOS 7关闭transparent_hugepage（透明大页）检查当前的transparent_hugepage状态（以下为开启状态）1）临时关闭2）永久关闭2 修改swap大小2.1 切换 root 用户 或 sudo2.2 查看当前 swap 命令2.3 转 swap 格式文件：2.4 挂载 swap 分区2.5 分支