mp9105的博客

Azkaban Executor 设置任务并行度1.问题描述最近使用Azkaban进行Hive的任务调度，工作流结构如下其中每一层都是一个工作流，每一层并行任务最少有5个，最多有二十多个，下一层执行依赖于上一层，但是在实际执行过程中，同一层最多只有10个任务并行执行。2.问题分析查看Yarn的Schedular，发现资源并不紧缺，联想到这是Azkaban的配置问题。查看AzkabanExecutorConfiguration参数配置，发现需要重新设置flow.num.job.threads，该

使用Hive创建动态分区时，如果分区中含有中文，会报以下错误。Illegal mix of collations (latin1_bin,IMPLICIT) and (utf8_general_ci,COERCIBLE) for operation ‘=’原因应该是分区表的编码和全局编码不相同造成的提供两种解决方案:方案一：修改mysql配置临时修改：进入mysql中设置如下参数set character_set_client = utf8;set character_set_conne

Hadoop3.1.3集群安装一、准备工作1.虚拟机准备2.安装必要插件3.修改主机名4.关闭防火墙5.设置静态ip及映射6.编写分发脚本7.配置ssh无密登录配置8.安装JDK9.重启二、安装Hadoop1.集群规划2.linux181上安装Hadoop1）解压安装包2）配置文件① 核心配置文件② HDFS配置文件③ YARN配置文件④ MapReduce配置文件⑤ workers文件⑥ 修改hadoop.env环境变量3.修改Hadoop一键启动脚本① 修改HDFS集群一键脚本① 修改HDFS集群一键脚