NFII

mapreduce实现基本sql操作伪码描述

在keymap搜索框键入parameter info右键添加快捷键即可如果设置的快捷键与已有的产生冲突，在搜索框中找到该快捷键然后remove即可。

解决方式linux上安装的elasticsearch版本为6.6.0，当时在pip安装elasticsearch库的时候直接装的最新版，进行search查询时就报错了，原因在elasticsearch库的版本与linux上的es不匹配，重新pip安装7.13.0版即可pip3 install elasticsearch==7.13.0...

问题描述azkaban调度脚本执行时报错：java.lang.IllegalStateException: Process has not yet started. 但是单独执行脚本发现运行正常。问题解决原因在于脚本本身是使用集群执行的，但是之前忘记把所有脚本都分发到其他主机上，被选择用于执行的主机上没有这个文件，因此执行不了脚本内容，因此出现了这个问题。使用azkaban调度，切记先将用到的所有材料分发到集群中。...

问题描述执行语句生成的数据末尾出现了一个空行原因因为导入的数据是lzo格式，其所在文件夹下既有数据也有对应的lzo索引。hive会自动进行小文件合并，就将索引文件合并到lzo数据中去了，所以出现了空行，同时也导致后续无法对lzo数据进行切片。解决方式关闭hive的小文件合并功能set hive.input.format=org.apache.hadoop.hive.ql.io.HiveInputFormat;...