may_fly的博客

hive的map和reduce数量如何确定 map的数量 确定map的数量：主要决定因素有input文件的总个数，input中文件的大小，集群设置的文件块大小(默认128M，可在hive shell中通过set dfs.block.size查看)三种 举例：文件不足128M则当做一个块，大于128M则拆分 input目录下有七个文件，大小均为64M，则共7个map input目录下有10M，1...

spark操作hive初实验 IDEA基于mave搭建spark操作hive环境 pom.xml配置如下 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSc...