坚定

遇到问题以后先查看日志，以下是常见的错误情况及解决方法，希望对大家有所帮助。 1、启动hadoop时没有NameNode的可能原因： （1） NameNode没有格式化 （2） 环境变量配置错误 （3） Ip和hostname绑定失败 2、地址占用 报错：org.apache.hadoop.hdfs.server.namenode.NameNode: Address already ...

一、嵌套查询统计数量去重问题 描述：如果子查询中对统计的字段已经去重，外面一层就不能同时有distinct（目标统计字段）和group by操作，否则查询结果不是统计的数量而是统计的字段数据。 如： select platform_id, count(distinct user_id) uv_count from ( select platform_id, user...

Hive是将符合SQL语法的字符串解析生成可以在Hadoop上执行的MapReduce的工具。使用Hive尽量按照分布式计算的一些特点来设计sql，和传统关系型数据库有区别， 所以需要去掉原有关系型数据库下开发的一些固有思维。   基本原则： 1. 尽量尽早地过滤数据，减少每个阶段的数据量,对于分区表要加分区，同时只选择需要使用到的字段 select ... from A join...