程序之路

1. merger小文件 set spark.sql.hive.mergeFiles = true; 2.缓冲小表 set spark.sql.autoBroadcastJoinThreshold = 838861000; set spark.sql.shuffle.partitions = 1000;

Hive中的外部表是比较安全的一种数据管理方式，有时也会误删 使用外部表有一个很好的好处，如果不小心将表误删了，只需要重新创建外部表然后使用下面的语句修复分区即可。 MSCK REPAIR TABLE table_name ...

hive.optimize.cp=true：列裁剪 hive.optimize.prunner：分区裁剪 hive.limit.optimize.enable=true：优化LIMIT n语句 hive.limit.row.max.size=1000000： hive.limit.optimize.limit.file=10：最大文件数 http://www.cnblogs.com/

Hive中int , float , double这些数值类型在存储大额度数字时，在前端展现上总是使用科学计数法来表示，例如： hive> select pow(10,8) from dual; OK 1.0E8 其实无论是普通的表示方式还是科学计数法表示，只是一个习惯问题，结果都是一样的。可是不能理解的是当把数值类型转化成字符串类型以后Hive竟然把数值转换成了科学计

Hive中有种假NULL，它看起来和NULL一摸一样，但是实际却不是NULL。 例如如下这个查询： hive> desc ljn004; OK a       string Time taken: 0.237 seconds   hive> select a from ljn004; OK NULL Time taken: 46.232

Hive 针对不同的查询进行了优化，优化可以通过配置进行控制，本文将介绍部分优化的策略以及优化控制选项。 列裁剪（Column Pruning） 在读数据的时候，只读取查询中需要用到的列，而忽略其他列。例如，对于查询： SELECT a,b FROM T WHERE e < 10; 其中，T 包含 5 个列 (a,b,c,d,e)，列 c，d 将会被忽略，只会读取a, b, e 列 这个

1：Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out Answer： 程序里面需要打开多个文件，进行分析，系统一般默认数量是1024，（用ulimit -a可以看到）对于正常使用是够了，但是对于程序来讲，就太少了。 修改办法： 修改2个文件。 /etc/security/limits.conf vi /etc/

bin/hive -e "select * from test" >> res.csv      或者是：      bin/hive -f sql.q >> res.csv      其中文件sql.q写入你想要执行的查询语句

如果确实想写和Oracle中等价的查询： SELECT * FROM T001 WHERE COL1 LIKE ‘ABC\\%’; 建议在Hive中用正则实现： SELECT * FROM T001 WHERE COL1 REGEXP ‘^ABC\\’;

set hive.cli.print.header=true; // 打印列名 set hive.cli.print.row.to.vertical=true; // 开启行转列功能, 前提必须开启打印列名功能 set hive.cli.print.row.to.vertical.num=1; // 设置每行显示的列数

1.  将hive 的metastore用mysql连接储存 2  在/etc/init.d/文件夹中编辑文件hive-thrift   #!/bin/bash # init script for Hive Thrift Interface. # # chkconfig: 2345 90 10 # description: Hive Thrift Interface  # Sourc