hive
关注
分享
扫一扫
CarlosXu14
日常分享代码心得，勿吐槽
展开
-
配置Tez引擎常见错误
1、解决：配置tez-site.xml的文件中在文件头之前不能有空格2、运行Tez时检查到用过多内存而被NodeManager杀死进程问题：这种问题是从机上运行的Container试图使用过多的内存，而被NodeManager kill掉了。有时候重新再启动一次就能用，但还是进行配置一下比较好。方案一：或者是关掉虚拟内存检查。我们选这个，修改yarn-site.xml<prop...原创 2019-10-12 14:29:25 · 874 阅读 · 0 评论 -
单用户模式hive的安装以及hive与Hadoop的联系
hive安装：将hive文件拷贝到linux中，解压；配置环境变量：export JAVA_HOME=/usr/java/jdk1.7.0_67export HADOOP_HOME=/opt/sxt/hadoop-2.6.5export ZOOKEEPER_HOME=/opt/sxt/zookeeper-3.4.6export HIVE_HOME=/root/hiveexport P...原创 2019-09-20 21:50:22 · 202 阅读 · 0 评论 -
hive建表，分区,数据操作
1,小明1,lol-book-movie,beijing:shangxuetang-shanghai:pudong2,小明2,lol-book-movie,beijing:shangxuetang-shanghai:pudong3,小明3,lol-book-movie,beijing:shangxuetang-shanghai:pudong4,小明4,lol-book-movie,beiji...原创 2019-09-22 15:36:20 · 299 阅读 · 0 评论 -
hive优化方案
Hive 优化核心思想：把Hive SQL 当做Mapreduce程序去优化以下SQL不会转为Mapreduce来执行select仅查询本表字段where仅对本表字段做条件过滤其实本质上还是转化为Mapreduce来执行的，只不过默认设置了抓取策略：抓取策略Set hive.fetch.task.conversion=none/more;Explain 显示执行计划EXPLAI...原创 2019-09-22 20:57:24 · 234 阅读 · 0 评论 -
hive分桶
hive 分桶分桶表是对列值取哈希值的方式，将不同数据放到不同文件中存储。对于hive中每一个表、分区都可以进一步进行分桶。由列的哈希值除以桶的个数来决定每条数据划分在哪个桶中。适用场景：数据抽样（ sampling ）开启支持分桶set hive.enforce.bucketing=true;默认：false；设置为true之后，mr运行时会根据bucket的个数自动分配redu...原创 2019-09-22 20:59:45 · 216 阅读 · 0 评论 -
hive运行方式，权限管理
Hive运行方式：命令行方式cli：控制台模式脚本运行方式（实际生产环境中用最多）JDBC方式：hiveserver2web GUI接口 （hwi、hue等）Hive在CLI模式中与hdfs交互执行执行dfs命令例：dfs –ls /与Linux交互！开头例： !pwdHive脚本运行方式：hive -e “” 直接执行引号中的语句,可以写多条，用分号分隔hive ...原创 2019-09-22 21:15:54 · 206 阅读 · 0 评论