- 博客(11)
- 收藏
- 关注
RSS订阅原创 ES快照创建共享仓库
/ indices 列表中索引不存在时是否失败，默认false失败。// 是否允许部分快照，默认false 当部分分片存储失败时快照失败。// indices 列表中索引不存在时是否失败，默认false失败。// 是否允许部分快照，默认false 当部分分片存储失败时快照失败。// 快照中是否包含集群状态，默认true 包含。// 快照中是否包含集群状态，默认true 包含。//是否恢复索引所关联的索引别名，默认true。
2025-12-21 11:56:08
824
原创 Hive on Hbase 映射问题
Hive On Hbase 映射时 map个数为对应分区数，且map端会把Hbase所有的数据作为input，如果未在转内表时使用过率条件则input数据量与output数据量一致，结合YARN分配的container资源仅封装了内存和CPU并不能限制带宽导致数据流量告警。流量大小由map数量 * 每个map带宽决定，在无法限制map的带宽使只能通过减少map数据量这变量来减少网络或机架间瞬时数据传输的大小。Hive On Tez 与传统的Hive On MR 限制map数据量的方式有所不同。
2025-02-23 10:28:39
173
1原创 使用hbase shell 常用的命令可解决的问题
我们在使用hbase shell 查看数据时经常会为hbase中存放的double、string等类型转为16进制而烦恼，也会为多字段过滤而烦恼今天你就可以在文章中找到这些问题的解决方法。
2022-10-05 18:42:40
1541
原创 CDP平台各组件的版本
机缘cloudera与readheat合并后停止CDH平台的维护更新，推出CDP版本。公司升级过程中遇到的一些问题在这里纪录一下。收获cdp升级后各组件对应的版本信息组件名称 CDP7.17Apache Hadoop 3.1.1.1.1.70-551Apache Hbase 2.2.3.7.1.7.0-551Apache Hive 3.1.3000.7.77-551Hue 4.5.0Apache Impala 3.4.0Apache Kudu 1.
2022-05-24 21:46:10
2296
原创 hive sql 遇到 input path does not exists 问题
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言总结前言Hive执行过程中遇到input path does not exists如下图图1 ：为执行HQL时的报错。图2：为执行show partitions 后查看到meta中的分区。图3：为查看Hive外表的hdfs文件存储通过 hdfs dfs -ls ‘hive location’查看。总结Hive执行过程中遇到input path does not exists的错误是因为hive的元数据库.
2022-05-23 22:29:31
3035
原创 使用hive -f 向sql文件中传变量
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、--hivevar 参数的使用。二、使用步骤1.首先写一个sql文件2.读入数据总结前言提示：这里可以添加本文要记录的大概内容：在我们平时的HQL开发中我们经常会在sql中使用一些变量如日期的分区字段等，当我们在hive的beeline窗口执行的时候还需要去替换变量，这时我们可以使用hive中的–hivevar参数定义HQL中的变量。提示：以下是本篇文章正文内容，下面案例可供参考一、–hivevar 参数的使.
2022-05-22 21:19:59
1070
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人