解除HUE下载10万行的限制

cdh>kudu数据导入导出 背景 数据可视化系统2.0使用cdh,上线后发现生产环境很多数据对不上; 开发进行了查询修改,需要在测试环境复验,需要把生产环境的kudu数据导出一份,再导入到测试环境进行验证; 1、kudu数据导出 登录服务器cdh集群impala所在服务器,执行以下命令: impala-shell -q "select * from kudu_test.package_statistic 阅读详情

在hue里对查询的数据导出到本地的时候只能下载10万条记录,这个局限性比较大,影响到日常的使用,通过查看源代码可以看到hue是对单元格以及列数量进行了限制:1000万单元格/100列=10万行数据

到hue的hue server实例机器上找到源代码:

vim /opt/cloudera/parcels/CDH/lib/hue/apps/beeswax/src/beeswax/conf.py

# Deprecated
DOWNLOAD_CELL_LIMIT = Config(
  key='download_cell_limit',
  default=10000000,    #这里限制了1000万单元格上限
  type=int,
  help=_t('A limit to the number of cells (rows * columns) that can be downloaded from a query '
          '(e.g. - 10K rows * 1K columns = 10M cells.) '
          'A value of -1 means there will be no limit.'))

def get_deprecated_download_cell_limit(): #此函数使用上面函数的1000万/100=10万行返回
  """Get the old default"""
  return DOWNLOAD_CELL_LIMIT.get() / 100 if DOWNLOAD_CELL_LIMIT.get() > 0 else DOWNLOAD_CELL_LIMIT.get()

DOWNLOAD_ROW_LIMIT = Config(
  key='download_row_limit',
  dynamic_default=get_deprecated_download_cell_limit,  #此参数为行数限制
  type=int,
  help=_t('A limit to the number of rows that can be downloaded from a query before it is truncated. '
          'A value of -1 means there will be no limit.'))

通过help里的提醒可以发现,只要修改default=-1即可同时解除行列的下载限制。

修改之后保存重启hue服务即可解除下载行数限制:

# Deprecated
DOWNLOAD_CELL_LIMIT = Config(
  key='download_cell_limit',
  #default=10000000,
  default=-1,  #改这里即可
  type=int,
  help=_t('A limit to the number of cells (rows * columns) that can be downloaded from a query '
          '(e.g. - 10K rows * 1K columns = 10M cells.) '
          'A value of -1 means there will be no limit.'))

def get_deprecated_download_cell_limit():
  """Get the old default"""
  return DOWNLOAD_CELL_LIMIT.get() / 100 if DOWNLOAD_CELL_LIMIT.get() > 0 else DOWNLOAD_CELL_LIMIT.get()

DOWNLOAD_ROW_LIMIT = Config(
  key='download_row_limit',
  dynamic_default=get_deprecated_download_cell_limit,
  type=int,
  help=_t('A limit to the number of rows that can be downloaded from a query before it is truncated. '
          'A value of -1 means there will be no limit.'))

 

多角度模板匹配的模板创建技巧 基于形状的模板匹配多角度创建技巧 阅读详情

相关推荐

Hue解决下载10万行的限制

2019独角兽企业重金招聘Python工程师标准>>> ...

weixin_33726313的博客 629

硅纪元应用测评 | AI搜索引擎大比拼:360AI搜索、秘塔搜索、GenSpark AI和天工AI对比评测

搜索引擎输出的每个段落都有对应的出处,如果有错误,也是信息源的问题,从普通用户的角度来看,这与AI搜索的产品关系不大,能让用户对AI搜索的服务和得到的信息有一个隔离。同时,提供更多的定制选项,允许用户根据自己的偏好调整搜索结果的权重和排序,将使得搜索体验更加个性化和满足用户的具体需求。此外,大部分搜索工具还提供了一个无广告的搜索环境(360AI搜索部分内容会有广告),极大地提升了用户的搜索体验。AI搜索的本质依然是搜索,但它通过AI的逻辑分析和语言重新组织,使用户能够快速得到想要的信息。

guijiyuantech的博客 2013

hue启动遇到问题

Traceback (most recent call last):   File "/root/training/hue/build/env/bin/hue", line 9, in <module>     load_entry_point('desktop==4.0.0', 'console_scripts', 'hue')()   File "/root/training/hu...

qq_27914421的博客 2700

Hi3516CV610开发板实战:从零搭建智能视觉监控系统

本文详细介绍了从零开始基于Hi3516CV610开发板搭建智能视觉监控系统的完整实战流程。涵盖硬件连接、系统配置、摄像头集成、网络设置、固件烧录到视频处理与智能分析功能开发,提供了丰富的实践经验和调试技巧,帮助开发者快速掌握嵌入式视觉系统开发。

vvv99的博客 561

LEAP模型—低排放分析平台

LEAP 正在迅速成为进行综合资源规划、温室气体 (GHG) 缓解评估和低排放发展战略 (LEDS) 的国家的事实标准,尤其是在发展中国家,许多国家也选择使用 LEAP 作为其承诺的一部分向联合国气候变化框架公约(UNFCCC)报告。至少有 32 个国家使用 LEAP 来创建能源和排放情景,这些情景是其国家自主气候变化贡献计划 (INDC) 的基础:具有历史意义的巴黎气候协议的基础旨在表明各国开始经济脱碳的意图和投资于气候适应力。

weixin_54697010的博客 3280

Hue源码解析之-数据预览逻辑实现

从hue导入器进入 页面调用/indexer/api/indexer//indexer/api/indexer/guess_field_types接口,根据页面选择参数,传递format到后端, { ... "format": { "type": "csv", "fieldSeparator": ",", "recordSeparator": "\\n", "quoteChar": "\"", "hasHeader": true, "status": 0 }, ... }

Shine_mmm 1040

XYC Q8开源掌机刷第三方系统教程

分区结束后直接将各种游戏文件放入OD分区的Roms文件夹下

m0_60352504的博客 4569

hue解决下载10万行的限制

一、问题描述:通过HUE impala/hive查询后,导出查询结果集最多只有10万行   二、问题原因:Hue默认配置原因,默认现在行数为10万行,列数为100列 注意:应该以hue管理员账户登录,否则看不到配置   三、解决方案:修改hue所在机器的默认配置后,重启hue即可 [root@cdh-001 ~]# find / -name beeswax     查找配置文件所在...

微步的博客 6570

微信小程序视频内容服务类目审核不过?绕过审核的两种思路!

虽然不推荐绕过官方审核,但在实际项目中,总有一些特殊情况:比如,最近开发的小程序涉及视频播放,提交审核时,被官方要求补充“教育服务 - 在线视频课程”类目。但我们的内容只是车辆使用介绍,并非教育课程,无法提供相应资质。该怎么办?很多开发者发现,小程序开发不是最难的,审核才是最难的。 微信为了规避法律风险,要求某些功能必须提供资质。例如:然而,并不是所有公司都能轻松申请到这些资质,甚至有些资质根本不适用于我们的业务,导致审核卡住,无法上线。就像我遇到的这个问题,官方要求我们补充“在线视频课程”类目,但实际业务

代码简单说 Vue、JAVA、PHP、Node.js 熟练运用,接口、架构、性能全搞定。 3244

音视频开发基础(1):模拟视频技术简介

模拟视频技术是指用模拟技术对动态影像进行捕捉、记来、处理、存储、传输、复现的技术.模拟视频技术的发明、发展与模拟电视系统的发展密不可分.下面将通过模拟电视系统来介绍模拟视频技术中的基本概念. 首先,人的视觉系统的特征为电视等視稿系铳的发明、发展提供了理论依据.光线通过角膜、腫孔、晶状体的折射光线.透过玻璃体到达视网展.视网膜上分布着光感受器,光感受器在光线的剌激下...

琅嬛福地 1493

hue的历史查询记录querys乱码问题解决

hue的历史查询记录querys乱码问题解决: master1中配置文件/home/hadoop/.versions/hue-3.10.0/desktop/conf/hue.ini 可以看到连接的是mysql数据库 [[database]] #options='{"timeout": 60}' host=localhost port=3306 engine=mysql ...

reblue520的专栏 2083

【React】1、React入门与概览(JSX语法)

React入门 文章目录React入门一、React全家桶1. React是什么?2. 谁开发的?3. 为什么要学?4. React的特点5. 学习React之前要掌握的JavaScript基础知识二、React 概览组件JSXVirtual DOM关于虚拟DOM:Data Flow三、React基本使用相关js库四、React JSXJSX 语法规则五、模块与组件、模块化与组件化的理解5.1 模块5.2 组件5.4 模块化5.5 组件化 一、React全家桶 React基础 React-Router(R

Coding and studying 1379

解决问题:解除HUE下载10万行的限制

也可以更改为-1(表示不限制)

qq_43688472的博客 393

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

【解决hue只能导出10万的限制】

1.这里账户查一下。 2.修改配置文件 find / -name beeswax 选择这个带src的。 vim 该文件 DOWNLOAD_CELL_LIMIT = Config( key='download_cell_limit', # 表格限制的大小,行数 * 列数。加一个0即可,修改后可下载的行数变成100万 default=1...

大壮的博客 2858

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

[1220]hue数据导出

参考:https://www.cnblogs.com/hongfeng2019/p/11579504.html。4、选择每个人对应的文件夹,没有自己名称的可以创建一个。8、按照下面截图提示,就可以将文件下载到本地了。2、 执行完成后,点击下面导出。1、执行要下载的sql语句。6、右面是导出执行时的界面。7、选择已经执行的文件。

周小董 1403

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

取消Hue下載限制

场景: 当在Hue上通过impala/hive查询后,下载数据时会限制10万行的数据量。最多只能下载10万行的数据,以下方法可以增加行数。 解决方法: 修改hue所在机器,找寻的{cloudera安装位置}/lib/hue/apps/beeswax/src/beeswax/conf.py修改默认配置后,重启hue即可。 #执行以下命令找到cloudera安装地方 find / -name beeswax #cloudera安装地方 /opt/cloudera/parcels/CDH-7.0.0/lib

qq_39841823的博客 558

CDH5 hue数据导出10万条限制

本集群采用CDH 5.13版本,修改hue下载10万条限制为: hue_safety_valve.ini 的 Hue 服务高级配置代码段(安全阀)填写如下: [beeswax] download_row_limit=1000000 保存重启即可

xuewen_1008的博客 1305

hive调用方式及数据导出

1.创建hive 表 (1) 方法一:使用建表语句创建,可以指定分隔符 use test_db; drop table if exists tablename; CREATE TABLE tablename ( id string ,name string ,age int ) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS INPUTFORMAT 'org.apache.hadoop.mapred.TextInp

MusicDancing的博客 3473

cm 怎么限制hue数据下载_hue解决下载的excel表格为10万行的限制

链接课程:http://edu..com/course/15824.html解决方案:CDH的版本为:5.14.0vim /opt/cloudera/parcels/CDH/lib/hue/apps/beeswax/src/beeswax/conf.pyDOWNLOAD_CELL_LIMIT = Config(key='download_cell_limit',# 表格限制的大小,行数 * 列数d...

weixin_35436969的博客 226

CDH以及原生态HUE下载条数限制修改(默认10w行)

1.CDH版 需要到CDH的Cloudera Manager中进入HUE配置 hue_safety_valve.ini 的 Hue 服务高级配置代码段(安全阀)配置项 然后加入 [beeswax] download_row_limit=500 就可以限制下载条数到500条了,设置成-1则不对下载条数限制。回到CDH界面会提示过期配置需要重启,然后重启即可生效 2. 原生态版本 然后重...

qq_34864753的博客 1343

【CDH】Hue数据导入导出记录

关于在使用CDH集群做数据清洗和处理分析时,数据如何导入和导出做简单记录

肖御的博客 1520

导出Excel超过65535条限制解决方案

导出Excel超过65535条限制解决方案

10年职场两茫茫,35岁凄凉奈若何 4893

cm 怎么限制hue数据下载_Hue解决下载10万行的限制

一、问题描述通过HUE impala/hive查询后,导出查询结果集最多只有10万行二、问题原因Hue默认配置原因,默认现在行数为10万行,列数为100列注意:应该以hue管理员账户登录,否则看不到配置 三、解决方案修改hue所在机器的默认配置后,重启hue即可具体操作:查找配置文件所在路径,选择src那个路径 vi /opt/cloudera/parcels/CDH-5.12.0-1.cdh5....

weixin_31147757的博客 465

CDH环境中如何修改HUE导出文件限制

今天开放了HUE账户给了第三方研发人员,用于查看我们服务器hive上部分数据。 但是对方反应,在下载查询出来的结果数据时,每次下载下来的文件都只有100万行,问我们是不是哪里做了限制。 起初我们以为是不是excel文件本身的行数限制问题,因为导出的excel文件为xlsx格式的,而excel07以上版本最大的行列分别是1,048,576和16,384 但是导出的结果集正好是100万,而非1,...

一个喜欢编程的人。 4353

hue解决下载的excel表格为10万行的限制

解决方案: CDH的版本为:5.14.0 vim /opt/cloudera/parcels/CDH/lib/hue/apps/beeswax/src/beeswax DOWNLOAD_CELL_LIMIT = Config( key='download_cell_limit', # 表格限制的大小,行数 * 列数 default=10000000, type=int, h...

3649
上一篇: hive全库数据及表结构的备份与恢复
下一篇: impala&hive大数据平台数据血缘与数据地图(一)-解析impala与hive的血缘日志
王义凯_Rick
王义凯_Rick 领域专家: 大数据技术领域 领域专家: 大数据技术领域
博客等级 码龄14年 858粉丝 162原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

王义凯_Rick

遇见即是缘,路过就给个评论吧~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值