CDH环境中如何修改HUE导出文件限制

本文介绍了解决HUE中第三方用户下载数据时遇到的行数限制问题,详细探讨了如何定位到源码配置文件并最终通过修改源码路径下的conf.py文件解决了问题。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

今天开放了HUE账户给了第三方研发人员,用于查看我们服务器hive上部分数据。

但是对方反应,在下载查询出来的结果数据时,每次下载下来的文件都只有100万行,问我们是不是哪里做了限制。
起初我们以为是不是excel文件本身的行数限制问题,因为导出的excel文件为xlsx格式的,而excel07以上版本最大的行列分别是1,048,57616,384

但是导出的结果集正好是100万,而非1,048,576,所以我们认为并不是excel文件导致的。
在网上搜索也找不到原因,于是只好下载源码查看,发现在源码路径../apps/beeswax/src/beeswax下有一个conf.py文件,里面有个配置叫做download_row_limit,其配置的值正好是100万:
配置截图
从英文解释中也能看出,这就是限制下载结果集条数的配置,在CDH官网中也能得到印证:
这里写图片描述

但这是源码中的配置文件,对应的在CDH环境中如何修改呢?

官网说可以通过修改hue.ini文件生效,于是我找到HUE Server 服务器下的/etc/hue/conf/目录,修改了下面的hue.ini文件,然后查看hue的配置页面,发现并没有生效。

我索性在CDH的安装目录下寻找源码对应的配置文件,在/opt/cloudera/parcels/CDH/lib/hue/apps/beeswax/src/beeswax下找到了和源码一样的conf.py,于是抱着试一试的心态修改了其中的配置,然后重启了HUE,果然就生效了:
这里写图片描述

可以看到,我修改的其实是默认值,不知道为什么不能通过修改配置值使其生效。

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

廖某

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值