用tunnel查询阿里云

阿里云对于超过1万行的数据查询有限制,仅返回前10000行。要获取全部数据,需利用Tunnel SDK进行下载。本文介绍了关键步骤,包括如何读取Tunnel中的record,以实现对MaxCompute数据的完整下载。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

在阿里云里,当查询的数据量大于1万行时,会作限制,只返回10000行数据,等于sql加了“limit 10000"这个条件,需要用官方提供的tunnel+MaxCompute下载再read实现;

tunnel具体实现方法见:如何使用Tunnel SDK上传/下载MaxCompute复杂类型数据_阿里云技术的博客-优快云博客

这里讲下最关关键的点:读取tunnel中的record,把上文中这段替换掉:

具体实现如下:

/**
     * read并返回结果。
     */
    public static List<Record> getOdpsResult(String sql) throws Exception {

        Instance i;
        List<Record> records = null;
        StringBuilder sb = new StringBuilder("Create Table ").append(tableName)
                .append(" lifecycle 1 as ").append(sql);
      
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值