用tunnel查询阿里云

zerovpp

于 2022-10-11 17:59:09 发布

阅读量370

点赞数

CC 4.0 BY-SA版权

分类专栏： java 日省文章标签：阿里云 tunnel record 下载查询

本文链接：https://blog.youkuaiyun.com/zerovpp/article/details/127268451

阿里云对于超过1万行的数据查询有限制，仅返回前10000行。要获取全部数据，需利用Tunnel SDK进行下载。本文介绍了关键步骤，包括如何读取Tunnel中的record，以实现对MaxCompute数据的完整下载。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在阿里云里，当查询的数据量大于1万行时，会作限制，只返回10000行数据，等于sql加了“limit 10000"这个条件，需要用官方提供的tunnel+MaxCompute下载再read实现；

tunnel具体实现方法见：如何使用Tunnel SDK上传/下载MaxCompute复杂类型数据_阿里云技术的博客-优快云博客

这里讲下最关关键的点：读取tunnel中的record，把上文中这段替换掉：

具体实现如下：

/**
     * read并返回结果。
     */
    public static List<Record> getOdpsResult(String sql) throws Exception {

        Instance i;
        List<Record> records = null;
        StringBuilder sb = new StringBuilder("Create Table ").append(tableName)
                .append(" lifecycle 1 as ").append(sql);

最低0.47元/天解锁文章