tf.dynamic_partition()用法

本文详细解析了TensorFlow中tf.dynamic_partition函数的工作原理,该函数根据分区索引将输入数据划分到多个输出张量中。文章通过具体示例展示了如何使用此函数进行数据分割,并解释了输出张量形状的计算方式。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

转自TensorFlow官网

tf.dynamic_partition(
    data,
    partitions,
    num_partitions,
    name=None
)

Partitions data into num_partitions tensors using indices from partitions.

使用分区中的索引将数据分区到num_partitions张量中。 

For each index tuple js of size partitions.ndim, the slice data[js, ...] becomes part of outputs[partitions[js]]. The slices with partitions[js] = i are placed in outputs[i] in lexicographic order of js, and the first dimension of outputs[i] is the number of entries in partitionsequal to i. In detail,

    outputs[i].shape = [sum(partitions == i)] + data.shape[partitions.ndim:]

    outputs[i] = pack([data[js, ...] for js if partitions[js] == i])

For example: 

    # Scalar partitions.
    partitions = 1
    num_partitions = 2
    data = [10, 20]
    outputs[0] = []  # Empty with shape [0, 2]
    outputs[1] = [[10, 20]]

    # Vector partitions.
    partitions = [0, 0, 1, 1, 0]
    num_partitions = 2
    data = [10, 20, 30, 40, 50]
    outputs[0] = [10, 20, 50]
    outputs[1] = [30, 40]

 

<think>我们正在讨论Doris的动态分区功能,特别是关于`dynamic_partition.create_history_partition`参数设置为`false`的作用和配置方法。 根据引用[1]和引用[3](Apache Doris动态分区的文档): - `dynamic_partition.create_history_partition`参数用于控制是否创建历史分区。 - 当该参数设置为`true`时,Doris会根据`dynamic_partition.start`和`dynamic_partition.history_partition_num`来创建历史分区。 - 当设置为`false`时,则不会自动创建历史分区,只会根据动态分区规则创建未来的分区(例如,如果按天分区,则只会创建明天、后天等分区,而不会创建过去的分区)。 作用: 1. 避免创建过多的历史分区:如果业务不需要对过去的数据进行分区管理,可以关闭历史分区的创建,减少元数据量和管理开销。 2. 节省存储资源:不创建历史分区,自然就不会为历史分区分配存储空间(除非已经有数据写入,但动态分区创建是在后台自动进行的,如果关闭则不会自动创建)。 3. 控制分区范围:只关注未来分区的自动创建,适用于只需要近期分区的场景。 配置方法: 该参数是表属性,可以在建表时指定,也可以通过ALTER TABLE语句修改。 示例1:建表时指定 ```sql CREATE TABLE example_db.dynamic_partition_table ( id BIGINT, time DATETIME, info VARCHAR(50) ) ENGINE=OLAP DUPLICATE KEY(id, time) PARTITION BY RANGE(time)() DISTRIBUTED BY HASH(id) BUCKETS 10 PROPERTIES ( "dynamic_partition.enable" = "true", "dynamic_partition.time_unit" = "DAY", "dynamic_partition.start" = "-3", -- 注意:即使设置了start,但如果create_history_partition=false,也不会创建历史分区 "dynamic_partition.end" = "3", "dynamic_partition.prefix" = "p", "dynamic_partition.buckets" = "10", "dynamic_partition.create_history_partition" = "false" -- 关键配置 ); ``` 示例2:通过ALTER TABLE修改已有表的配置 ```sql ALTER TABLE example_db.dynamic_partition_table SET ( "dynamic_partition.create_history_partition" = "false" ); ``` 注意事项(参考引用[2]): 1. 参数`dynamic_partition.start`和`dynamic_partition.history_partition_num`在历史分区创建中起到作用,但当`create_history_partition`为`false`时,它们不会用于创建历史分区。 2. 引用[2]中提到,设置`dynamic_partition.start`过小(例如负数绝对值很大)可能会导致动态分区线程异常,因此建议即使不需要历史分区,也要将`start`设置为一个合理的值(比如0),或者直接使用`history_partition_num`并设置为0(但注意,动态分区的配置中,`start`和`history_partition_num`功能相似,推荐只使用其中一个,避免冲突)。 3. 如果同时配置了`dynamic_partition.history_partition_num`,且`create_history_partition`为`false`,则历史分区不会创建,但未来的分区会按照`dynamic_partition.end`来创建。 总结:将`dynamic_partition.create_history_partition`设置为`false`,可以避免Doris自动创建历史分区,只创建未来分区。配置方法是在表属性中设置该参数为`false`。 相关问题: 1. 如何验证Doris动态分区配置是否生效? 2. 动态分区创建失败的可能原因有哪些? 3. 如何调整动态分区参数以优化分区管理?</think>### Doris 动态分区参数 `create_history_partition` 详解 #### 🔧 参数作用:`dynamic_partition.create_history_partition = false` 当设置为 `false` 时,Doris **不会自动创建历史分区**,其核心作用包括: 1. **禁用历史分区创建** 系统仅根据 `dynamic_partition.time_unit` 和 `dynamic_partition.end` 创建**未来时间段的分区**,不会回溯创建过去的分区[^1][^3]。 2. **节省存储资源** 避免为不再写入的历史数据分配存储空间,减少元数据管理开销。 3. **防止配置冲突** 当同时设置 `dynamic_partition.start`(历史偏移量)和 `dynamic_partition.history_partition_num`(历史分区数量)时,关闭此参数可避免因配置不当导致的分区创建异常[^2]。 --- #### ⚙️ 配置方法(两种方式) ##### 方式1:建表时直接配置 ```sql CREATE TABLE user_behavior ( user_id BIGINT, event_time DATETIME, event_type VARCHAR(20) ) ENGINE=OLAP DUPLICATE KEY(user_id, event_time) PARTITION BY RANGE(event_time)() DISTRIBUTED BY HASH(user_id) PROPERTIES ( "dynamic_partition.enable" = "true", "dynamic_partition.time_unit" = "DAY", -- 按天分区 "dynamic_partition.end" = "3", -- 提前创建未来3天的分区 "dynamic_partition.prefix" = "p_", -- 分区名前缀 "dynamic_partition.create_history_partition" = "false" -- 关键配置 ); ``` ##### 方式2:修改已有表配置 ```sql ALTER TABLE user_behavior SET ( "dynamic_partition.create_history_partition" = "false" ); ``` --- #### ⚠️ 注意事项 1. **与 `history_partition_num` 的关联** 当 `create_history_partition=false` 时: - 参数 `dynamic_partition.history_partition_num` 的设置**无效**[^1] - 参数 `dynamic_partition.start` 的负值偏移量**不会生效**[^2] 2. **必须保留的配置** ```properties "dynamic_partition.enable" = "true" # 动态分区总开关必须开启 "dynamic_partition.end" = "N" # 需明确指定未来分区创建范围 ``` 3. **分区维护** 关闭历史分区创建后: - 需要手动创建历史分区: ```sql ALTER TABLE user_behavior ADD PARTITION p_20240101 VALUES [("2024-01-01"), ("2024-01-02")); ``` - 或通过定时任务补充历史分区 --- #### 💡 典型使用场景 1. **冷热数据分离** 热数据使用动态分区(未来分区),历史冷数据存放到其他存储介质。 2. **明确分区边界** 当业务只需要精确管理未来时间段分区(如预订系统、期货交易)。 3. **避免历史分区膨胀** 防止因 `history_partition_num` 设置过大导致元数据过多[^2]。 > **配置验证命令**: > ```sql > SHOW CREATE TABLE user_behavior; -- 检查动态分区参数 > SHOW PARTITIONS FROM user_behavior; -- 确认分区创建范围 > ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值