fairseq | 创建batch iterator部分逻辑源码阅读

最新推荐文章于 2023-07-04 23:03:01 发布

原创

最新推荐文章于 2023-07-04 23:03:01 发布 · 1.1k 阅读

1 ·

CC 4.0 BY-SA版权

使用的fairseq version：1.0
根据dataset创建batch iterator的代码位于：tasks/fairseq_task.py:FairseqTask.get_batch_iterator, 代码逻辑和添加的代码注释如下

    def get_batch_iterator(
        self,
        dataset,
        max_tokens=None,
        max_sentences=None,
        max_positions=None,
        ignore_invalid_inputs=False,
        required_batch_size_multiple=1,
        seed=1,
        num_shards=1,
        shard_id=0,
        num_workers=0,
        epoch=1,
        data_buffer_size=0,
        disable_iterator_cache