只加载huggingface datasets数据集的前10条并打印

hehui0921

已于 2024-02-27 10:39:00 修改

阅读量367

点赞数 1

分类专栏： huggingface 文章标签： java 前端服务器

于 2024-02-27 09:12:42 首次发布

本文链接：https://blog.youkuaiyun.com/oHeHui1/article/details/136313500

版权

文章展示了如何使用HuggingFacedatasets库加载不同类型的预训练数据集，如电影评论（RottenTomatoes）、聊天对话提示（AwesomeChatGPTPrompts）和SQuAD问答数据。代码实例演示了获取文本和上下文数据的过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

以下可以正常运行

from datasets import load_dataset
data = load_dataset("rotten_tomatoes", split="train[:10]")
print(data)
for item in data:
    print(item["text"]&