Kaggle数据条目爬取存储到mongodb

最新推荐文章于 2024-03-28 17:46:54 发布

「已注销」

最新推荐文章于 2024-03-28 17:46:54 发布

阅读量478

点赞数

分类专栏： python

本文链接：https://blog.youkuaiyun.com/char1024/article/details/78072214

版权

本文记录了如何使用Python爬虫技术从Kaggle平台抓取数据条目，并将这些数据高效地存储到MongoDB数据库中，以便后续分析和处理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

源码

简单记录下。

import json, requests


def conn_mongo(x):
    from pymongo import MongoClient
    mc = MongoClient('127.0.0.1', 27017)
    db = mc.kaggle_set
    collection = db.kaggle_dataset
    collection.insert_one(x)

if __name__ == "__main__":

    def get_url(x):
        return "https://www.kaggle.c