mysql 数据导出csv到mongo

最新推荐文章于 2021-02-02 12:29:04 发布

原创最新推荐文章于 2021-02-02 12:29:04 发布 · 283 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#mongo #mongoimport

数据库专栏收录该内容

28 篇文章

订阅专栏

本文详细介绍了如何将CSV数据导入到MongoDB数据库中。首先，从MySQL导出CSV数据，然后使用mongoimport命令进行导入。文章提供了具体参数说明及实例，如指定数据库IP、用户名、密码、数据库名、集合名等。

一、从myql中导出csv数据；

二、利用mongo的mongoimport来进行导入（支持csv和json格式的文件）

1.概述

使用mongoimport命令可以把指定格式的文件导入到指定集合中。可导入JSON数据以及CSV数据

2.参数说明

说明：

-h：数据库宿主机IP
-u：数据库用户名
-p：数据库密码
-d：数据库名字
-c：集合名字
-f：指明导入的列

以下的例子是csv（--type csv --headerline）：

mongoimport --host 127.0.0.1 --port 27017--username 'username' --password 'password' --type csv --headerline --collection p_filed --db targetDb --file /opt/json/xxx.csv

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

goodjob110

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Docker MongoDB中的数据导出带过滤条件的excel CSV 文件

weixin_39929640的博客

10-29

405

进入容器 docker exec -it mongo /bin/sh 导出csv mongoexport -u root -p root -d iot -c sensorData --type=csv -f deviceId,id,name,data,unitname,ctime -q ‘{“id”:8022}’ -o /home/iot.csv 导出csv带过滤条件 mongoexport -u root -p root -d iot -c sensorData --type=csv -f deviceI

将mongodb数据迁移到mysql中

李谦的博客

04-04

3713

1. 使用mongoexport导出.csv文件 mongodb自带mongoexport工具，可便捷导出csv、json等格式数据： mongoexport -h 127.0.0.1 -u username -p password -d userInfoDB(数据库名称) -c regInfo(集合名称) -f _id,字段1,字段2 --type=csv -o /tmp/mongoStor...

参与评论您还未登录，请先登录后发表或查看评论

将mysql数据导为csv再导入到mongodb中

c_enhui的专栏

08-27

1665

shell脚本 mysql2mongodb.sh #[root@localhost tmp]# vim mysql2mongo.sh mysql -h127.0.0.1 -uroot -p123456 -P3306 -N -e " SELECT CONCAT(' SELECT ',GROUP_CONCAT( CONCAT('',c.COLUMN_NAME ,'') ORDER BY

mysql表迁移到mongo_如何将MongoDB数据库的数据迁移到MySQL数据库中

weixin_36296983的博客

01-19

204

FAQ v2.0终于上线了，断断续续忙了有2个多月。这个项目是我实践的第一个全栈的项目，从需求(后期有产品经理介入)到架构，再到设计(有征询设计师的意见)、构建(前端、后台、数据库、服务器部署)，也是第一次独立负责一个项目，所以意义很不一般，后面还会写一篇总结的文章。闲言少叙，进入正题：其中有一个自动定时发访问记录列表和反馈问题列表的邮件的功能，本来打算自己写的，不过后来了解到团队有现成的平台可以...

从mongodb导出csv文件并导入mysql

weixin_33739541的博客

03-12

180

2019独角兽企业重金招聘Python工程师标准>>> ...

mysql 导出数据到mongodb

康师父Blog

03-06

668

一、mysql 导出数据select id , name,age from users into outfile '/kangsf.csv' character set gbk fields terminated by ',' optionally enclosed by '"' lines terminated by '\n';二、mongodb 导入数据/usr/local/mongo/b...

将mongodb数据库中的数据转移到MySQL

gpf951101的博客

04-12

2万+

最近在写毕业设计，用到了Mongodb，但是在写SSM的时候，发现还是用MySQL方便，于是就想到了把MongoDB中的数据转移到MySQL中。但是过程中遇到一些问题，故做出此总结。首先，自己想的笨方法，就是从MOngoDB读取然后再写入MySQL，虽然肯定比较费时间，想着大不了就多运行一会，不用管它，但是发现根本不是想的这样。因为MongoDB中一条记录可能有的字段不包括，然后如...

实现数据跨平台迁移：MySQL命令行导出数据到NoSQL数据库，打破数据孤岛

[实现数据跨平台迁移：MySQL命令行导出数据到NoSQL数据库，打破数据孤岛](https://www.fanruan.com/bw/wp-content/uploads/2023/05/%E5%BC%82%E6%9E%84%E6%95%B0%E6%8D%AE%E6%BA%90.png) # 1. 数据迁移概述数据...

了解差异，做出明智选择：MySQL数据导入导出与其他数据库对比

MySQL数据导入导出是将数据从外部源（如文件或其他数据库）导入到MySQL数据库，或将数据从MySQL数据库导出到外部源的过程。它在数据备份、迁移和数据交换中发挥着至关重要的作用。 MySQL提供了多种数据导入导出工具...

自己将项目的mongo 换成mysql 学习.zip

02-24

- 使用MongoDB的导出工具（如`mongoexport`）将数据导出为JSON或CSV格式，然后通过MySQL的导入工具（如`LOAD DATA INFILE`）导入到MySQL中。 - 或者可以编写脚本，逐条读取MongoDB的数据并插入到MySQL中，但这种...

mysql数据转mongodb_将数据库从mysql转换为mongoDb

weixin_42361112的博客

02-02

3820

13 个答案:答案 0 :(得分：48)有没有简单的方法可以将数据库从mysql更改为mongoDB？方法＃1：以CSV格式从MySQL导出，然后使用mongoimport tool。但是，在处理二进制数据的日期方面，这并不总是有效。方法＃2：以您选择的语言编写转移脚本。基本上你编写了一个程序，一次从MySQL读取一个元素，然后将其插入到MongoDB中。方法＃2优于＃1，但仍然不够。MongoD...

MongoDB中的数据导出为csv文件

weixin_46518346的博客

06-10

1396

1、打开命令行，进入我们所安装的mongodb路径下的bin文件夹 2、我们采用bin文件夹下的mongoexport方法进行导出， mongoexport -d myDB -c user -f _id,name,password,adress --csv -o ./user.csv -d 标示数据库 -c 标示数据表 -f 需要提取的field用逗号分隔 -o 输出路径打开csv文件如果出现乱码，就用记事本打开，再另存一定要改编码！！！ ...

MongoDB 数据导出mongoexport(可导出为txt或csv)

最新发布

03-28

### 从 MySQL 导出数据并导入到 MongoDB 的方法 #### 方法概述为了实现从 MySQL 到 MongoDB 的数据迁移，可以采用多种方式完成这一过程。以下是几种常见的解决方案及其具体实施步骤。 --- #### 方案一：通过脚本导出 JSON 并使用 `mongoimport` 导入此方案适用于中小型数据集，能够灵活处理字段映射和转换需求。 1. **从 MySQL 中导出数据** 可以编写 SQL 查询语句并将查询结果保存为 CSV 或 JSON 文件。例如： ```sql SELECT * FROM your_table INTO OUTFILE '/tmp/data.json' FIELDS TERMINATED BY ',' ENCLOSED BY '"' LINES TERMINATED BY '\n'; ``` 2. **将导出的文件转化为 JSON 格式** 如果导出的是 CSV 文件，则需要将其转换为 JSON 格式以便于后续导入。可以通过 Python 脚本来完成该任务： ```python import csv import json with open('data.csv', 'r') as f_input, open('data.json', 'w') as f_output: reader = csv.DictReader(f_input) data = list(reader) json.dump(data, f_output) ``` 3. **使用 `mongoimport` 将 JSON 文件导入 MongoDB** 安装好 MongoDB 后，启动服务并通过命令行工具执行如下指令： ```bash mongoimport --db target_db --collection target_collection --file /path/to/data.json --jsonArray ``` 这里的参数说明如下： - `--db`: 指定目标数据库名称。 - `--collection`: 指定目标集合名称。 - `--file`: 输入文件路径。 - `--jsonArray`: 表明输入是一个数组形式的 JSON 文档[^3]。 --- #### 方案二：利用编程语言直接读取 MySQL 数据并写入 MongoDB 对于更复杂的场景或者超大规模的数据量，可以直接借助编程语言（如 Python、Java 等）来完成整个流程。 ##### 示例代码 (Python 版本) ```python from pymongo import MongoClient import pymysql # 配置 MySQL 和 MongoDB 连接信息 mysql_conn = pymysql.connect( host='localhost', user='root', password='password', database='source_database' ) mongo_client = MongoClient('mongodb://localhost:27017/') mongo_db = mongo_client['target_database'] mongo_collection = mongo_db['target_collection'] try: cursor = mysql_conn.cursor() query = "SELECT id, name, age FROM source_table" cursor.execute(query) rows = cursor.fetchall() # 获取所有记录 documents = [] for row in rows: document = { "_id": str(row[0]), # _id 字段需唯一 "name": row[1], "age": row[2] } documents.append(document) if documents: result = mongo_collection.insert_many(documents) # 批量插入文档 finally: mysql_conn.close() print("Migration completed successfully.") ``` 上述代码实现了从 MySQL 提取数据并批量插入到 MongoDB 的功能[^4]。 --- #### 方案三：第三方工具辅助迁移如果不想手动开发代码，也可以尝试一些成熟的开源或商业工具简化工作流： - **Talend Data Integration**: 支持跨平台的数据集成与转换操作，提供图形化界面降低学习成本。 - **Hevo Data**: 自动化的 ETL 解决方案之一，支持连接多个源端系统同步至云端存储。 - **Stitch Data**: 类似 Hevo，专注于实时增量复制能力提升效率。这些工具有助于减少人为干预带来的错误风险同时提高整体性能表现[^1]。 --- ### 注意事项在实际项目中需要注意以下几点： - 数据模型差异调整：关系型数据库通常基于表格结构设计而 NoSQL 更倾向于嵌套对象表示法因此可能涉及重构逻辑； - 主键冲突解决机制设定合理策略避免重复覆盖现象发生； - 性能优化措施比如分批加载而非一次性全部载入内存当中以免造成资源耗尽等问题出现； ---