python将mongodb数据copy到mysql

最新推荐文章于 2024-07-22 02:50:29 发布

原创

最新推荐文章于 2024-07-22 02:50:29 发布 · 643 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#Python

本文介绍如何使用Python脚本将Scrapy爬取并存储在MongoDB中的数据迁移到Django项目的MySQL数据库。通过编写的小脚本，实现了数据的无缝转移。

因为平时用scrapy爬的数据都是写在mongodb,而django用的是mysql, 需要将mongodb数据copy到mysql,就写了下面一个小脚本.代码如下:

import pymysql
import pymongo
'''将数据由mongo 导入 mysql'''

class PyMongo(object):
	'''创建mongodb类,提供查询和插入工作'''
	
	def __init__(self, database):
		'''注册登陆mongodb'''
		client = pymongo.MongoClient(host='localhost', port=27017)
		self.db = client[database]

	def getlist(self,collection,title):
		'''从mongodb中查询提取数据,返回数据列表'''
		coll = self.db[collection]
		result = coll.find({'title':title},{'name':1,'src':1,})#.distinct('src')#'picstore':1})
		return result

	def insert(self, collection,**kw):
		'''向mongodbcollection里插入数据'''
		coll = self.db[collection]

		data1 = {
			'id': '20170101',
			'name': 'Jordan',
			'age': 20,
			'gender': 'male'
			}
		# data2 = {
		# 	'id': '20170101',
		# 	'name': 'Jordan',
		# 	'age': 20,
		# 	'gender': 'male'
		# 	}

		coll.insert_one(data1)
		# result = coll.insert_many([data1,data2])


class PyMysql(object):
	""" PyMysql类,实现登陆及查询、添加数据工作"""
	def __init__(self