【StudyQuant| Python量化投资课堂系列2】如何使用Python操作MongoDB 数据库教学 Tutorial

Blender建模:对于模型布线的一些思考 Blender布线中一些问题的总结和思考,主要讲述原理和解决方法。 阅读详情

StudyQuant

作者 : Rudy

前置条件

开始之前,安装PyMongo和Mongo。确保在python交互界面执行import不报错:

通过MongoClient建立一个连接。

开始使用PyMongo的第一步是创建一个MongoClient,对应于MongoDB实例。操作起来so easy:

# 数据库连接
import pymongo
from pymongo import MongoClient
client = MongoClient()

上面代码将会连接默认的host和port。当然也可指定:

client = MongoClient('localhost', 27017)

或者用 MongoDB URI 格式:

client = MongoClient('mongodb://localhost:27017/')

获取数据库

MongoDB的单个实例可以支持多个独立的 数据库。使用PyMongo时,您可以使用MongoClient实例上的属性样式访问来访问数据库:

db  =  client [ 'test-database' ]

使用JSON样式的文档表示(并存储)MongoDB中的数据。在PyMongo中,我们使用字典来表示文档。例如,以下字典可能用于表示博客帖子:


import datetime
post = {"author": "Mike",
         "text": "My first blog post!",
         "tags": ["mongodb", "python", "pymongo"],
         "date": datetime.datetime.utcnow()}

post
{'author': 'Mike',
 'date': datetime.datetime(2018, 11, 23, 13, 27, 14, 313779),
 'tags': ['mongodb', 'python', 'pymongo'],
 'text': 'My first blog post!'}

插入文档

要将文档插入集合,我们可以使用以下 insert_one()方法:

posts = db.posts
post_id = posts.insert_one(post).inserted_id
post_id
ObjectId('5bf8007810599866ec48c317')

插入文档时"_id",如果文档尚未包含"_id"密钥,则会自动添加特殊键。"_id"整个集合中的值必须是唯一的。insert_one()返回一个实例InsertOneResult。有关更多信息"_id",请参阅_id上的文档。

插入第一个文档后,实际上已在服务器上创建了posts集合。我们可以通过在数据库中列出所有集合来验证这一点:

db.collection_names(include_system_collections = False)
C:\Anaconda3.4.3\lib\site-packages\ipykernel\__main__.py:1: DeprecationWarning: collection_names is deprecated. Use list_collection_names instead.
  if __name__ == '__main__':





['posts']

用获取单个文档find_one()

可以在MongoDB中执行的最基本类型的查询是 find_one()。此方法返回与查询匹配的单个文档(或者None如果没有匹配项)。当您知道只有一个匹配的文档,或者只对第一个匹配感兴趣时,它很有用。这里我们用来 find_one()从posts集合中获取第一个文档:

import pprint
pprint.pprint(posts.find_one())
{'_id': ObjectId('5bf8007810599866ec48c317'),
 'author': 'Mike',
 'date': datetime.datetime(2018, 11, 23, 13, 27, 14, 313000),
 'tags': ['mongodb', 'python', 'pymongo'],
 'text': 'My first blog post!'}

If we try with a different author, like “Eliot”, we’ll get no result:

posts.find_one({"author": "Mike"})
{'_id': ObjectId('5bf8007810599866ec48c317'),
 'author': 'Mike',
 'date': datetime.datetime(2018, 11, 23, 13, 27, 14, 313000),
 'tags': ['mongodb', 'python', 'pymongo'],
 'text': 'My first blog post!'}

通过ObjectId查询

 pprint.pprint(posts.find_one({"_id": post_id}))

{'_id': ObjectId('5bf8007810599866ec48c317'),
 'author': 'Mike',
 'date': datetime.datetime(2018, 11, 23, 13, 27, 14, 313000),
 'tags': ['mongodb', 'python', 'pymongo'],
 'text': 'My first blog post!'}

批量插入¶

为了使查询更有趣,让我们再插入一些文档。除了插入单个文档之外,我们还可以通过将列表作为第一个参数传递来执行批量插入操作insert_many()。这将在列表中插入每个文档,只向服务器发送一个命令:

new_posts = [{"author": "Mike",
              "text": "Another post!",
               "tags": ["bulk", "insert"],
               "date": datetime.datetime(2009, 11, 12, 11, 14)},
              {"author": "Eliot",
               "title": "MongoDB is fun",
               "text": "and pretty easy too!",
               "date": datetime.datetime(2009, 11, 10, 10, 45)}]
result = posts.insert_many(new_posts)
result.inserted_ids

[ObjectId('5bf8023910599866ec48c318'), ObjectId('5bf8023910599866ec48c319')]

查询多个文档

要获取查询结果以外的多个文档,我们使用该 find() 方法。find()返回一个 Cursor实例,它允许我们迭代所有匹配的文档。例如,我们可以迭代posts集合中的每个文档:

for post in posts.find():
    pprint.pprint(post)
{'_id': ObjectId('5bf8007810599866ec48c317'),
 'author': 'Mike',
 'date': datetime.datetime(2018, 11, 23, 13, 27, 14, 313000),
 'tags': ['mongodb', 'python', 'pymongo'],
 'text': 'My first blog post!'}
{'_id': ObjectId('5bf8023910599866ec48c318'),
 'author': 'Mike',
 'date': datetime.datetime(2009, 11, 12, 11, 14),
 'tags': ['bulk', 'insert'],
 'text': 'Another post!'}
{'_id': ObjectId('5bf8023910599866ec48c319'),
 'author': 'Eliot',
 'date': datetime.datetime(2009, 11, 10, 10, 45),
 'text': 'and pretty easy too!',
 'title': 'MongoDB is fun'}

计数

 posts.count_documents({})
3

索引¶

添加索引可以帮助加速某些查询,还可以添加其他功能来查询和存储文档。在此示例中,我们将演示如何在键上创建唯一索引,该索引拒绝索引中已存在该键值的文档。

首先,我们需要创建索引:

result = db.profiles.create_index([('user_id', pymongo.ASCENDING)],
                                   unique=True)
sorted(list(db.profiles.index_information()))
[u'_id_', u'user_id_1']
['_id_', 'user_id_1']
user_profiles = [
     {'user_id': 211, 'name': 'Luke'},
     {'user_id': 212, 'name': 'kevin'}]
result = db.profiles.insert_many(user_profiles)

new_profile = {'user_id': 213, 'name': 'Drew'}

result = db.profiles.insert_one(new_profile)  # This is fine.

duplicate_profile = {'user_id': 212, 'name': 'Tommy'}
result = db.profiles.insert_one(duplicate_profile)
---------------------------------------------------------------------------

DuplicateKeyError                         Traceback (most recent call last)

<ipython-input-60-533650ecd4e1> in <module>()
----> 1 result = db.profiles.insert_one(duplicate_profile)


C:\Anaconda3.4.3\lib\site-packages\pymongo\collection.py in insert_one(self, document, bypass_document_validation, session)
    691                          write_concern=write_concern,
    692                          bypass_doc_val=bypass_document_validation,
--> 693                          session=session),
    694             write_concern.acknowledged)
    695 


C:\Anaconda3.4.3\lib\site-packages\pymongo\collection.py in _insert(self, docs, ordered, check_keys, manipulate, write_concern, op_id, bypass_doc_val, session)
    605             return self._insert_one(
    606                 docs, ordered, check_keys, manipulate, write_concern, op_id,
--> 607                 bypass_doc_val, session)
    608 
    609         ids = []


C:\Anaconda3.4.3\lib\site-packages\pymongo\collection.py in _insert_one(self, doc, ordered, check_keys, manipulate, write_concern, op_id, bypass_doc_val, session)
    593 
    594         self.__database.client._retryable_write(
--> 595             acknowledged, _insert_command, session)
    596 
    597         if not isinstance(doc, RawBSONDocument):


C:\Anaconda3.4.3\lib\site-packages\pymongo\mongo_client.py in _retryable_write(self, retryable, func, session)
   1246         """Internal retryable write helper."""
   1247         with self._tmp_session(session) as s:
-> 1248             return self._retry_with_session(retryable, func, s, None)
   1249 
   1250     def __reset_server(self, address):


C:\Anaconda3.4.3\lib\site-packages\pymongo\mongo_client.py in _retry_with_session(self, retryable, func, session, bulk)
   1199                             raise last_error
   1200                         retryable = False
-> 1201                     return func(session, sock_info, retryable)
   1202             except ServerSelectionTimeoutError:
   1203                 if is_retrying():


C:\Anaconda3.4.3\lib\site-packages\pymongo\collection.py in _insert_command(session, sock_info, retryable_write)
    590                 retryable_write=retryable_write)
    591 
--> 592             _check_write_command_response(result)
    593 
    594         self.__database.client._retryable_write(


C:\Anaconda3.4.3\lib\site-packages\pymongo\helpers.py in _check_write_command_response(result)
    215     write_errors = result.get("writeErrors")
    216     if write_errors:
--> 217         _raise_last_write_error(write_errors)
    218 
    219     error = result.get("writeConcernError")


C:\Anaconda3.4.3\lib\site-packages\pymongo\helpers.py in _raise_last_write_error(write_errors)
    196     error = write_errors[-1]
    197     if error.get("code") == 11000:
--> 198         raise DuplicateKeyError(error.get("errmsg"), 11000, error)
    199     raise WriteError(error.get("errmsg"), error.get("code"), error)
    200 


DuplicateKeyError: E11000 duplicate key error collection: test-database.profiles index: user_id_1 dup key: { : 212 }

更多量化学习资源

介绍.png
扫上方二维码,关注公众账号 量化投资学院 ,获取下列免费资源

  • 回复**“热点研报”**,获取近年热点券商金融工程研究报告
  • 回复**“Python3”**,获取Python免费学习教程

关注StudyQuant

激光打标轴坐标计算分析 ‌:基于坐标差的平方和开方运算,勾股定理将几何关系转化为代数计算,从而实现了从坐标到距离的精确转换‌12。直角三角形的应用从上图可以看到A,B,P三个点连起来就是一个直角三角形了。用勾股定理计算距离 C#有相关的方法直接传参数就可以了。很方便。 阅读详情

相关推荐

芯片设计数字后仿与SDF文件:原理、流程与实战调试指南

在数字芯片设计流程中,时序验证是确保芯片功能正确与性能达标的核心环节。其原理在于通过精确的物理延迟模型,模拟信号在真实硅片上的传播行为,从而暴露理想仿真中无法发现的时序问题。这项技术的核心价值在于它是连接前端逻辑设计与后端物理实现的桥梁,能有效发现建立时间/保持时间违例、时钟偏斜、竞争冒险等关键风险,是保障芯片一次流片成功的关键步骤。其典型应用场景包括高性能计算单元、复杂SoC以及低功耗设计中的状态切换验证。本文聚焦于数字后仿真的具体实施,深入解析SDF文件的结构与反标机制,并提供从环境搭建、波形分析到与静

weixin_34279184的博客 383

Python量化投资与数据分析

<img src="https://img-bss.csdnimg.cn/202008051625389415.png" alt="" />

生信分析实战指南:Linux环境下EMBOSS的安装与核心功能详解

本文详细介绍了在Linux环境下安装和使用EMBOSS工具包的实战指南,涵盖源码编译、包管理器安装和Conda安装三种方法,并演示了序列比对、序列特征提取和引物设计等核心功能。EMBOSS作为生物信息学领域的开源工具集,适用于序列分析、蛋白质结构预测等多种任务,帮助研究人员高效完成生信分析工作。

weixin_29202213的博客 466

python经验总结_python中使用berkeley db的经验总结

1.选bdb的理由业务场景是:1个writer进程,多个reader进程,writer实时写数据到db文件中,其他reader实时读取db存储结构:key值采用的是以时间戳,可以说是有序的,故采用btreebdb的优点正好满足需求:(1).直接嵌入应用程序,没有client-server的开销;(2).关键还是稳定,对大数据的存储并发访问的稳定口碑很好(3).被oracle收购了,相关的文档非常完...

weixin_39632212的博客 269

无刷直流电机矢量控制(四):基于滑模观测器的无传感器控制

无刷直流电机矢量控制,采用转速、电流双环控制,电流环dq解耦,d轴采用id=0控制,q轴采用转速外环。采用滑模观测器(SMO),根据电压电流信息进行电机位置角度动态估算,模型可直接运行,转速和角度跟踪精度较高。 本文整理了该方法的基本原理,介绍了在MATLAB/Simulink中的建模和仿真过程,最后附上完整的模型文件。 一、基本原理 滑模观测器(下文简称SMO)是基于滑模变结构控制方法的一种状态观测器。其针对无刷直流电机转子位置估算的实现过程如下。 假设采用矢量控...

Forster-C的博客 6869

Holt-Winters方法预测水电发电量

Holt-Winters 模型, ARMIA,ACF检验 ,Dickey-Fuller 检测,白噪声检测,差分

firefox_yau的博客 1270

Python中的Berkeley DB(1):Hello Berkeley DB

Python中的Berkeley DB – 第一篇:Hello Berkeley DB什么是Berkeley DB1Berkeley DB(后文简称BDB)是一个高性能的嵌入式数据库编程库(引擎),它可以用来保存任意类型的键/值对 (Key/Value Pair),而且可以为一个键保存多个数据。BDB可以支持数千的并发线程同时操作数据库,支持最大256TB的数据。 BDB提供诸如C语言,C++,J

程序设计与安全 @EVAN-CSS 3689

51单片机计算器(源程序+流程图+答辩报告+综合设计)

保姆级讲解!C语言编程,使用51单片机及LCD1602显示屏实现!

m0_57007304的博客 2万+

Python中的Berkeley DB(2):数据结构

Python中的Berkeley DB(2):数据结构Berkeley DB的数据存储结构BDB支持四种数据存储结构及相应算法,官方称为访问方法(Access Method),分别是哈希表(Hash Table)、B树(BTree)、队列(Queue)、记录号(Recno)。在创建数据库的时候,必须通过dbtype参数将存储结构指定为上述结构中的一种,一旦数据库文件已创建则不能再更改其结构。 结

程序设计与安全 @EVAN-CSS 1638

Android 12 系统横屏时,开机动画有两秒显示不全

平板系统默认横屏时,开机会旋转90度,显示的分辨率WxH,会变成HxW.但又会很快被SurfaceFlinger的SurfaceFlinger::processDisplayChanged 娇正。所以为了保险,可以在开机动画没结束之前,禁止旋转事件。在Android 12 产品定制化开发中,由于系统默认方向为竖屏,平板电脑要横屏显示。系统在开机时,有时因为旋转,会出现动画只显示一部分。

448313096@qq.com 1189

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

在Python上使用Berkeley DB ——bsddb

前段时间要用最大熵进行自动分词和新词抽取,在处理小文本的时候没什么问题,直接将候选词及其频率、邻接词等信息存入词典放入内存即可。但后来要处理大文本,候选词太多直接导致MemoryError了,就想着先将候选词的信息放入硬盘,虽然降低了点儿速度,但至少也能跑出来结果。所以就找到了比较好用且存储性能较好的Berkeley DB,更棒的是Python自带处理模块——bsddb(Python3以后版本

NeoMT的专栏 5107

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

Python控制berkeley DB

berkeley DB是一个比较高效的数据库,python也是一个比较高效的脚本语言,但是关于使用python控制berkeley DB的资料很少,我大致找到了一些   比较简单的方法 import bsddb db = bsddb.btopen('test.db', 'c')  bsddb是python内置的一个lib test.db是Berkeley DB的数据库文件,'c'是一...

随机思考 291

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

Python量化投资与股票投资实战

课程介绍课程内容的设置或者教学目标课程特色:1. 项目化教学。每位同学在课程结束时,都能有自己的策略。2. 注重实战,脱离实战应用场景的理论知识意义不大3. 课程内容较多,节奏较快。若基础薄弱,需要在课后花较多时间。4. 多个A股量化投资策略实证,分享 策略、回测、数据可视化、实盘接口等解决方案及代码

python中使用berkeley db的总结

1.选bdb的理由 业务场景是:1个writer进程,多个reader进程,writer实时写数据到db文件中,其他reader实时读取db 存储结构:key值采用的是以时间戳,可以说是有序的,故采用btree bdb的优点正好满足需求: (1).直接嵌入应用程序,没有client-server的开销; (2).关键还是稳定,对大数据的存储并发访问的稳定口碑很好 (...

weixin_34408624的博客 642

Berkeley DB

我们公司的产品中用到了伯克利db数据库,闲着没事干,学习了一下: 1:Berkeley DB是一个开源的文件数据库,嵌入式数据库系统。介于关系数据库与内存数据库之间,使用方式与内存数据库类似,它提供的是一系列直接访问数据库的函数,而不是像关系数据库那样需要网络通讯、SQL解析等步骤。 Berkeley DB (DB)是一个高性能的,嵌入数据库编程库,和C语言,C++,J

guorun18的专栏 901

Berkeley DB:开源嵌入式数据库测评报告

  像MySQL这类基于C/S结构的关系型数据库系统虽然代表着目前数据库应用的主流,但却并不能满足所有应用场合的需要。有时我们需要的可能只是一个简单的基于磁盘文件的数据库系统。这样不仅可以避免安装庞大的数据库服务器,而且还可以简化数据库应用程序的设计。Berkeley DB正是基于这样的思想提出来的。   Berkeley DB简介   Berkeley DB是一个开放源代码的内嵌式数据库...

weixin_34122548的博客 245

python文件对象数据库常用推荐

在Python中使用文件对象数据库,目前Python 3标准库中的一部分:Shelve模块: shelve 是Python标准库中的一个模块,用于将Python对象持久化存储在磁盘文件中。 SQLite: sqlite3 模块是Python标准库的一部分,它提供了对SQLite数据库的支持。 其他提到的解决方案,如Berkeley DB(通过bsddb模块)、LevelDB(通过plyvel)、LMDB(通过lmdb)、TinyDB和ZODB,都不是Python标准库的一部分。它们是第三方库,需要单独安

linkedin_21843693的博客 1264

利用pymongo操作mongoDB数据库

利用pymongo操作mongoDB数据库

matrixdodo 1万+

用 pymongo 操作 MongoDB 数据库

♚作者:SunCOOL,喜欢python,相信python。基于python3.7.3 64-bit/pymongo3.41.连接数据库你可以使用以下2种方法# -*- coding: ...

Python中文社区 426

[042]量化交易]mongodb数据库创建、插入、查找

【代码】[042]量化交易]mongodb数据库创建、插入、查找。

weixin_33595571的博客 414

[044]量化交易]python tushare行情数据写入MongoDB数据库中

【代码】[044]量化交易]python tushare行情数据写入MongoDB数据库中。

weixin_33595571的博客 649

【Python量化投资与A股量化研究 |StudyQuant】| 系列6 - 论因子数据预处理的重要性

Python量化投资与A股量化 -论数据预处理的重要性前言量化投资介绍前导多因子选股策略多因子模型理论背景单因子测试分层回溯法市盈率的用法PE因子分组回测PE单因子分组回测结果单因子分组回测(数据预处理后结果)单因子分组回测结果(数据预处理后结果)其他如何避开市盈率缺陷 前言 StudyQuant -【量化投资教学系列帖子】,通过实际案例教初学者使用python进行量化投资,分享最前沿的研究成果。...

StudyQuant量化投资学院 2207

【StudyQuant| Python量化投资- 量化研究 - 系列7】多种仓位管理的方法,固定止盈止损 与 移动止盈止损

前言 StudyQuant -【量化投资教学系列帖子】,通过实际案例教初学者使用python进行量化投资,分享最前沿的研究成果。希望能对大家有帮助。 量化投资文章 请点击此处 相关文章 区间震荡策略曾20天,年化收益17000000+% 微信:82789754 (附加信息 (优快云),有问题欢迎交流。 引言 本报告,主要介绍趋势策略中的多种仓位管理方法,并在选定基础策略的情况下,实证对比了...

StudyQuant量化投资学院 3096

python_使用Berkeley DB数据库

代码: try:     from bsddb import db except ImportError:     from bsddb3 import db print db.DB_VERSION_STRING #检测是否有bsddb包 def irecords(curs):     record = curs.first()     while record:         yield

小驹的专栏 5152

berkeley DB +linux +python+bsddb3安装

1,berkeley DB安装 http://www.oracle.com/technetwork/database/database-technologies/berkeleydb/downloads/index.html 官网下载6.2版本,tar -zxvf 解压缩下载文件,进入build_unix目录, ../dist/configure --prefix=/opt/Berkeley

巫山云的专栏 4118
上一篇: Python from . import 模块 是什么意思?
下一篇: 【StudyQuant Python量化投资课堂系列3】| CCXT开源框架 调用K线数据可能有滞后性【特别注意】
StudyQuant
博客等级 码龄9年 111粉丝 23原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值