py中使用MongoDB 安装和使用

最新推荐文章于 2025-07-01 15:15:56 发布
最新推荐文章于 2025-07-01 15:15:56 发布
阅读量734 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： python学习笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_38095708/article/details/79297590
本文详细介绍了MongoDB在Windows系统的安装步骤及注意事项，并演示了如何通过Python连接MongoDB数据库进行数据操作，同时提供了可视化工具Robo3T的下载链接。

1、安装时选择第二项，不装C盘，根部录下，方便查找

2、创建数据目录db目录下，这个数据目录不会主动创建，我们在安装完成后需要创建它，放在根目录下,如 E:\

3、我安装在已经先创建好的文件夹下E盘中，再创建一个data目录，在data目录里面创建

命令行下启动mongo服务

E:\mongodb\bin\mongod --dbpath E:\data\db

这样就是启动成功

安装 MongoDB服务

"E:\mongodb\bin\mongod.exe" --config "E:\mongodb\mongod.cfg" --install

这个安装可以简化启动命令

net start MongoDB 启动  net stop MongoDB 停止

具体操作的内容转至 http://www.runoob.com/mongodb/mongodb-window-install.html

py中使用


要储存的数据类型为 字典 或者数组包含多个字典

先要pip install pymongo 

再import pymongo as p 

if __name__=='__main__':
client = p.MongoClient('localhost',27017)#链接数据库
get_citylist_content(get_citylist_url())
write_to_file(city_child)
print(client.database_names())
db1 = client.run#选择库
db1.run.insert (city_child) #选择表再插入


下载 Robo 3T可视化工具 https://robomongo.org/


最后就这样啦~

mongoDB的安装与使用
m0_73344153的博客
02-23 344
mongoDB的安装和基本操作
使用 MongoDB 和 OpenAI 实现 RAG 的实战指南
dqw41111d的博客
01-08 667
RAG 方法通过结合检索和生成技术，实现更加丰富和准确的信息生成。MongoDB 作为NoSQL数据库，可以高效地存储和检索大量的非结构化数据。而 OpenAI 的语言模型（LLM）则能够理解自然语言和生成高质量的文本。这两者的结合构成了本文的核心技术。
手把手教你 MongoDB 的安装与详细使用（二）
weixin_34090643的博客
01-30 206
上一篇文章练习了，MongoDB 的以下操作 安装 MongoDB 服务 连接 MongoDB MongoDB 创建数据库 MongoDB 删除数据库 MongoDB 插入文档 MongoDB 删除文档 MongoDB 查询文档 MongoDB AND 条件 MongoDB OR 条件 MongoDB AND 和 OR 联合使用 MongoDB 条件操作符 MongoDB (>) 大于操作...
【mongodb】安装和使用mongod
最新发布
qq_36707640的博客
07-01 480
Mongodb的安装可以直接安装系统默认的版本，也可以安装官网维护的版本，相对而言更推荐安装官网维护的版本，版本也相当更新。对于mongodb常规的操作也就这些，当然我们大多数据情况通过代码来创建和管理mongoDB，便于管理数据的上传和读取。
mongoDB的安装及使用
chengcheng9876的博客
11-15 1380
mongoDB的安装及使用
MongoDB的安装与使用
gyx0705的博客
05-18 328
在mongodb.repo文件中写入以上内容。在admin库或者进入指定的库创建普通用户。先进入admin库然后创建管理员用户。2.显示当前所在数据库和切换数据库。5.全文删除和条件删除和条件更新。4.查看数据和条件查询和统计查询。3.插入数据和插入多挑数据。管理员登录和普通用户登录。一、MongoDB的安装。1.配置MongoDB源。二、开启mongodb。2.安装mongodb。
MongoDb安装和使用
ernesto的博客
11-24 3643
Mongo是一个基于分布式文件存储的Nosql数据库。Nosql数据库还包含redis、hbase等。它以 BSON（Binary JSON）格式存储数据。它提供了高性能、可扩展性和高可用性，是处理大规模数据和快速变化的应用场景的理想选择。MongoDB 的文档模型灵活，允许嵌套的数据结构，支持复杂的查询和聚合操作。
Python Web框架Pylons中使用MongoDB的例子
09-10
首先，我们需要在`PROJECT/model/__init__.py`文件中定义MongoDB的初始化函数和映射对象。这里，我们导入了Ming库的相关模块，如`Session`, `schema`, `MappedClass`, `FieldProperty`, `ForeignIdProperty`, 和 `...
BottleBlog:使用 Bottlepy 和 MongoDB 在 Python 中创建的博客
06-12
**BottleBlog: 使用Bottlepy和MongoDB在Python中构建博客系统** BottleBlog是一个基于Python微型框架Bottlepy和非关系型数据库MongoDB构建的简单博客系统。这个项目展示了如何利用Python进行Web开发，以及如何将...
使用MongoDB进行电影数据的向量搜索与推荐系统
ppoojjj的博客
07-12 909
在本篇文章中，我们将展示如何使用MongoDB进行电影数据的向量搜索与推荐系统。我们将使用OpenAI的嵌入模型，并结合LlamaIndex库来实现这一过程。具体步骤包括数据预处理、嵌入生成、数据库设置与查询等。
MongoDB 安装及简单使用
凌晨1点21分的专栏
07-17 1217
MongoDB学习笔记 简介 MongoDB 是一个基于分布式文件存储的数据库。由C++语言编写。旨在为WEB应用提供可扩展的高性能数据存储解决方案。  MongoDB 是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。它支持的数据结构非常松散，是类似json的bson格式，因此可以存储比较复杂的数据类型。Mongo最大的特点是它支持的查询语言非常强...
Pycharm连接MongoDB数据库安装教程详解
01-19
下载Pycharm最新版本 Pycharm链接： 安装教程 下载MongoDB最新版本 MongoDB下载地址 MongoDB安装教程 下载Mongo Plugin插件 最新版本的Pycharm搜不到Plugin插件，自己手动下载 Mongo Plugin插件下载地址 我把它放在了MongoDB的安装路径下 安装教程参考 安装完成 下一节开始试用。 到此这篇关于Pycharm连接MongoDB数据库安装教程的文章就介绍到这了,更多相关Pycharm连接MongoDB内容请搜索软件开发网以前的文章或继续浏览下面的相关文章希望大家以后多多支持软件开发网！
Mongodb 安装使用
一碗烈酒的博客
03-02 1659
Linux 安装、卸载 点击这里进入官网下载安装入口 # 使用yum安装 添加repo库地址 vim /etc/yum.repos.d/mongodb-org-5.0.repo # 复制一下内容到文件内 [mongodb-org-5.0] name=MongoDB Repository baseurl=https://repo.mongodb.org/yum/redhat/$releasever/mongodb-org/5.0/x86_64/ gpgcheck=1 enabled=1 gpgkey=htt
MongoDB的安装以及基本使用
qq_23095607的博客
10-18 1401
个人学习笔记和视频资料入门参考视频入门视频的参考博客深入学习视频官网（你要的参考资料这里都有，只不过是英文版）
MongoDB数据库的安装及使用教程
IT_WEH_coder的博客
10-24 1420
MongoDB 是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。
Python操作MongoDB看这一篇就够了
weixin_45722061的博客
10-15 1721
MongoDB是由C++语言编写的非关系型数据库，是一个基于分布式文件存储的开源数据库系统，其内容存储形式类似JSON对象，它的字段值可以包含其他文档、数组及文档数组，非常灵活。在这一节中，我们就来看看Python 3下MongoDB的存储操作。 1. 准备工作 在开始之前，请确保已经安装好了MongoDB并启动了其服务，并且安装好了Python的PyMongo库。 2. 连接Mon...
Pymongodb
JZ5203的博客
01-16 392
首先安装pymongo模块 pip install pymongo 利用Python程序完成增删改查 import pymongo import json from bson import ObjectId #创建客户端 mongoclient = pymongo.MongoClient(host="127.0.0.1",port=27017) #创建连接 ...
MongoDB 之pymongodb
weixin_34223655的博客
01-16 198
import pymongo import json from bson import ObjectId mongoclient = pymongo.MongoClient(host="127.0.0.1",port=27017) #链接 MongoDB = mongoclient["locals"] #链接数据库名称 # res = MongoDB.user.find...
Python 操作mongodb库
感谢关注-最近在编写开源的自动化测试框架还没整理完
08-09 755
1 mongodb介绍 1.1 mongodb基础概念 1.2 mongodb优缺点 2 mongodb下载安装 3 python操作mongodb 3.1 python安装pymongo砗 3.2 Python对mongodb增删改查
Scrapy里mongoDB的安装和使用
03-19
<think>好的，用户之前已经问过关于Scrapy中self.col的问题，现在他们想了解MongoDB在Scrapy中的安装和使用。我需要确保回答结构清晰，分步骤讲解，同时注意用户可能的实际应用场景。 首先，用户可能需要从头开始配置MongoDB，所以先讲安装步骤。要包括不同系统的安装方法，比如Ubuntu用apt，CentOS用yum，Mac用Homebrew，Windows用官方安装包。然后启动服务，检查是否安装成功，可能还要提到基本的安全设置，比如创建用户和密码，这样更实用。 接下来是Python库的安装，用户需要用pymongo来连接MongoDB，这里需要给出pip安装命令，并提醒添加到requirements.txt，方便项目依赖管理。 然后是Scrapy的集成部分，用户可能不太清楚如何将MongoDB整合到Scrapy的Pipeline中。需要分步骤说明如何创建Pipeline类，在open_spider中连接数据库，选择数据库和集合，在process_item中插入数据。给出代码示例，并解释每个部分的作用。还要提到在settings.py中启用Pipeline，以及配置MongoDB的URI、数据库名和集合名，可能用户会需要动态配置，比如根据不同的爬虫使用不同的集合。 接下来是优化和常见问题。用户可能会遇到性能问题，所以需要建议使用insert_many批量插入，设置索引提升查询速度，异常处理避免爬虫崩溃。另外，数据去重和权限问题也是常见点，需要给出解决方案，比如使用唯一索引或者在插入前检查重复。 最后，给出完整代码示例，帮助用户整合所有步骤。可能用户需要直接复制代码进行调整，所以示例要简洁明了，涵盖主要部分。同时提醒用户根据实际情况修改配置，比如主机、端口、认证信息等。 需要注意用户可能是刚接触Scrapy和MongoDB的新手，所以步骤要详细，避免使用过于专业的术语，必要时解释概念，比如Pipeline的作用，集合和数据库的关系等。此外，用户可能关心实际应用中的问题，如性能优化和错误处理，这部分需要重点强调，提供实用的建议。 另外，要确保回答符合之前的系统级指令，数学公式和代码块使用正确的格式，用中文回答，结构清晰。可能用户后续会有调试需求，所以在最后邀请用户补充具体场景，以便提供更针对性的帮助。</think>以下是 Scrapy 中 **MongoDB 的安装与使用** 的完整指南，按步骤分解： --- ### 一、MongoDB 安装 #### 1. 安装 MongoDB 服务端 - **Ubuntu/CentOS**: ```bash # Ubuntu sudo apt-get install -y mongodb # CentOS sudo yum install -y mongodb-org sudo systemctl start mongod # Mac (通过 Homebrew) brew tap mongodb/brew brew install mongodb-community brew services start mongodb-community ``` - **Windows**： 从 [MongoDB 官网](https://www.mongodb.com/try/download/community) 下载安装包，按向导安装。安装后需手动启动服务。 #### 2. 验证安装 ```bash mongo --version # 输出版本号即成功 ``` #### 3. 基本配置（可选） ```bash # 创建数据存储目录（Linux/Mac） sudo mkdir -p /data/db sudo chown -R `id -un` /data/db # 启动 MongoDB 服务 mongod --dbpath /data/db ``` --- ### 二、安装 Python MongoDB 驱动 在 Scrapy 项目中安装 `pymongo`： ```bash pip install pymongo # 安装库 # 或添加到 requirements.txt echo "pymongo>=4.0" >> requirements.txt ``` --- ### 三、Scrapy 集成 MongoDB #### 1. 创建 Pipeline 类 在 `pipelines.py` 中添加以下代码： ```python import pymongo class MongoPipeline: def __init__(self, mongo_uri, mongo_db, mongo_collection): self.mongo_uri = mongo_uri self.mongo_db = mongo_db self.mongo_collection = mongo_collection @classmethod def from_crawler(cls, crawler): # 从 settings.py 读取配置 return cls( mongo_uri=crawler.settings.get('MONGO_URI'), mongo_db=crawler.settings.get('MONGO_DATABASE'), mongo_collection=crawler.settings.get('MONGO_COLLECTION') ) def open_spider(self, spider): # 连接数据库 self.client = pymongo.MongoClient(self.mongo_uri) self.db = self.client[self.mongo_db] self.collection = self.db[self.mongo_collection] def close_spider(self, spider): # 关闭连接 self.client.close() def process_item(self, item, spider): # 插入数据（自动去重需额外处理） self.collection.insert_one(dict(item)) return item ``` #### 2. 配置 `settings.py` ```python # 启用 Pipeline ITEM_PIPELINES = { 'your_project.pipelines.MongoPipeline': 300, } # MongoDB 配置 MONGO_URI = 'mongodb://localhost:27017' # 默认端口 MONGO_DATABASE = 'scrapy_data' # 数据库名 MONGO_COLLECTION = 'articles' # 集合名（可动态设置） ``` #### 3. 动态集合名（可选） 在 Spider 中覆盖默认集合名： ```python class MySpider(scrapy.Spider): custom_settings = { 'MONGO_COLLECTION': 'dynamic_collection_name' } ``` --- ### 四、优化与高级用法 #### 1. 批量插入提升性能 ```python def process_item(self, item, spider): # 在 Spider 中缓存数据 spider.items_buffer.append(dict(item)) if len(spider.items_buffer) >= 100: self.collection.insert_many(spider.items_buffer) spider.items_buffer.clear() return item ``` #### 2. 唯一索引去重 在 `open_spider` 中创建索引： ```python def open_spider(self, spider): # 创建唯一索引（避免重复数据） self.collection.create_index([('url', pymongo.ASCENDING)], unique=True) ``` #### 3. 异常处理 ```python from pymongo.errors import DuplicateKeyError def process_item(self, item, spider): try: self.collection.insert_one(dict(item)) except DuplicateKeyError: spider.logger.warning(f"重复数据: {item['url']}") return item ``` --- ### 五、完整代码示例 ```python # settings.py 配置 ITEM_PIPELINES = {'myproject.pipelines.MongoPipeline': 300} MONGO_URI = 'mongodb://user:password@localhost:27017/' # 带认证 MONGO_DATABASE = 'news' MONGO_COLLECTION = 'headlines' # pipelines.py class MongoPipeline: # ... 完整代码参考上文 ... ``` --- ### 六、常见问题排查 1. **连接失败** - 检查 `MONGO_URI` 格式：`mongodb://用户名:密码@主机:端口` - 确认 MongoDB 服务是否运行：`sudo systemctl status mongod` 2. **权限问题** 在 MongoDB Shell 中创建用户： ```javascript use admin db.createUser({user: "admin", pwd: "password", roles: ["root"]}) ``` 3. **数据未写入** - 检查 Pipeline 是否在 `settings.py` 中启用 - 查看 Scrapy 日志是否有异常 --- 如果需要更具体的调试帮助，可以分享你的实际代码或错误日志！
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值