mongodb 使用心得

MongoDB与URL优先级队列
最新推荐文章于 2023-01-13 23:00:52 发布
最新推荐文章于 2023-01-13 23:00:52 发布
阅读量475 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 爬虫研究心得
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/liuyawen44/article/details/52725251

最近刚开始学MongoDB 想用它写一个爬虫，但是构建URL优先级队列的时候卡住了我，，好像BerkeleyDB存储的时候可以根据key自动排序，这样想要的数据会很容易取到，，（没有亲身实践过，并不太清楚，只是看了博客）但是MongoDB是不可以的，它默认的好像是按照插入时间排序，，，然而为了取出优先级比较高的URL，我不得不每次做排序并且Limit(n)返回数据，，但是尤其在多线程大数据下尤其影响性能！因此困扰了我一天，最后终于想出了一种折中的办法，，因为想到MongoDB会默认创建_id并生成索引，，我在构建优先URL 的时候把优先级储存到这个字段在做排序，性能会不会相对好很多？


于是我做了实验，db.collectionName.find({_id:1}).sort({_id:1}).explain()发现果然执行策略不是SORT！（具体参数含义请自行百度）这样性能应该会大幅提升，但是肯定性能也不会好~~具体情况等我写完后再来分享。。

另外，本人大三软件系菜狗一枚，最近在研究一些JAVA开源爬虫框架的源码，想自己写一个爬虫的框架，，也当是学点东西了。。有兴趣的可以一起交流。

企鹅：396995269  （单身微笑）

MongoDB学习心得
sssjszz
11-09 841
MongoDB的特点 先推荐三个学习mongodb的三个地方：《MongoDB权威指南》、《MongoDB管理与开发精要》、NoSQL FANS。 MongoDB有三个特点，也是他区别于传统关系型数据库的原因——高并发读写、大数据存储、分布式。从而使得MongoDB在web2.0的应用上有着得天独厚的优势。特别是数据的水平可扩展性，传统的MySql很难做到高效的扩容，在数据量超大的时候读写效率
学习MongoDB的心得
ANGWH的博客
07-19 1427
MongoDB工具以及准备使用数据库 因为项目的需要，最近学习了一下MongoDB，分享一下我的学习心得。 MongoDB是NoSQL，也就是非关系型的数据库，是面向海量数据访问的文档类型数据库 工具以及准备 mongodb 安装包 robomongo 视图工具（图表工具） postman 测试接口工具 配置环境变量 在mongodb安装文件里面找到bin文件，获取路径 此电脑 鼠标右键属性 高级系统设置 环境变量 用户环境变量path 添加bin文件路径 使用数据库 创建一个新的文件夹，这个文件夹
Mongodb使用心得
怀素的专栏
08-20 1126
最近一直在使用Mongodb，项目中使用都是单机作为数据库存储海量数据。 曾经用128G内存的服务器安装一个Mongodb实例的作为数据库，把数据分月存储，每月数据行数达到2亿，导致内存消耗很快。 内存在未用尽前速度确实很快，3个月以后数据达到6亿，速度明显降下来，以前毫秒级的操作现在需要好几秒，数据开始处理不完。 Mongodb有分片和Replica set，但是前期了解到Mong
mongodb使用心得简单总结
12-16
1.mongodb特性 1）mongo是一个面向文档的数据库，它集合了nosql和sql数据库两方面的特性。 2）所有实体都是在首次使用时创建。 3）没有严格的事务特性，但是它保证任何一次数据变更都是原子性的。 4）也没有固定的数据模型 5）mongo以javascript作为命令行执行引擎，所以利用shell进行复杂的计算和查询时会相当的慢。 6）mongo本身支持集群和数据分片 7）mongo是c++实现的，支持windows mac linux等主流操作系统 8）性能优越，速度快 2.mongo常用操作 1.增删操作    db.user.insert({name:’aaaa’,a
MongoDB学习笔记(一) MongoDB介绍与安装方法
01-20
一、前言 　　最近开始学习非关系型数据库MongoDB，却在博客园上找不到比较系统的教程，很多资料都要去查阅英文网站，效率比较低下。本人不才，借着自学的机会把心得体会都记录下来，方便感兴趣的童鞋分享讨论。部分资源出自其他博客，旨将零散知识点集中到一起，如果有侵犯您的权利，请联系li-pan2@163.com。大部分内容均系原创，欢迎大家转载分享，但转载的同时别忘了注明作者和原文链接哦。 二、MongoDB简介 　　MongoDB是一个高性能，开源，无模式的文档型数据库，是当前NoSql数据库中比较热门的一种。它在许多场景下可用于替代传统的关系型数据库或键/值存储方式。Mongo使用C++开发。
MongoDB学习心得（整理中）
11-03 348
NoSQL（Not Only SQL）-非关系型数据库，又一种流行的数据库技术。除去复杂、臃肿的结构化语言，简单的几个函数就可以完成增删该处基本操作。NoSQL好比一个灵活的猴子，而SQL就像大笨象了。 冲着对NoSQL技术的兴趣好奇，最近粗略地浏览过NoSQL中应...
mongodb使用方面的一些总结
weixin_33756418的博客
02-28 117
所有查询写入尽量都带上一个超时时间大量写入时，使用批量接口建索引尽量指定为后台执行索引建得太多，对写入性能会有一定影响，所以建索引时，以能覆盖大部分数据的几个公共字段为准。确实有需要再加上一些没有覆盖到的字段再建一个新索引。访问副本集时，确保 MongoDB URI 里包含副本集中的所有机器以实现负载均衡及高可用。在访问分片集群时，请务必确保 MongoDB URI 里包含2...
MongoDB优化心得分享
09-09
本文主要分享了关于MongoDB优化的一些关键心得，旨在帮助开发者更好地管理和优化MongoDB实例。 首先，MongoDB的参数配置至关重要。其中，`storageEngine` 和 `directoryperdb` 是两个重要的设置。`directoryperdb` ...
MongoDB 使用心得
chengqinjian6893的博客
10-20 160
参考网站， http://www.100720.com/java_category/mongodb 使用心得： 1，db.help 回车（可以得到如下函数） 2，数据库命令： 1.db.lcc.update({id:1},{$inc:{x:1}},false,true)...
MongoDB学习
huotong
06-09 858
MongoDB 安装 https://www.runoob.com/mongodb/mongodb-window-install.html 概念介绍 SQL术语 MongoDB 解释说明 database database 数据库 table collection 数据库表/集合 row document 数据记录行/文档 column field 数据字段/域 ...
mongodb学习心得（一） 简介
dulei17816的博客
04-13 494
该篇主要简单介绍 mongodb及其特点。 MongoDB MongoDB 是由C++语言编写的，是一个基于分布式文件存储的开源数据库系统。 MongoDB 将数据存储为一个文档，数据结构由键值(key=>value)对组成。MongoDB 文档类似于 JSON 对象。字段值可以包含其他文档，数组及文档数组。 特点 1.是一个面向文档存储的数据库; 2.可...
MongoDB ：第七章：总结一下学习MongoDB的心得
weixin_44519496的博客
10-06 513
创建了数据库 runoob: use runoob switched to db runoob db runoob 查看所有数据库 > show dbs admin 0.000GB local 0.000GB > 注意: MongoDB 中默认的数据库为 test，如果你没有创建新的数据库，集合将存放在 test 数据库中。在 MongoDB 中，集合只有在内容插入后才会创建! 就是说，创建集合(数据表)后要再插入一个文档(记录)，集合才会真正创建。 创建的数据库 runoob
MongoDB使用心得
Camu7s的专栏
02-08 1161
在使用MongoDB过程中从片键的选择、分片配置等方面总结了以下一些经验。 片键的选择  如果在某集合中一个键有N个值，那就只能有N个数据块，因此只能有N个分片。所以避免使用单一的小基数片键，如果要使用小基数片键，务必使用组合片键。如果一个集合有生命周期，使用该生命周期作为片键。不要使用升序键，这会使所有新插入的数据都插入到最后一个分片上。每个键上都有索引，而索引数量的增加会使
MongoDB部分使用心得
shuaiOKshuai的专栏
01-07 966
本文内容为个人在MongoDB的学习和使用过程中的一些心得，希望能帮助大家。语言为java 1.MongoDB在进行多条件查询时，可以用一下语句来进行多条件设置： 2.MongoDB进行批量插入时，如： 如果list中的某个项未插入成功，则list中的所有的项均不会插入。
MongoDb的一点使用心得
lifeneedyou的专栏
09-10 148
      最近项目里使用mongoDb，的确，使用起来是很简单的，表现在安装部署，易于扩展等方面。整个Mongo也就13个EXE组成。         经过测试，单个集合的查询效率非常的快，但是是在建立索引的前提下。对8000万数据的查询可以在10毫秒内出来，建立索引的时候推荐建立聚合索引 ，在写查询条件的时候，Mongo优先选择第一个列来作为索引匹配       也参见了一些已经使...
MongoDB学习总结
qq_45309297的博客
01-13 1824
MongoDB学习总结
MongoDB ：第七章：总结一下学习MongoDB的心得，京东健康java面试
m0_64205415的博客
11-14 178
> use runoob switched to db runoob 再执行查看命令： > show tables site 查看已有集合（表） show collection 【一线大厂Java面试题解析+后端开发学习笔记+最新架构讲解视频+实战项目源码讲义】 浏览器打开：qq.cn.hn/FTf 开源分享 s site 删除集合（表） 先切换到数据库 runoob： use runoob switched to db runoob show tables site 再执行删
MongoDB 数据库基本操作实验心得
最新发布
06-12
### MongoDB 数据库基本操作实验心得总结 #### ### 数据库的基本概念与操作 MongoDB 是一种非关系型数据库，适用于海量数据的访问和存储。默认情况下，MongoDB 使用 `test` 数据库来存储未指定数据库的集合[^4]。在进行数据库操作时，需注意数据库名称的规则，例如不能包含空格、点号、美元符号等特殊字符，并且长度不得超过 64 字节。 创建或切换数据库可以通过以下命令实现： ```bash use myDatabase ``` 如果数据库不存在，MongoDB 会在插入第一条数据时自动创建该数据库[^4]。 #### ### 集合的操作 集合是 MongoDB 中存储文档的基本单位。可以使用以下命令创建集合： ```bash db.createCollection("myCollection") ``` 删除集合可以通过以下命令完成： ```bash db.myCollection.drop() ``` #### ### 文档的增删改查 文档是 MongoDB 的核心数据单元，支持嵌套结构和丰富的数据类型。以下是常用的文档操作命令： - **插入文档**： ```javascript db.col.insertOne({ title: "MongoDB 教程", by: "菜鸟教程" })[^2] ``` - **查询文档**： ```javascript db.col.find({ by: "菜鸟教程" }).pretty()[^2] ``` 若需要联合查询，可以使用 `$or` 和 `$and` 操作符： ```javascript db.col.find({ $or: [{ "by": "菜鸟教程" }, { "title": "MongoDB 教程" }] }).pretty()[^2] ``` - **更新文档**： ```javascript db.col.updateOne({ by: "菜鸟教程" }, { $set: { title: "MongoDB 学习指南" } })[^5] ``` - **删除文档**： ```javascript db.col.deleteOne({ by: "菜鸟教程" })[^5] ``` #### ### 数据库的删除 当不再需要某个数据库时，可以通过以下命令删除： ```bash db.dropDatabase()[^4] ``` #### ### 查询优化与高级操作 为了提高查询效率，可以为常用字段创建索引： ```javascript db.col.createIndex({ title: 1 })[^3] ``` 此外，还可以通过聚合框架执行复杂的分析任务： ```javascript db.col.aggregate([ { $match: { by: "菜鸟教程" } }, { $group: { _id: "$title", count: { $sum: 1 } } } ])[^3] ``` #### ### 心得体会 通过实验操作，可以发现 MongoDB 提供了灵活的数据存储方式和强大的查询功能。掌握基本的增删改查操作后，还需进一步学习索引优化、聚合操作以及集群管理等内容。数据库操作虽然繁琐，但通过不断实践，能够逐步熟悉并掌握其使用技巧，为后续开发工作奠定坚实基础。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值