mongodb
关注
分享
扫一扫
文章平均质量分 66
阿泽财商会
作品主页https://mbd.pub/o/m/azcsh，高级人工智能算法训练工程师，人工智能应用工程师，高级工程师，高级信息系统项目管理师，软件设计师，CSM敏捷教练，csdn20周年直播嘉宾，高级健康管理师，会计师。
清华大学出版社《MongoDB游记》数据库教程书作者。专注于人工智能，数据挖掘技术与大数据，云计算与存储等技术的学习与研究。擅长人工智能算法训练，系统响应式开发、数据采集数据清洗和数据分析，分布式云存储运算等技术。熟悉后台系统、云存储计算平台的搭建，擅长解决架构过程中遇到的疑难问题。常用开发语言:java、python、c#、perl、sql。
展开
-
flink读取mongodb数据源批处理全量获取实践
本章记录 flink读取mongodb数据源的实践，主要用于 全量 批处理获取mongodb的数据。我们在前面的文章中已经学习了如何写一个简单的flink-job项目打包jar包运行详情参考编写flink任务jar包–helloworld我们在flink-job项目基础上新增读取mongodb数据源的功能。引入jar包使用官方driver连接器 <dependency> <groupId>org.mongodb<原创 2022-03-08 11:41:28 · 5045 阅读 · 0 评论 -
MongoDB 后台创建索引、查看创建进度等
一、索引创建方式前台方式缺省情况下，当为一个集合创建索引时，这个操作将阻塞其他的所有操作。即该集合上的无法正常读写，直到索引创建完毕任意基于所有数据库申请读或写锁都将等待直到前台完成索引创建操作后台方式将索引创建置于到后台，适用于那些需要长时间创建索引的情形这样子在创建索引期间，MongoDB依旧可以正常的为提供读写操作服务等同于关系型数据库在创建索引的时候指定online，而MongoDB则是指定background其目的都是相同的，即在索引创建期间，尽可能的以一种占用较少的资源占用方式来转载 2021-02-07 16:23:41 · 4124 阅读 · 0 评论 -
遇到问题--python--mongodb--pymongo--pymongo.errors.OperationFailure: $not cannot have a regex
情况我们有一个 正则匹配的mongodb查询,查询pic_label不包含有冒号的记录，如下：{"pic_label" : {"$not":/:/},"source":"guangxi"}需要转换成pymongo的查询语句来查询,直接对应翻译成pymongo的语句如下：def find_pic_structures(): pics = [] client = init_mongo_client() db = client['my_pic'] collection =原创 2020-12-24 15:47:33 · 1631 阅读 · 0 评论 -
遇到问题--python--mongodb--pymongo.errors.CursorNotFound: Cursor not found
情况使用代码如下：import pymongoclient = pymongo.MongoClient()db = client['db_name']col = db['col_name']demos = col.find({})for cursor in demos: deal_data_analysis(cursor)报错如下：pymongo.errors.CursorNotFound: Cursor not found原因分析col.find()获得的demos是cur原创 2020-06-16 15:31:12 · 1481 阅读 · 0 评论 -
遇到问题---MongoDB--$not和$and搭配使用报错---operator $not is not allowed around criteria chain element: { "$an
报错$not和$and搭配使用报错---operator $not is not allowed around criteria chain element: { "$and。完整报错:HTTP Status 500 - Request processing failed; nested exception is java.lang.IllegalArgumentException: operat原创 2017-07-19 20:29:21 · 3458 阅读 · 0 评论 -
遇到问题--mongodb---多个criteria.orOperator或者多个criteria.andOperator报错
报错在使用java驱动构造mongodb查询过程中发现多个criteria.orOperator或者多个criteria.andOperator报错。报错信息如下:you can't add a second '$or' expression specified $or 解决方法andOperator假设我们有四个查询条件,criteria是主查询criteria。 Criteria criter原创 2017-07-20 18:10:15 · 32437 阅读 · 0 评论 -
遇到的问题-----c#操作mongodb用foreach遍历集合报错curcor not found
foreach (var ttdoc in database.GetCollection("集合名").FindAll()) { }执行了一部分就报错 curcor not found 了 把上面的遍历改成如下： var coll= database.GetC原创 2013-05-10 16:57:18 · 3200 阅读 · 0 评论 -
遇到的问题-----mongodb.MongoException$Network: can't call something
java操作mongoDB的开发，实时插入mongoDB。一开始是正常的，运行一段时间后开始报错。长时间运行测试遇到问题，报错信息如下：at com.mongodb.DBTCPConnector.call(DBTCPConnector.java:216)at com.mongodb.DBApiLayer$MyCollection.__find(DBApiLayer.ja原创 2013-09-05 11:53:25 · 12173 阅读 · 3 评论 -
遇到的问题-----you can't add a second 'treePath' criteria. Query already contains
当我们在java中使用mongo的spring接口进行查询时,如果需要对同一个字段 有两个限制条件，使用不当是则会报错:例如 如下用法:Criteria.where("treePath").in(parentId).and("treePath").size(level)treePath有两个限制条件报错:org.springframework.data原创 2015-12-17 16:29:30 · 8407 阅读 · 0 评论 -
遇到问题-----mongodb-------Uncaught TypeError: Cannot read property 'value' of undefined
前面我们了解过 在mongodb 中使用js脚本运行。mongodb执行js脚本(一)---shell执行mongodb 执行js脚本(二)---mongovue执行但是写mongodb的js脚本并不是很好调试。 只能逐句检查验证。今天遇到了一个问题。Uncaught TypeError: Cannot read property 'highStudentResultDetails' of und原创 2016-06-07 16:18:57 · 10841 阅读 · 0 评论 -
单点登录(十)-----遇到问题-----cas启用mongodb验证方式报错com.mongodb.CommandFailureException---Authentication failed
cas启用mongodb验证方式报错com.mongodb.CommandFailureException---Authentication failed。完整报错信息:二月 08, 2017 5:34:32 下午 org.apache.catalina.core.ApplicationContext log信息: Initializing Spring root WebApplicationC原创 2017-02-08 19:34:52 · 14138 阅读 · 0 评论 -
单点登录(十一)-----遇到问题-----cas启用mongodb验证方式报错--Unable to locate Spring NamespaceHandler for XML schema na
cas启用mongodb验证方式报错--Unable to locate Spring NamespaceHandler for XML schema namespace [http://www.springframework.org/schema/data/mongo]完整报错信息如下:二月 08, 2017 3:49:47 下午 org.apache.catalina.core.Applica原创 2017-02-08 20:09:09 · 3532 阅读 · 0 评论 -
单点登录(十二)-----遇到问题-----cas启用mongodb验证方式登录后没反应-pac4j-mongo包中的MongoAuthenticatInvocationTargetException
cas启用mongodb验证方式登录后没反应控制台输出2017-02-09 20:27:15,766 INFO [org.jasig.cas.authentication.MongoAuthenticationHandler] - 然后我们定位到MongoAuthenticationHandler中打断点，单点登录后发现pac4j-mongo包中的MongoAuthenticator报错Invoc原创 2017-02-09 20:47:40 · 2330 阅读 · 0 评论 -
遇到问题----mongodb-----mongorestore报错too many open files甚至mongo服务崩溃
之前运行mongorestore还原mongodb数据库一直都没问题，今天还原的时候 报错too many open files。而且mongo服务经常崩溃需要重启。问题有两方面:原因一一个原因是linux系统本身给的进程最大的打开文件数限制太小。这种情况解决方法可以参考:遇到问题----linux-----linux 打开文件数 too many open files 解决方法修改下配置重新登录原创 2017-02-05 16:53:58 · 6177 阅读 · 0 评论 -
遇到问题---web程序访问MongoDB首次超时错误刷新后恢复---Nginx连接时间问题
web程序通过Nginx反向代理连接 MongoDB，出现首次连接超时刷新后恢复使用。这种情况经常出现。总结规律是 如果一段时间内没有人点击 的话 就会出现这种情况 ，如果一直有人操作的话就不会出现这种情况。经过排查 原因是 Nginx设置反向代理时会设置代理连接时间 proxy_timeout。如果proxy_timeout代理时间内 没有操作和连接， 那么会暂时停止代理连接。但是 Web程原创 2017-08-08 18:57:15 · 1191 阅读 · 0 评论 -
遇到问题---MongoDB---配置多数据源报错expected single matching bean but found 2
MongoDB需要配置多数据源 配置如下:spring-mongodb.xml为:<beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:mongo="http://www.springframewor原创 2017-08-14 15:02:32 · 4251 阅读 · 5 评论 -
Mongo---配置多数据源
MongoDB需要配置多数据源 配置如下:spring-mongodb.xml为:<beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:mongo="http://www.springframewor原创 2017-08-14 15:37:39 · 4547 阅读 · 0 评论 -
遇到问题--java---spring mongo 乐观锁--OptimisticLockingFailureException: Optimistic lock exception on savin
情况代码如下: MyLog myLog = mongoTemplate.find(new Query(Criteria.where("code").is("1234"))) myLog.setRequestDate(new Date()); mongoTemplate.save(myLog);详细报错如下:exception ERROR org.spri...原创 2019-05-05 16:41:02 · 4159 阅读 · 0 评论 -
遇到问题---python---pymongo-Unknown modifier: filename
情况使用pymongo存库时报错如下:Unknown modifier: filename有点莫名其妙。代码如下:def deal_true_family(id, msg ,filename): filterArgs = {'_id': id} updateArgs = {'$set': {'dealed': True, 'msg': msg, 'dealedTime'...原创 2019-04-23 16:34:14 · 719 阅读 · 0 评论 -
python使用pymongo读写mongodb
转载请注明出处:python使用pymongo读写mongodb准备工作在开始之前，请确保已经安装好了MongoDB并启动了其服务，并且安装好了Python的PyMongo库。PyMongo介绍Python 要连接 MongoDB 需要 MongoDB 驱动，这里我们使用 PyMongo 驱动来连接。官方文档http://api.mongodb.com/python/current/a...原创 2019-01-07 17:53:10 · 7116 阅读 · 0 评论 -
mongodb aggregate按日期分组统计及spring mongo实现
如需转载请注明出处: mongodb aggregate按日期分组统计及spring mongo实现实现的需求传入毫秒级开始时间戳和结束的时间戳，根据当前状态currentStatus.status和当前状态时间currentStatus.datetime进行按日统计，缺少数值自动补0.访问方式如下:http://localhost:9999/sample/release-count?st...原创 2019-01-02 11:59:21 · 10932 阅读 · 1 评论 -
遇到问题---mongodb--Usage of 'UserCredentials' with 'MongoClient' is no longer supported
转载请注明出处:遇到问题—mongodb–Usage of ‘UserCredentials’ with ‘MongoClient’ is no longer supported遇到问题SpringMVC的项目中使用spring-data-mongodb驱动包进行读写mongodb。包的pom.xml如下 &lt;dependency&gt; &lt;groupId&gt;org....原创 2018-11-08 15:49:35 · 2064 阅读 · 0 评论 -
遇到问题--mongodb--Prematurely reached end of stream
转载请注明出处: 遇到问题–mongodb–Prematurely reached end of stream遇到问题spring boot执行比较频繁的大数据量mongodb查询时报错2018-10-18 02:21:10.414 ERROR 1 --- [nio-9999-exec-1] c.m.s.support.web.MFErrorController : 服务器出现异常...原创 2018-10-18 15:56:30 · 15598 阅读 · 0 评论 -
遇到问题---MongoSocketReadException: Exception receiving message
转载请注明出处:遇到问题—MongoSocketReadException: Exception receiving message遇到问题线上运行的SpringBoot项目隔一段时间 随机报错如下:java.net.SocketException: Connection reset at java.net.SocketInputStream.read(SocketInputStream....原创 2018-09-25 20:01:31 · 11493 阅读 · 9 评论 -
Spring Boot配置MongoDB多数据源
我们在之前的文章中已经学习了如何在Spring Boot中连接MongoDB数据库。 Spring Boot中使用MongoDB数据库 实际项目中我们可能需要连接多个MongoDB数据源，比如用户库user，日志库log。本章我们来记录连接多个数据源的步骤，以两个数据源为例，多个数据源类推。数据源配置文件配置两个数据源我们之前的配置是配置在application.propertie...原创 2018-07-18 19:34:56 · 10979 阅读 · 5 评论 -
遇到错误----Mongodb----导出数据报错 Sort operation used more than the maximum 33554432 bytes of RAM
遇到的情况线上的列表在运行过程中突然爆出了一个Mongodb 查询的BUG，错误如下： “exception”:”org.springframework.data.mongodb.UncategorizedMongoDbException”, “message”:”Query failed with error code 96 and error message ‘Executor...转载 2017-11-29 16:30:14 · 6382 阅读 · 0 评论 -
遇到的问题---MongoDB的java驱动的坑---启用副本集后id的update无效
情况我们有文档如下: { “_id”: ObjectId(‘59f189e9861afe7aa6d684b0’), “mobile”: “12345678”, “reason”: 18, “createOper”: “zhangzequan”, “createDate”: ISODate(‘2017-10-26T07:08:25.669Z...原创 2017-11-02 14:06:00 · 1957 阅读 · 0 评论 -
遇到问题----MongoDB---JAVA--大批量操作先删后存时偶尔出现保存的文档也被删除
现象这与MongoDB内部执行顺序的有关。先说下我们的场景。数据库中有大量的数据需要 重新 更新。我们使用的是java驱动，mongotemplate.save如果文档存在，则只会更新文档。因为数据单个文档 的结构很复杂， 我们担心使用save不能正确的更新文档所以使用了关系型数据库上的操作逻辑。就是在逻辑层，java操作中 执行先删除原文档再保存新文档(id)保持一致。如果保存的文档 大小很大的原创 2017-06-16 10:46:03 · 2564 阅读 · 0 评论 -
MongoDB----时间查询---时间为String时的统计查询
MongoDB有自己的时间类型ISODate。如果使用ISODate的话在MongoDB中就能很方便的进行时间的统计。格式如下db.products.find({"date": {"$gte": new ISODate("2017-04-12 08:14:15.656")}});但是有时候MongoDB的时间字段不小心存储成了String类型。在Mysql中可以使用TO_Day很方便的把Strin原创 2017-04-14 11:39:31 · 20764 阅读 · 3 评论 -
MongoDB----数据结构---数据结构优化修改
在使用MongoDB开发的过程中，因为它的方便性，很多数据都使用了内嵌文档的形式保存。但是这样的结构在后期的开发过程中造成了很多问题。深刻的体会到了，MongoDB可以不设计集合的结构和数据类型即可使用，但不代表它不需要数据结构设计。一个好的系统运作，肯定需要对MongoDB的数据结构进行合理的设计才能高效运行。当然，我也不建议在业务初期就进行严格的数据结构设计，因为在开发初期业务变化快。可以在业原创 2017-04-18 11:25:38 · 4409 阅读 · 0 评论 -
MongoDB官方C#驱动中查询条件Query用法
Query.All("name", "a", "b");//通过多个元素来匹配数组 Query.And(Query.EQ("name", "a"), Query.EQ("title", "t"));//同时满足多个条件 Query.EQ("name", "a");//等于 Query.Exists("type", true);//判断键值是否存在 Query.GT("val原创 2014-10-10 11:09:43 · 7692 阅读 · 0 评论 -
MongoVUE破解
MongoVUE是个免费软件，但超过15天后功能受限。可以通过删除以下注册表项来解除限制：[HKEY_CURRENT_USER\Software\Classes\CLSID\{B1159E65-821C3-21C5-CE21-34A484D54444}\4FF78130]把这个项下的值全删掉就可以了。原文链接:http://www.cnblogs.com/silentjes转载 2014-08-15 14:16:19 · 2170 阅读 · 0 评论 -
可视化操作工具 MongoVUE Document更新
1. 更新字段，右键点击数据库表->选择Update2. 第一个框中输入3. { "age":24}点击“Count”按钮查看记录条数，点击“Find”按钮查看记录详细4. 第二个框中输入5. { $set: {"name":"zoe"}}意思是把name属性设置为zoe6. 点击“Update All”完成操作7. 如图原创 2014-01-20 16:55:16 · 2577 阅读 · 0 评论 -
用C#操作Mongodb(c#mongodb驱动)
MongoDB的C#驱动基于.Net 3.5的 必要用.net 3.5以上的框架1.对数据库的操作主要还是增删改查 2.了解c#操作mapreduce的语法我们先布置驱动环境，再通过实例来了解一下相关操作语法。方法一：驱动工程直接下载：https://github.com/mongodb/mongo-csharp-driver/downloa原创 2013-02-26 13:53:07 · 10492 阅读 · 0 评论 -
Mongodb的生僻问题分析
下面来看Russell对MongoDB一些常见及生僻的问题做出分析：32位 vs 64位现在大多数的服务器都对32位操作系统实现支持，更有许多新型硬件支持着允许更多RAM的64位操作系统。MongoDB也同时发布了32位及64位两个版本的数据库。归结于MongoDB使用的内存映射文件，32位版本只支持2G数据的存储。对于标准的Replica Set，MongoDB只拥有单一原创 2013-10-14 17:41:47 · 2312 阅读 · 0 评论 -
java操作mongodb
首先下载驱动:http://download.youkuaiyun.com/detail/q383965374/6209691官网下载驱动:https://github.com/mongodb/mongo-java-driver/downloads驱动源码下载:https://codeload.github.com/mongodb/mongo-java-driver/zip/mas原创 2013-09-26 15:43:08 · 6405 阅读 · 2 评论 -
Mongodb 安装篇(Linux版+windows版)
(执行的命令用绿色注明，备用命令用蓝色注明)Mongodb是最近比较热门的非关系型数据库。 下面是虚拟机下linux版的安装步骤。 安装环境：虚拟机:Oracle VM virtualbox 4.0.6Linux：CentOS 5.6 1. 下载mongodb网址：http://www.mongodb.org/原创 2013-01-15 16:38:39 · 3336 阅读 · 0 评论 -
mongodb mapreduce分析
目前发现mapreduce的用法有两种:一：计数以及实现聚合函数统计数据二：对数据进行分组简化或者构造自己想要的格式 现在普遍的用法是第一种，对于第二种用法我们会分析一些格式怎么构造。 环境：虚拟机:Oracle VM virtualbox 4.0.6Linux：CentOS 5.6mongovue(推荐使用，一个可视化的mongodb客户端，下载地址:http原创 2013-01-29 15:03:19 · 8688 阅读 · 6 评论 -
c#操作mongodb防止重复插入
原理：把可以唯一标识的字段提出来放在字符串列中，当字符串不包含要插入的数据时再进行数据操作 MongoClient client; MongoServer server; MongoDatabase database; client = new MongoClient("mongodb://192.168.0.4原创 2013-05-09 18:05:30 · 3921 阅读 · 0 评论 -
C#把mongodb导入sqlsever
原理很简单 就是把mongodb中的数据提出来 插入sqlsever中首先要在mongodb中添加mongodb字段和sqlsever字段对应的集合field。格式：{ "sqlsever字段" : "name", "mongodb字段" : "name"} MongoClient client;原创 2013-05-08 18:06:38 · 1990 阅读 · 0 评论