shell 导入、导入 mongoDB脚本

Mongodb通过shell脚本增量备份到HDFS 用Mongodb自带的Mongoexport,通过shell脚本的方式进行增量备份到HDFS上 1.思路介绍: Mongodb安装目录下bin目录里有两个工具:mongoexport和mongodump这两个工具可以实现备份mongodb的数据。用法也类似,区别这里不做说明,自行搜索。mongoexport可以导出数据到外部文件中,mongoexport通过指定参数的方式来索要备份的mongo 阅读详情

 主要是mongoexport,mongoimport两个命令,导出导入脚本一下作为参考,有什么更好的可以在评论区留言,此篇文章主要为了刚接触mongo的同学减少开发时间

#!/bin/sh


startTime=$(date +%F -d" 1 day ago") 
endTime=$(date +%F )
fileName="$startTime"_back.json
echo $fileName
echo $startTime
echo $endTime
query='{"createdAt":{$gte:ISODate("'"$startTime"'T00:00:00Z")}, "createdAt":{$lt:ISODate("'"$endTime"'T00:00:00Z")}}'
echo $query
//导出昨天一整天的数据,放到文件中
mongoexport -h 192.168.1.231 -u collector -p bjsdzk2017  -d sdzk-data -c RealTimeData -o /data/back/"$fileName" -q "$query"

导入,将data/back文件夹中的文件依次导入mongo数据库中 

#!/bin/sh

cd /data/back
for fileName in `ls *_back.json`
do

mongoimport -h 192.168.1.231 -u collector -p bjsdzk2017 -d sdzk-data -c RealTimeData  --file $fileName
	if [ $? -ne 0 ];then
		echo  $fileName fail
	else
		echo  $fileName success

		rm -rf $fileName
	fi
done

记得chmod加权限 

 

 

 

LAMMPS实战:如何用ReaxFF力场模拟碳氢化合物热解(附完整脚本) 本文提供了一份使用LAMMPS软件中ReaxFF反应力场模拟碳氢化合物热解过程的完整实战指南。内容涵盖从环境准备、力场参数选择、能量最小化,到升温恒温动力学模拟的完整脚本编写,并介绍了基于轨迹文件的产物分析方法,帮助计算化学与材料科学研究者快速上手这一关键的分子动力学仿真技术。 阅读详情

相关推荐

重访时间与覆盖分析的stk操作

1.打开stk 2.创建一个新的场景,命名为Test,选择地球为场景星球,若为金星,可在Central Body里选择Venus(金星自转周期慢,自转周期243天,卫星轨道变化不明显)(其中start stop时间可设置长一些) 3.插入一个AreaTarget或者place,以AreaTarget为例 选择Pattern,Add三个点(用法可见前面的博客,有时候编程的代码也可以帮助理解stk的操作) 4.插入Satellite,选择Orbit Wizard(若想设置卫星的六根数也可

weixin_42664107的博客 1万+

【转】MongoDB导入导出以及数据库备份

-------------------MongoDB数据导入与导出------------------- 1、导出工具:mongoexport 1、概念: mongoDB中的mongoexport工具可以把一个collection导出成JSON格式或CSV格式的文件。可以通过参数指定导出的数据项,也可以根据指定的条件导出数据。 2、语...

aao41053的博客 1063

国产麒麟系统下用Rider开发C#桌面应用:从环境配置到Avalonia UI实战

本文详细介绍了在国产麒麟系统上使用JetBrains Rider开发C#桌面应用的完整流程,重点讲解了Avalonia UI框架的实战应用。从环境配置、Rider安装到Avalonia项目创建和UI开发技巧,全面覆盖了在非Windows环境下进行C#开发的关键步骤和优化建议,助力开发者高效构建跨平台桌面应用。

weixin_27791839的博客 387

mongodb批量插入数据脚本

学习mongodb新技能总数需要一些基础数据,有了基础数据才可以练习下增删改查、聚合、索引优化等问题。这里就分享下生成的技巧和示例,回头有新的还会补充。 基础 批量生产脚本都是一部分一部分组成的,了解下基础 输出语句 用于调试脚本 console.log("将输出到控制台") 随机数 测试数据,用随机数可以生成不同的数据。随机数比递增数的优势是能生成练习聚合用的数据 #随机生成0-1之间的数 var a = Math.random(); console.log(a); #随机生成0-

zhanwuguo8346的博客 2856

ParaView: 从 2 或 3 个标量创建向量

ParaView: 从 2 或 3 个标量创建向量

希望我的博客,能帮上你解决学习中工作中所遇到的问题 583

081、LLC谐振变换器的短路特性与保护

本文深入分析了LLC谐振变换器在短路工况下的特性与保护策略。作者通过实际案例指出,LLC在输出短路时会出现谐振电流失控、ZVS条件丧失等危险现象,导致MOS管炸毁。文章详细阐述了短路保护的三大难点:响应速度、频率与电流的耦合、重启策略,并提出了硬件级快速保护、频率快速拉升、打嗝模式等实用解决方案。作者分享了关键参数设计经验,包括电流检测阈值设置、最高频率限制和保护响应时间控制,并通过实测波形验证了保护效果。最后总结出五点重要经验,强调硬件保护的必要性和系统设计的注意事项,为LLC变换器的短路保护设计提供了有

Jack010169的博客 75

mongoimport 按json格式导入,date 日期 $date 的处理

在mongodb2.6.4里头,可以这样导入: {}

Longerandlonger的专栏 6279

【制作100个Unity游戏之36】用unity从零开始实现类《开心消消乐》的三消类消除解压小游戏

Unity甜品消除游戏开发摘要 本文介绍了使用Unity开发甜品消除游戏的核心实现步骤: 冰块阵列生成 通过GlobalDef定义全局参数(9行7列网格) IceSpawner脚本动态生成网格化冰块阵列 添加Resolution脚本实现多分辨率适配 随机水果生成 创建FruitSpawner作为水果容器 FruitItem脚本管理水果属性(行列索引、类型) 支持动态创建水果精灵并设置位置 关键技术点 使用Instantiate动态生成预制体 通过localPosition精确控制网格布局 分辨率适配算法保持

向宇的博客,专注php/web全栈 unity游戏开发,欢迎大家评论纠错 1289

mongodb操作命令------shell脚本启动-插入

一、启动 1、  启动mongodb数据库服务,如果数据库已经被注册Windows自带的服务,并且服务在开机的时候,已经启动,这一步可以省略 2、  到mongodb文件存放文件夹,并在进入bin目录,运行mongo命令如下: E:\nosql\mongodb\bin>mongo 127.0.0.1:9988 MongoDB shell version: 2.0.3-rc1 co

lgh1117的专栏 4532

基于SAGE算法的宽带信道参数估计算法的MATLAB仿真

本文将介绍如何使用MATLAB进行SAGE算法的仿真,以便更好地理解和应用该算法。SAGE算法是一种基于最大期望(Expectation-Maximization)方法的迭代估计算法,用于估计未知的参数。在宽带信道参数估计中,SAGE算法通过迭代优化来估计信道的传输函数。总结起来,本文介绍了如何使用MATLAB进行基于SAGE算法的宽带信道参数提取算法的仿真。通过以上步骤,我们可以得到估计的信道响应,并与真实信道响应进行比较。此外,SAGE算法还可以与其他信道估计算法相结合,以提高估计的准确性和性能。

CodeRoarX的博客 1075

【同等学力】2005-数学⭐✨

有r个正方形排成一行,今用红、黄、白、蓝四种颜色给这个r个正方形染色,每个正方形只能染一种颜色,如果要求染红、黄、白色的正方形分别至少出现一个,问有多少种不同的染法?3、(4分)设G是一个有n个结点m条边的连通简单平面图,若n≥3,则m≤3n-6.4、(4分)证明:任何连通简单平面图至少有一个结点的度数不超过5

super_mochi1 306

使用shell脚本定期备份和恢复MongoDB

在MongoDB中,mongodump是一个非常实用的工具,用于创建数据库的备份。这个工具可以将数据库的内容导出到一个JSON文件中。然后我们可以使用mongorestore将这个备份文件导入到另一个数据库中。如果我们结合Docker和循环使用,就可以自动化这个过程,并记录每个步骤的结果。我们创建一个Docker镜像,镜像内包含mongodump工具。Dockerfile内容如下。FROM ubu...

fastboot 719

Python爬虫实战:利用Playwright与反反爬技术抓取Crunchbase企业数据

在当今数据驱动的商业环境中,获取准确的企业信息对于市场分析、竞争情报和投资决策至关重要。Crunchbase作为全球领先的企业信息平台,包含了数百万家公司、投资者和关键人员的详细数据。本文将深入探讨如何使用Python最新爬虫技术Playwright,结合多种反反爬策略,高效抓取Crunchbase企业数据。我们将从爬虫基础概念讲起,逐步深入到高级技巧,并提供完整的代码实现,帮助读者掌握现代网络数据采集的核心技术。网络爬虫技术自互联网诞生以来经历了显著演变。

2201_76125261的博客 1832

(shell脚本) 含特殊分隔符‘^‘的文件数据导入MongoDB(1)

MongoDB记录博客编写测试 博客编写测试 第一次使用csdn的markdown编写测试。

qq_43380180的博客 3650

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

(shell脚本)将文件数据转为csv格式导入MongoDB(2)

文章目录简介 简介 上篇文章介绍了将文本数据转为JSON格式导入MongoDB。 https://blog.youkuaiyun.com/qq_43380180/article/details/109203607

qq_43380180的博客 788

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

mongo数据定时导入mysql_MongoDB数据库定时自动备份Shell脚本

MongoDB数据库定时自动备份Shell脚本最初发表2017年11月23日近期在生产环境中碰到MongoDB数据库备份问题,所以整理了一下脚本,大家拿去尽管享用。在MongoDB中创建备份账号使用管理员账号登录MongoDB数据库:[root@renwolecomdbs /]$ mongoMongoDB shell version v3.4.9connecting to: mongodb://1...

weixin_28941715的博客 199

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

python执行shell脚本、执行mongodb_【记录】Mac本地运行Python脚本把MongoDB数据导入SOLR...

折腾:后,此时之前同事已经实现了基本的搜索功能,现在要去合并到本地项目中。所以先要去运行其处理数据的脚本,把数据从MongoDB导入到SOLR中。先去安装新增的库:➜xx git:(master) ✗ cat Pipfile[[source]]verify_ssl = truename = "pypi"[packages]flask = "*"flask-restful = "*"flask-...

weixin_39586235的博客 102

mongodb批量导入数据

mongodb批量导入数据1.生成批量脚本数据文件,如果数据量过大,可拆分成多个文件2.编写执行shell脚本,脚本分别读取各数据文件,并写入mongodb中a文件内容:db.blacklist.insert({"_id":"132xxxxxxx1"})db.blacklist.insert({"_id":"132xxxxxxx2"})db.blacklist.insert({"_id":"13.

guanyq 1128

mongodb里的集合数据迁移到mysql库

1,在mongodb上导出数据,写个脚步expmongo.sh,shell脚本如下 #!/bin/sh datestr=`date '+%Y-%m-%d'` /usr/local/mongodb/mongodb-linux-x86_64-2.4.4/bin/mongoexport -im_user -pxxxeedd -d im -c message -f txnType,issNo,sn,mer...

csdn's blog 1万+

MongoDB导入导出

导出 mongoexport --port 30000 -d itpsdsc -c sys_menu -o /home/menu1.json #! /bin/bash mongoexport --port $1 -d $2 -c $3 -o $4 >> $3_export.log 2>&1 导出命令 sh sys_menu_export.sh 30000...

技术札记 214

MongoDB批量数据导入终极指南:Robo 3T自动化处理多个文件

Robo 3T(前身为Robomongo)是一款开源的MongoDB管理工具,支持跨平台使用,能够帮助用户轻松实现MongoDB批量数据导入与自动化处理多个文件,显著提升数据管理效率。 ## 准备工作:安装与连接MongoDB 在开始批量数据导入之前,需要先确保Robo 3T已正确安装并连接到MongoDB数据库。 ### 安装Robo 3T 1. 克隆Robo 3T仓库:`git clone

gitblog_00774的博客 399

执行sh文件 进行MongoDB的业务逻辑导入

将从HDFS中的数据转化为Json格式写入文件后,十个文件的文件名为 文件名_01 ...._02 ....03格式。 编写个简单的sh文件 通过for do循环让i+1 文件名对应上就可以的- -执行时要传入文件名称以及需要导入的数据文件的路径,之所以要传进去 也是为了方便项目后续更改目录嘛~   .sh文件:    然而并没有什么乱用! 发现 ./mongo -h 10.1.235...

weixin_33877885的博客 179

将mysql数据导为csv再导入到mongodb中

shell脚本 mysql2mongodb.sh #[root@localhost tmp]# vim mysql2mongo.sh mysql -h127.0.0.1 -uroot -p123456 -P3306 -N -e " SELECT CONCAT(' SELECT ',GROUP_CONCAT( CONCAT('',c.COLUMN_NAME ,'') ORDER BY

c_enhui的专栏 1691

用shell脚本配合awk文本处理工具进行文件处理

由于项目是运行在linux环境下。需要统计文件中的记录金额总和等功能,相比于是提供了shell脚本处理文件的工具类

香菇猫的博客 662

使用MongoDB Shell执行json脚本文件

使用MongoDB Shell执行json脚本文件

IT小小白的博客 1470

python导入mongodb数据_Python将数据从MongoDB导入MySQL_MYSQL_Think tank

MySQL Shell 8.0.13(GA)引入了一项新功能,允许您轻松地将JSON文档导入MySQL。这篇新功能的基础知识在之前的博客文章中有所描述。在本博客中,我们将提供有关此功能的更多详细信息,重点关注许多人感兴趣的实际用例:如何将MongoDB中的JSON数据导入MySQL。可以应用相同的“配方”将数据从其他文档存储数据库导入MySQL,只要它们能够生成或导出数据到JSON即可。无论出于何...

weixin_33054119的博客 565
上一篇: Spring Boot2 源码 run > refreshContext > invokeBeanFactoryPostProcessors方法 (六)
下一篇: linux shell 启动、停止、重启、清除日志 脚本
三笠爷
博客等级 码龄9年 18粉丝 58原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值