爬虫系列之mongodb

最新推荐文章于 2023-04-02 19:34:06 发布
最新推荐文章于 2023-04-02 19:34:06 发布
阅读量453 收藏 1
点赞数 1
分类专栏： 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_43677746/article/details/108933758
版权

mongodb

MongoDB是一个基于分布式文件存储的数据库。由C++语言编写。旨在为WEB应用提供可扩展的高性能数据存储解决方案。
MongoDB是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。它支持的数据结构非常松散，是类似json的bson格式，因此可以存储比较复杂的数据类型。Mongo最大的特点是它支持的查询语言非常强大，其语法有点类似于面向对象的查询语言，几乎可以实现类似关系数据库单表查询的绝大部分功能，而且还支持对数据建立索引。
在这里插入图片描述

MongoDB的CURD

数据库操作

显示所有数据库 show dbs
在这里插入图片描述
切换数据库（如果要切换的数据库不存在则创建）
use 数据库名
在这里插入图片描述
在数据库中增加集合（表）
db.表名.insert(数据)
在这里插入图片描述
删除数据库
db.dropDatebase()
在这里插入图片描述

集合操作

显示该数据库中的所有集合
show tables;
删除数据库中的集合
db.表名.drop()
在这里插入图片描述

文档操作

添加文档

注意如果没有指定_id则默认ObjectId,_id不能重复,且在插入后不可变

插入单条

user0={
    "name":"ys",
    "age":29,
    'hobbies':['game','book','match'],
    'addr':{
        'country':'China',
        'city':'HN'
    }
}
use test
db.user.insert(user0)
db.user.find()

在这里插入图片描述
插入多条

user1={
    "_id":1,
    "name":"ys",
    "age":29,
    'hobbies':['book','game','match'],
    'addr':{
        'country':'China',
        'city':'HN'
    }
}
 
user2={
    "_id":2,
    "name":"ymt",
    "age":29,
    'hobbies':['music','book','TV'],
    'addr':{
        'country':'China',
        'city':'HN'
    }
}
 
 
user3={
    "_id":3,
    "name":"yyh",
    "age":3,
    'hobbies':['game','paly','TV'],
    'addr':{
        'country':'China',
        'city':'HN'
    }
}
 
user4={
    "_id":4,
    "name":"yzm",
    "age":1,
    'hobbies':['sleep','milk','play'],
    'addr':{
        'country':'China',
        'city':'HN'
    }
}
 
user5={
    "_id":5,
    "name":"yzt",
    "age":1,
    'hobbies':['sleep','milk','play'],
    'addr':{
        'country':'China',
        'city':'HN'
    }
}
db.user.insertMany([user1,user2,user3,user4,user5])
db.user.find()

在这里插入图片描述

查看文档

1.比较运算
# SQL：=,!=,>,<,>=,<=
# MongoDB：{key:value}代表什么等于什么
# "$ne","$gt","$lt","gte","lte",其中"$ne"能用于所有数据类型

# 1.select * from user where name = "ys";
db.user.find({"name":"ys"})

在这里插入图片描述

# 2.select * from user where name !="ys";
db.user.find({"name":{"$ne":"ys"}})

在这里插入图片描述

# 3.select * from user where id > 2;
db.user.find({"_id":{"$gt":2}})

在这里插入图片描述

# 4.select * from user where id < 3;
db.user.find({"_id":{"$lt":3}})

在这里插入图片描述

# 5 select * from user where id >= 2;
db.user.find({"_id":{"$gte":2}})

在这里插入图片描述

# 6 select * from user where id <=2;
db.user.find({"_id":{"$lte":2}})

在这里插入图片描述

2.逻辑运算
# SQL：and or not %
# MongoDB:字典中逗号分隔的多个条件是and关系,"$or"的条件放到{}内,$not,$mod类似
# 1 select * from user where id>=2 and id < 4;
db.user.find({"_id":{"$gte":2,"$lt":4}})

在这里插入图片描述

# 2 select * from user where id >= 2 and age < 20;
db.user.find({"_id":{"$gte":2},"age":{"$lt":20}})

在这里插入图片描述

# 3 select * from user where id >=5 or name = "yzm";
db.user.find({"$or":[{"_id":{"$gte":5}},{"name":"yzm"}]})

在这里插入图片描述

# 4 select * from user where id % 2 = 1;
db.user.find({"_id":{"$mod":[2,1]}})

在这里插入图片描述

# 5 select * from user where id % 2 != 1;
db.user.find({"_id":{"$not":{"$mod":[2,1]}}})

在这里插入图片描述

3.成员运算
# SQL in,not in
# MongoDB $in $nin
# 1 select * from user where age in (1,2,3);
db.user.find({"age":{"$in":[1,2,3]}})

在这里插入图片描述

# select * from user where name not in ('yzt','yzm');
db.user.find({"name":{"$nin":['yzt','yzm']}})

在这里插入图片描述

4.正则匹配
# SQL regexp 正则
# MongoDB /正则表达式/i
# 1 select * from user where name regexp '^y.*?(m|t)$';
db.user.find({"name":/^y.*?(m|t)$/i})

在这里插入图片描述

5.取指定字段
# 1 select name,age from user where id=3;
# 字段:1 显示该字段   字符:0 不显示该字段
db.user.find({"_id":3},{'name':1,'age':1})

在这里插入图片描述

db.user.find({"_id":3},{"addr":0})

在这里插入图片描述

6.查询数组
# 1 查看有sleep爱好的人
db.user.find({"hobbies":"sleep"})

在这里插入图片描述

# 2 查看既有TV爱好又有music爱好的人
db.user.find({"hobbies":{"$all":["TV","music"]}})

在这里插入图片描述

# 3 查看第3个爱好为play的人
db.user.find({"hobbies.2":"play"})

在这里插入图片描述

# 4 查看所有人最后两个爱好
db.user.find({},{"hobbies":{"$slice":-2},"age":0,"_id":0,"name":0,"addr":0})

在这里插入图片描述

# 5 查看所有人的第2个到第3个爱好
db.user.find({},{"hobbies":{"$slice":[1,2]},"age":0,"_id":0,"name":0,"addr":0})

在这里插入图片描述

7.排序
# 排序: 1代表升序 -1代表降序
db.user.find({},{"name":1,"age":1,"_id":0}).sort({"age":1})

在这里插入图片描述

# 如果年龄一直，则按照id从大到小排序
db.user.find({},{"name":1,"age":1}).sort({"age":1,"_id":-1})

在这里插入图片描述

8.分页
# 分页: limit代表取多少个文档 skip代表跳过多少个文档
db.user.find().limit(2)

在这里插入图片描述

# 跳过第一个 取下面的2个
db.user.find().limit(2).skip(1)

在这里插入图片描述

9.查询数量
db.user.find({"age":{"$gte":20}}).count()

在这里插入图片描述

10.其他查询
# 1 如果匹配的值为null，那么得到的结果为没有这个key的和有个key但是值为null的
db.user.insert({"hope":"healthy"})
db.user.insert({"hope":null})

在这里插入图片描述

# 2 查找所有
db.user.find() #等于 db.user.find({})
db.user.find().pretty() # json输出

# 3 查找匹配成功的第一个
db.user.findOne({"_id":{"$gt":3}})

在这里插入图片描述

修改文档

1.覆盖更新
# 除非是删除 否则_id是始终不会变的
db.user.update({"age":3},{"name":"yyhbb"})
# 找到年龄为3岁的 然后整条覆盖

在这里插入图片描述

# 2 一种最简单的更新就是用一个新的文档替换匹配的文档
# 这适用于大规模迁移的情况
var obj=db.user.findOne({"_id":2})
 
obj.username=obj.name+'SB'
obj.hobbies_count++
delete obj.age
 
db.user.update({"_id":2},obj)
2.局部更新

通常文档只会一部分需要更新。可以使用原子性的更新修改器。指定对文档中的某些字段进行更新。更新修改器是种特殊的键，用来指定复杂的更新操作，比如修改增加或者删除。

# 1 update user set name="yyh" where id = 3;
db.user.update({"_id":3},{"$set":{"name":"yyh"}})

在这里插入图片描述

# 2 没有匹配成功则新增一条 {"upsert":true}
db.user.update({"_id":6},{"$set":{"name":"ycy","age":63}},{"upsert":true})

在这里插入图片描述

# 3 默认只改匹配成功的第一条 
# {"multi":true} 改多条
db.user.update({"name":"ys"},{"$set":{"name":"ystest"}})
db.user.update({"name":"ys"},{"$set":{"name":"ys1111111"}},{"multi":true})

在这里插入图片描述

# 4 修改内嵌文档 （字典）
db.user.update({"name":"ys1111111"},{"$set":{"addr.city":"HNLH"}})

在这里插入图片描述

# 5 修改内嵌文档（列表）
db.user.update({"name":"ys1111111"},{"$set":{"hobbies.2":"TV"}})

在这里插入图片描述

# 6 删除ys1111111的爱好 $unset
db.user.update({"name":"ys1111111"},{"$unset":{"hobbies":""}})

在这里插入图片描述

3.自增或自减
# $inc 
# 1 所有人年龄增加一岁
# 有该字段的自动增加1 没有该字段的创建该字段，并且值为1
db.user.update({},{"$inc":{"age":1}},{"multi":true})

在这里插入图片描述

# 2 所有人年龄减少2岁
db.user.update({},{"$inc":{"age":-2}},{"multi":true})
4.添加或删除组内元素
# 添加删除数组内元素: $push $pop $pull
# 在数组内添加元素 $push
# 1 名字为ys的人添加一个爱好read
db.user.update({"name":"ys"},{"$push":{"hobbies":"read"}})

在这里插入图片描述

# $pop 安装位置且只能从开头或结尾删除元素
db.user.update({"name":"ys"},{"$pop":{"hobbies":1}}) # 从尾部删
db.user.update({"name":"ys"},{"$pop":{"hobbies":-1}}) # 从首部删

在这里插入图片描述

# $pull 把符合条件的统统删掉
db.user.update({'addr.country':"China"},{"$pull":{"hobbies":"read"}},{"multi":true})

删除文档

# 1 删除多个中的第一个
db.user.deleteOne({"age":29})

在这里插入图片描述

# 2 删除国家为China的全部
db.user.deleteMany( {'addr.country': 'China'} )
# 3 删除全部
db.user.deleteMany({})

pymongo

在这里我们来看一下Python3下MongoDB的存储操作，在开始之前请确保你已经安装好了MongoDB并启动了其服务，另外安装好了Python的PyMongo库。
pip install pymongo

连接MongoDB

import pymongo
client = pymongo.MongoClient(host='localhost', port=27017)
# 给客户端指定要操作的是哪个数据库 这里是test数据库
db = client.test
# 指定数据库后，选择数据库中要操作的表
collection = db.user
# 插入数据
info= {
    '_id': '10',
    'name': 'ycy',
    'age': 63
}
result = collection.insert_one(info)
Python爬虫-MongoDB
有关心情
07-06 1081
Python爬虫-MongoDB @(博客)[python, 爬虫, mongodb, 数据库, Python] Python爬虫-MongoDB 前言 与MySQL对比 启动/关闭MongoDB 操作 数据库操作 集合操作 数据操作 增 删 改 查 保存 运算符 高级操作 聚合 常用管道 常用表达式 安全性 与python交互 018.6.19 前言 如...
pymongo使用方法
weixin_30648963的博客
07-30 498
#!/usr/bin/env python # -*- coding:utf-8 -*- """ MongoDB存储 在这里我们来看一下Python3下MongoDB的存储操作，在本节开始之前请确保你已经安装好了MongoDB并启动了其服务，另外安装好了Python 的PyMongo库。 连接MongoDB 连接MongoDB我们需要使用PyMongo...
爬虫 第七讲 MongoDB
热门推荐
yangyusir的博客
04-29 5万+
爬虫 第七讲 MongoDB MongoDB是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。它支持的数据结构非常松散，因此可以存储比较复杂的数据类型。Mongo最大的特点是它支持的查询语言非常强大，其语法有点类似于面向对象的查询语言，几乎可以实现类似关系数据库单表查询的绝大部分功能，而且还支持对数据建立索引 SQL和NoSQL的主要区别 • 在SQL中层级关系:数据库->表->数据 • 在NoSQL中是:数据库->集合->数据 Mongo
爬虫入门（八）——MongoDB
木木的博客
08-01 1398
MongoDB是一个基于分布式文件存储的nosql数据库。在处理大数据的时候会比MySQL更有优势。爬虫的数据如果上了一个量级,可能用MongoDB会比MySQL更好
爬虫之MongoDB存储（下）
实践求真知
01-15 871
一 计数 1 代码 import pymongo # 一般来说，传入MongoDB的IP及端口即可，其中第一个参数为地址host， # 第二个参数为端口port（如果不给它传递参数，默认是27017） client = pymongo.MongoClient(host='localhost', port=27017) # MongoClient的第一个参数host还可以直接传入MongoDB...
python爬虫-爬虫项目实战之Scrapy抓手机今日头条App数据并存入MongoDB.zip
最新发布
03-07
在这个Python爬虫项目实战中，我们主要探讨了如何利用Scrapy框架抓取手机今日头条App的数据，并将这些数据存储到MongoDB数据库中。这个过程涵盖了多个关键知识点，包括Python编程、网络爬虫技术、Scrapy框架的使用...
Python爬虫：利用MongoDB存储图书馆借阅记录
为了确保爬虫的稳定性和效率，可以使用`requests`库替代`urllib`系列，因为它提供了更丰富的错误处理和HTTP请求功能。同时，可以使用`Scrapy`框架构建更复杂的爬虫项目，它提供了更完善的爬取结构和中间件支持。 ...
Python爬虫实战系列之四数据存储-5-6.pptx
12-04
关于爬虫数据存储问题，通常可以有三种选择： 文本文件（txt,json）或excel文件（csv,xlsx） 优势：使用方便，不需要第三方支持 劣势：健壮性差，扩展性差 数据库（mysql,mongoDB,redis,oracle…） 优势：良好...
python爬虫教程系列、从0到1学习python爬虫
06-10
python爬虫教程系列、从0到1学习python爬虫 python爬虫教程系列、从0到1学习python...Mysql，MongoDB数据库的python使用，多线程多进程爬虫的使用，css 爬虫加密逆向破解，JS爬虫逆向，分布式爬虫，爬虫项目实战实例等
爬虫之MongoDB存储（中）
实践求真知
01-14 712
一 点睛 我们可以利用find_one()或find()方法进行查询，其中find_one()查询得到的是单个结果，find()则返回一个生成器对象。 二 实战——一般查询 1 代码 import pymongo # 一般来说，传入MongoDB的IP及端口即可，其中第一个参数为地址host， # 第二个参数为端口port（如果不给它传递参数，默认是27017） client = pym...
python实现爬虫数据存到 MongoDB
12-16
在以上两篇文章中已经介绍到了 Python 爬虫和 MongoDB ， 那么下面我就将爬虫爬下来的数据存到 MongoDB 中去，首先来介绍一下我们将要爬取的网站, readfree 网站，这个网站非常的好，我们只需要每天签到就可以免费下载三本书，良心网站，下面我就将该网站上的每日推荐书籍爬下来。 利用上面几篇文章介绍的方法，我们很容易的就可以在网页的源代码中寻找到书籍的姓名和书籍作者的信息。 找到之后我们复制 XPath ，然后进行提取即可。源代码如下所示 # coding=utf-8 import re import requests from lxml import etree im
golang爬虫将爬取的数据存入mongodb
07-22
golang爬虫将爬取的数据存入mongodb
Python网络爬虫(十三)——MongoDB
止步听风的博客
05-23 611
简介 MongoDB 是一个基于分布式文件存储的数据库。由 C++ 语言编写。旨在为 WEB 应用提供可扩展的高性能数据存储解决方案。 MongoDB 是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。 启动 MongoDB 将 MongoDB 制作为 Windows 服务 启动 MongoDB 之后，如果需要一直使用 MongoDB 的服务，该终端就不能关闭，而且在启动的时候需要指定 data 的路径，这是有点麻烦的。而通过将之制作成 Windo.
爬虫之MongoDB存储上
实践求真知
01-14 517
一 点睛 MongoDB是由C++语言编写的非关系型数据库，是一个基于分布式文件存储的开源数据库系统，其内容存储形式类似JSON对象，它的字段值可以包含其他文档、数组及文档数组，非常灵活。 二 安装 (venv) E:\WebSpider&gt;pip install pymongo 三 连接MongoDB import pymongo # 一般来说，传入MongoDB的IP及端口即...
爬虫--下载网站存储（MongoDB）
lipei_csdn的博客
08-01 973
该爬虫目的是下载网站页面并保存到MongoDB数据库，爬虫原型是《Web Scraping with Python》一书的第一章、第三章的代码，原代码是python2编写的，这里改用python3编写，在此基础上做一些恰当修改，补全爬虫完整，增强容错能力，支持robots检查、代理、限速、爬取深度设置。 from urllib.request import urlopen, URLError,...
10.网络爬虫—MongoDB详讲与实战
weixin_50804299的博客
04-02 8530
网络爬虫—MongDB详讲与实战MongoDBMongoDB安装创建数据目录1.数据库操作2.集合操作 3.文档操作 4.索引操作 5.聚合操作 6.备份与恢复 MongoDB增删改查 mongodb集合的增删改查 数据插入到表 数据的查看 删除数据 更新数据 PyMongo 连接数据库 第二步 选择需要使用的数据库和集合 PyMongo增删改查 实战 某电影top250排名获取并写入MongoDB 数据获取 写入MongoDB
Python爬虫——MongoDB入门到精通（一）
R71802的博客
06-09 925
数据库分为关系型和非关系型数据库爬虫里面用得比较多的菲关系型数据库:，是介于关系型和非关系型数据库之间的产品 关系型的 数据库–> 表–> 数据 字段 id name age 非关系型 数据库–> 集合–> 数据(文档)记录 采取的是来进行数据存储和编码运输的 是的改进版本 会把每个字段长度存储在字段的头部(仅作了解即可)MongoDB的中文帮助文档网址MongoDB下载地址推荐下载xxx.msi 因为一般会自动配置环境变量 选择 MongoDB Community Server 然后在Package这
Python 爬虫 + MongoDB
Hwaphon
08-30 3595
在以上两篇文章中已经介绍到了 Python 爬虫和 MongoDB ， 那么下面我就将爬虫爬下来的数据存到 MongoDB 中去，首先来介绍一下我们将要爬取的网站, readfree 网站，这个网站非常的好，我们只需要每天签到就可以免费下载三本书，良心网站，下面我就将该网站上的每日推荐书籍爬下来。 利用上面几篇文章介绍的方法，我们很容易的就可以在网页的源代码中寻找到书籍的姓名和书籍作者的信息。找到之
爬虫数据存入MongoDB
qq_43086106的博客
01-11 1782
Scrapy+pymongo 首先开启本地的MongoDB服务 sudo service mongodb start 在settings.py文件中添加数据库的配置项 MONGO_HOST = "127.0.0.1" # 主机IP MONGO_PORT = 27017 # 端口号 MONGO_DB = "Spider" # 库名 MONGO_COLL = "heartsong" # ...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值