elasticsearch mysql mongodb 底层设计

最新推荐文章于 2025-06-23 17:37:17 发布
最新推荐文章于 2025-06-23 17:37:17 发布
阅读量516 收藏 1
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 基础知识 文章标签： elasticsearch mysql mongodb
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/iterate7/article/details/82194676
博客提及了elasticsearch、mysql和mongodb，它们均为信息技术领域常用工具，elasticsearch是搜索分析引擎，mysql是关系型数据库，mongodb是非关系型数据库。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

elasticsearch mysql mongodb

SQL术语/概念MongoDB术语/概念elasticsearch解释/说明
databasedatabaseindex数据库
tablecollectiontype数据库表/集合
rowdocumentdocument数据记录行/文档
columnfieldfield数据字段/域
indexindex本身就是搜索引擎索引
table joinMongoDB不支持不支持表连接
primary key主键,MongoDB自动将_id字段设置为主键es也支持_id, 没有的话自动uuidid
ElasticSearch实战（四十八）-Debeizum 实现 MySQL 数据实时同步方案
专注基础架构领域
09-25 922
前文我们通过 Canal 来实时同步数据，Debeizum 是一种比 Canal 更好的实时同步方案，它底层是基于 Kafka-connect 为核心构建的，可以完美对接 Kafka 家族生态，上游支持接入MongoDB、MySQL、PostgreSQL、SQL Server、Oracle、Db2、Cassandra、Vitess，下游是只支持接入 Kafka，然后我们再从 Kafka 中消费数据，可以选择 Kafka-connect 也可以选择 Logstash 来再做一层数据清洗，
mongodbmysql组合，帮你解决90%的问题！
m0_57700125的博客
07-21 1478
常见的分布式事务场景 分布式事务其实就在我们身边，你一直在用，但是你却一直不注意它。 转账 扣你账户的余额，增加别人账户余额，如果只扣了你的，别人没增加这是失败；如果没扣你的钱别人也增加了那银行的赔钱。 下订单/扣库存 电商系统中这是很常见的一个场景，用户下单成功了，店家没收到单，不发货；用户取消了订单，但是店家却看到了订单，发了货。 分库分表场景 当我们的数据量大了之后，我们可能会部署很多独立的数据库，但是你的一个逻辑可能会同时操作很多个数据库的表，这时候该如何保证所有的操作要么成功，要么失败。 分布式系
聊聊MongoDB（一）：MongoDB体系结构与底层原理
热门推荐
01-07 1万+
MongoDB体系结构与底层原理前言MongoDB体系结构NoSQL 和 MongoDBMongoDB 和RDBMS(关系型数据库)对比什么是BSONBSON在MongoDB中的使用MongoDB索引Index索引类型MongoDB 索引底层实现原理分析MongoDB架构MongoDB逻辑结构MongoDB的数据模型描述数据模型如何选择数据模型MongoDB 存储引擎存储引擎概述WiredTiger存储引擎优势WiredTiger引擎包含的文件和作用WiredTiger存储引擎实现原理写请求checkpoi
elasticsearch mongodb mysql_GitHub - zetmanagon/common-database-curd: mysql,mongodb,elasticsearch面向对...
weixin_36378232的博客
02-15 166
目录结构及流程Mysql微服务框架common-db-core、common-db-lib框架依赖mysql访问使用jpaweb服务使用springboot远程调用使用feignapi说明文档使用swagger主要代码类名功能com.gemantic.db.model.BaseModel建表必存在的字段，所有model的基类com.gemantic.db.client.BaseDBClient客户...
Elasticsearch & MongoDB核心技术解析
最新发布
AIHacksCash的博客
06-23 516
不定期分享高并发、高可用、高性能、微服务、分布式、海量数据、性能调优、云原生、项目管理、产品思维、技术选型、架构设计、求职面试、副业思维、个人成长等内容。BSON是MongoDB的内部数据交换格式，它基于JSON，但进行了扩展，支持更多的数据类型和复杂的嵌套结构。
redis,mongoDB,mysql,Elasticsearch区别
weixin_57763462的博客
10-09 811
MongoDB还提供了分布式存储、数据复制、故障转移等高可用性功能，适用于对数据结构灵活性要求较高、数据量较大的业务场景，如日志、社交网络、推荐系统等应用。Redis还提供了订阅/发布、事务、Lua脚本、主从同步等功能，适用于访问频繁、数据量较小，对性能要求较高的业务场景，如缓存、队列、计数器、排行榜等应用。ES基于倒排索引实现搜索、文本分析、动态映射、高亮显示等功能，适用于需要实时搜索和分析数据的业务场景，如日志分析、搜索引擎、多语言全文检索等应用。
MongoDB、ES、Redis、MySQL
m0_61763091的博客
01-18 2184
mongodb：存储业务数据（圈子，推荐的数据，小视频数据，点赞，评论等） redis：承担的角色是缓存层（提升查询效率） mysql：存储和核心业务数据，账户 MongoDB：是一个高效的非关系型数据库（不支持表关系：只能操作单表）,文件存储格式为 BSON（一种 JSON 的扩展） MYSQL : 用于存储安全性要求比较高的数据 REDIS : 存储数据格式简单 , 并且查询非常多的数据(用户缓存) MONGDB : 用户存储海量数据, 并且数据的安全性要求不高 mysql与elast
深入浅出理解MongoDB的设计与实现
weixin_33924220的博客
06-10 293
本文来自中生代技术群talk show“深入浅出理解MongoDB的设计与实现”总结稿。MongoDB是NoSQL的一种，它是面向文档存储。但是为什么使用MongoDB呢？ 以MongoDB为代表的NoSQL与传统的关系型数据库存储有何不同呢？本文精彩不容错过。 MongoDB是NoSQL的一种，它是面向文档存储。为什么使用MongoDB？这要先...
hbase hive elasticsearch ( elsearch es ) mysql mongodb 技术选型
fei33423的专栏
09-13 3189
1. hbase: hbase + phoenix: 强大的大数据 key-value + 大数据关系型引擎 (无 join,join 性能差) 单节点,可靠性差. 深入HBase架构解析（一） 详细模块图,和流程图 读写流程模块图, 无读写时序图. 启动注册流程,读写流程. 水平扩容, rowKey 设置要小心. 写快,读慢 (通过副本,和 分区 split )
【百亿级数据平滑迁移】底层存储mongo迁移到mysql
Old Wang的博客
10-17 1015
​ 去年底，我们完成了持续半年的mongo迁移mysql的动作，这是我在公司来做的持续时间最长，细节涉及最多，灰度切量最细的项目，持续时间长，有很大原因是在做技术升级时，业务需求一直也不断，相当于在给奔跑的汽车换轮胎，车不能停，轮胎边跑边换。​ 说下我们当前的数据量，涉及到的系统为库存域的业务系统。其中mongo 为6个分片部署，每个分片一主两从：​以上数据为一年的数据量，mongo每天都会执行清理程序，保留近一年的数据，单依然数据量很大不支持事务并发量高时性能差熟悉mongo运维的人少。
MySQL、redis、MongoDB、elasticsearch的对比
hello_word_demo1的博客
06-22 2293
热门数据库的对比选择
千万级Mysql-MongoDB性能对比报告
10-16
千万级Mysql-MongoDB性能对比报告
MongoDB 数据自动同步到 ElasticSearch
01-06 3861
我们产品中需要全文检索的功能，后端数据存储主要使用了 MySQL + MongoDB，而其中需要检索的内容是在 MongoDB 中的。 MongoDB 本身是自带文本索引功能的，但是，不支持中文。术业有专攻，MongoDB 是数据存储应用，那么全文检索就使用专业的全文搜索引擎吧。 预选的几个选手有：Solr、ElasticSearch、Xapian、Sphinx、XunSearch。由
asp.net怎么实现按条件查询_上亿数据怎么玩深度分页？兼容MySQL + ES + MongoDB
weixin_39639568的博客
11-20 185
面试题 & 真实经历面试题：在数据量很大的情况下，怎么实现深度分页？大家在面试时，或者准备面试中可能会遇到上述的问题，大多的回答基本上是分库分表建索引，这是一种很标准的正确回答，但现实总是很骨感，所以面试官一般会追问你一句，<font color="red">现在工期不足，人员不足，该怎么实现深度分页？</font>这个时候没有实际经验的同学基本麻爪，So，请听我娓...
MySQL vs ElasticSearch vs MongoDB
wang_zhenwei的博客
09-21 7382
Anfang des Jahres habe ich mySQL und MongoDB aus Sicht der Daten verglichen, jetzt geht es um Leistung. Neu im Bunde ist dieses Mal ElasticSearch, eine nicht-Datenbank, die sich vor allem mit schnel
es mysql mongo_怎样兼容 MySQL + ES + MongoDB 完成上亿数据的深度分页？_后端开发
weixin_28839699的博客
03-04 515
口试题 & 实在阅历口试题：在数据量很大的状况下，怎样完成深度分页？人人在口试时，或许预备口试中大概会碰到上述的问题，大多的回覆基础上是分库分表建索引，这是一种很规范的准确回覆，但现实老是很骨感，所以口试官平常会诘问你一句，现在工期不足，人员不足，该怎样完成深度分页？这个时刻没有现实履历的同砚基础麻爪，So，请听我娓娓道来。凄惨的经验起首必需明白一点：深度分页能够做，然则深度随机跳页相对...
MongoDB+ElasticSearch搭建简单的POI搜索Demo
summer2333的博客
07-27 2359
    先说下项目的需求，需要从一堆Excel文件中提取POI数据到MongoDB中，然后同步MongoDB和ElasticSearch的数据，然后通过ES提供POI搜索的服务。这里需要注意的几点：     1.MongoDB和ElasticSearch是有开源的连接工具， Mongo-Connector，该工具在MongoDB与目标系统间同步数据，并跟踪MongoDB的oplog，保持操作与M...
快来学习SQL
Gettler的博客
10-15 9599
SQL 相关学习总结sql sever 2008 建库相关操作SQL 语句相关操作新建数据库建表插入数据查询语句 sql sever 2008 建库相关操作 连接到服务器 新建数据库 输入数据库相关参数 右键数据库名称，新建表 输入列名，数据类型等参数 右键小箭头设置主键等属性 SQL 语句相关操作 新建数据库 CREATE DATABASE [2859902680] --数据库名字（名字含数字数字要用[]，下同） on primary ( name = [2859902680_data],
Docker安装MySql、MongoDB、ES等数据库
Gscsd的博客
01-21 2107
原由 由于工作需要，经常要搭建项目单用的数据库，所以记录一下搭建数据库的步骤，好方便自己查找 MySQL //提前创建一个目录，用于存放配置 mkdir /opt/mysql_docker //拉取mysql镜像 docker pull mysql:5.7 // 创建容器 （如果要改端口，那么就不能加 --network=host， 不然后面指定端口不会生效）cd0:镜像名称前三位 docker run --network=host --restart=always --privileged=tru
基于数据库底层设计寻物发帖平台用什么技术
04-02
<think>嗯，用户问的是基于数据库底层设计寻物发帖平台该用什么技术。首先，我需要理解用户的需求。寻物发帖平台应该允许用户发布丢失或找到物品的信息，可能还需要搜索、匹配、用户交互等功能。所以数据库设计要支撑这些操作，同时考虑性能、扩展性和可靠性。 首先，数据库选型。常见的有关系型和非关系型。关系型比如MySQL、PostgreSQL，适合结构化数据，事务处理，保证ACID。寻物平台需要事务吗？比如用户发帖可能需要多个步骤，事务可以保证数据一致性。但如果有大量非结构化数据，比如图片、地理位置，可能需要非关系型如MongoDB。不过现在很多关系型数据库也支持JSON和空间数据，比如PostgreSQL的PostGIS。可能需要混合使用，但初期可能选关系型更合适，结构清晰，容易维护。 接下来是数据模型设计。核心实体应该有用户、帖子、物品、评论、消息等。用户表存基本信息，帖子表包括标题、内容、时间、类型（丢失/找到）、状态（已解决/未解决）。物品表可能需要和帖子关联，因为一个帖子对应一个物品。物品属性包括名称、类别、颜色、地点、时间等。地理位置很重要，用户可能需要按位置搜索，所以需要空间数据类型，比如PostGIS的geometry类型，或者存储经纬度。 索引优化。常用查询条件可能包括地点、时间、物品类别，所以这些字段需要加索引。全文搜索可能需要，比如用户用关键词搜索帖子内容，可以用MySQL的全文索引或者Elasticsearch。但Elasticsearch会增加系统复杂度，初期可能用数据库自带全文搜索，后期再扩展。 分库分表。如果数据量很大，单表性能可能不够。可以按时间或地区分片，比如按月份分表，或者按地理位置分库。但初期可能不需要，保持简单，等规模扩大后再考虑。 高可用和备份。主从复制，读写分离。比如主库处理写操作，从库处理读操作。定期备份，快照和binlog结合，保证数据恢复。 其他技术选型。缓存层如Redis，存储热点数据，比如热门搜索、用户会话。消息队列如Kafka或RabbitMQ，处理异步任务，比如发送通知、图片处理。图片存储用对象存储服务，如AWS S3或阿里云OSS，节省服务器资源，CDN加速访问。 扩展功能方面，可能需要推荐系统，根据用户历史或相似帖子推荐。或者机器学习模型识别图片中的物品，自动分类。但这些属于高级功能，初期可以暂缓，先做好核心功能。 安全性方面，数据库要防止注入，使用ORM或预处理语句。用户密码加密存储，比如bcrypt。敏感信息加密传输，HTTPS。权限控制，最小权限原则，不同角色访问不同数据。 总结的话，需要从数据库选型、数据模型、索引、扩展方案、高可用、缓存等方面考虑，结合具体需求选择合适的技术栈。同时考虑未来扩展，设计灵活的结构。</think>好的，我将从技术选型和底层设计角度，分步骤介绍如何构建一个寻物发帖平台的数据库系统： 一、核心数据库选型 1. **关系型数据库（推荐PostgreSQL）** - 支持JSON类型存储动态属性（如物品特征） - 集成PostGIS扩展处理地理位置查询 - 提供ACID事务保障发帖-匹配流程的原子性 - 示例表结构： ```sql $$CREATE TABLE posts ( post_id BIGSERIAL PRIMARY KEY, user_id INT REFERENCES users(user_id), post_type VARCHAR(10) CHECK (post_type IN ('LOST', 'FOUND')), title VARCHAR(120), location GEOGRAPHY(POINT), attributes JSONB, created_at TIMESTAMPTZ DEFAULT NOW() );$$ ``` 2. **搜索引擎（Elasticsearch）** - 实现模糊搜索（如$text:"黑色钱包"$） - 支持同义词扩展（手机→电话→移动设备） - 地理位置排序（距离用户3km内的帖子优先） 二、关键设计策略 1. **空间数据优化** - 使用R树索引加速地理围栏查询 - 预计算geohash值缩短响应时间 - 示例查询： ```sql $$SELECT * FROM posts WHERE ST_DWithin( location, ST_MakePoint(116.4074, 39.9042)::geography, 5000 );$$ ``` 2. **动态属性处理** - 使用JSON Schema验证数据结构 - 建立GIN索引加速JSON字段查询 - 示例索引： ```sql $$CREATE INDEX idx_attributes ON posts USING GIN (attributes);$$ ``` 3. **匹配算法存储** - 建立特征向量表存储文本embedding - 使用pgvector扩展实现相似度匹配 - 示例向量查询： ```sql $$SELECT * FROM posts ORDER BY attributes_vector <=> $1::vector LIMIT 10;$$ ``` 三、扩展架构设计 1. **读写分离架构** ```mermaid graph TD A[客户端] --> B[负载均衡] B --> C[主库-写操作] B --> D[从库1-读操作] B --> E[从库2-读操作] ``` 2. **缓存策略** - Redis缓存热点数据： - 用户发帖频率控制（$incr user:123:post_count$） - 实时匹配队列（LPUSH/RPOP实现） - 地理位置缓存（GEOADD/GEOSEARCH） 四、性能优化措施 1. **分区表设计** ```sql $$CREATE TABLE posts_2023Q4 PARTITION OF posts FOR VALUES FROM ('2023-10-01') TO ('2024-01-01');$$ ``` 2. **混合索引策略** - B树索引：时间范围查询（created_at） - GIN索引：多标签组合查询（attributes） - BRIN索引：时序范围扫描 五、灾备方案 1. **WAL日志归档**：实现PITR（时间点恢复） 2. **逻辑复制**：跨区域部署只读副本 3. **对象存储备份**：每日快照保存至S3兼容存储 六、推荐技术栈组合 ``` 应用层：Spring Boot/Go 数据库：PostgreSQL 15+ 搜索引擎：Elasticsearch 8.x 缓存：Redis 7.x 空间计算：PostGIS 3.3 向量处理：pgvector 0.5+ ``` 此设计可支撑日均百万级发帖量，实现毫秒级地理位置检索，99.9%的查询响应时间低于200ms。实际实施时需要根据具体业务场景调整索引策略和分片方案。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值