处理大数据的基础架构，OLTP和OLAP的区别，数据库与Hadoop、Spark、Hive和Flink大数据技术

冰露可乐 冰露可乐 博客等级 墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 2.4k累计阅读 2.4k平均单平台 已同步平台 优快云 微信公众号 微博 知乎 掘金 百家号 博客园 抖音 小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网 我也要 码龄7年
关注
原创 最新推荐文章于 2026-09-08 13:04:51 发布 2.4k 阅读 AI 写同款· GEO 优化 ›
Hive 基本概念（特点，架构，数据存储，OLTP，OLAP） Hive 基本概念（特点，架构，数据存储，OLTP，OLAP）1、Hive 简介1.1、什么是 Hive1.2、为什么使用 Hive1.3、Hive 特点1.4、数据处理的两大级别（OLAP、OLTP）2、Hive 和 RDBMS 的对比3、Hive 架构3.1、用户接口3.2、Thrift Server3.3、元数据存储3.4、Driver：编译器（Compiler），优化器（Optimizer），执行器（Executor）3.5、执行流程4、Hive 的数据存储4.1、内部表、外部表、分区表和 Buck 阅读详情

处理大数据的基础架构，OLTP和OLAP的区别，数据库与Hadoop、Spark、Hive和Flink大数据技术

2022找工作是学历、能力和运气的超强结合体，遇到寒冬，大厂不招人，可能很多算法学生都得去找开发，测开
测开的话，你就得学数据库，sql，oracle，尤其sql要学，当然，像很多金融企业、安全机构啥的，他们必须要用oracle数据库
这oracle比sql安全，强大多了，所以你需要学习，最重要的，你要是考网络警察公务员，这玩意你不会就别去报名了，耽误时间！
与此同时，既然要考网警之数据分析应用岗，那必然要考数据挖掘基础知识，今天开始咱们就对数据挖掘方面的东西好生讲讲 最最最重要的就是大数据，什么行测和面试都是小问题，最难最最重要的就是大数据技术相关的知识笔试

文章目录

处理大数据的基础架构

处理大数据的基础架构主要有以下几种：

分布式计算框架。
如Hadoop、Spark、Hive和Flink等，这些框架可以处理大规模的数据，并支持分布式存储和计算。

分布式文件系统。
如HDFS（Hadoop Distributed File System）和Google File System等，这些系统可以存储大规模的文件，并支持分布式访问和读取。

数据库集群。
如MySQL集群、PostgreSQL集群等，这些集群可以提高数据处理效率和可用性，并支持分布式事务处理。

NoSQL数据库。
如MongoDB、Cassandra和Redis等，这些数据库可以处理半结构化和非结构化的数据，并支持高并发写入和读取。

云平台。
如Amazon AWS、Google Cloud和阿里云等，这些云平台可以提供虚拟化资源、弹性伸缩和自动化运维等功能，使得处理大数据更加灵活和高效。

这些基础架构可以相互组合和扩展，以适应不同的大数据处理场景和需求。

之后我们一个个来学习上述提到的东西，形成一个大数据处理的框架，备考大数据类的试题

冲

Hadoop、Spark、Hive和Flink

在这里插入图片描述
小数据问题不大

OLTP是啥？

OLTP( On-Line Transaction Processing ) 联机事务处理过程，
通常也可以成为面向交易的处理系统。

个人理解为主要场景针对用户人机交互频繁，数据量小，操作快速响应的实时处理系统中。
Mysql以及Oracle等数据库软件可以理解为OLTP的工业应用软件体现。

OLAP( On-Line Analytical Processing)，联机分析处理过程。
个人理解为主要场景针对大批量数据，实时性无要求，基于数仓多维模型，进行分析操作的系统中。
Hadoop体系中MapReduce、Hive、Spark、Flink等都可以进行为OLAP实现。

原来如此了，数据库做不了大数据的分析类的问题

T是事务
A是分析

为什么要大数据？

在这里插入图片描述
在这里插入图片描述
06年写Java的MapReduce程序，难理解

后来写sql得了，很简单
在这里插入图片描述
在这里插入图片描述
yarn出来就调度一把
美滋滋
在这里插入图片描述
docker现在听说得很多：隔离空间
yarn是container集装箱

在这里插入图片描述
在这里插入图片描述

只写sql然后转译为hive那边的Java

还有pyspark，写Python很容易
在这里插入图片描述
相当于是兼容超级多的程序

批处理，这些是【离线一大批】

下面是流式计算【实时快速处理】
在这里插入图片描述
在这里插入图片描述在这里插入图片描述

两家很骚，后来俩都能处理了
各种技术你看看是不是穿起来了………………
在这里插入图片描述
在这里插入图片描述
你是做那一层呢？
在这里插入图片描述

kafka传输技术，快速

我们从传输开始学起

在这里插入图片描述
在这里插入图片描述
TB级别量的数据，后续可以对接很多大数据处理技术框架

在这里插入图片描述
有点厉害了

现有的消息模型？

在这里插入图片描述
在这里插入图片描述
半结构化的东西

kafka是分布式消息系统
在这里插入图片描述
使得kafka有扩展性
在这里插入图片描述
offset不可重复
在这里插入图片描述
map消息
在这里插入图片描述
不给key那就随机分配
否则分区
在这里插入图片描述
同样的key，同样的key放一起
在这里插入图片描述
在这里插入图片描述
follower就去复制数据，同步，保持数据的可恢复性
这样的话，就不会丢失了
在这里插入图片描述
broker就是一台服务器，负责读写
在这里插入图片描述
主分区由broker读写

kafka监听器

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述在这里插入图片描述
在这里插入图片描述
docker去部署kafka的内外网监听端口
在这里插入图片描述

kafka的消息模型

在这里插入图片描述
在这里插入图片描述
处于性能和开销的考虑
否则还要维护锁，加锁，减锁
否则就会引入竞争，麻烦
最大化我们要提升性能和吞吐量
在这里插入图片描述
在这里插入图片描述
这种是一对一
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
不同分区之间的消费顺序不知道
offset早的是先消费
在这里插入图片描述
你想要保证顺序会设置key同

在这里插入图片描述
tcp？
ack确认信息
在这里插入图片描述
先读信息，至少读一次
在这里插入图片描述
给位置，最多读一次，可以不读
在这里插入图片描述

生产者api

在这里插入图片描述
在这里插入图片描述
生产者只大量生产，不管消费，现在就是中国缓冲区满了，老百姓没钱消费，导致生产过剩

需要通过一带一路出去消费，这时候美国不乐意
在这里插入图片描述
物流系统？
在这里插入图片描述在这里插入图片描述
就是网购系统，一次精确消费

在这里插入图片描述

我扣款那边就要收款
我失败他不能收款
我付款了，他不能允许说没收到

这就是原子性

数据库就这样的特性
在这里插入图片描述

kafka序列化

在这里插入图片描述
在这里插入图片描述
前序、中序、后序序列化
跟买电脑一样
一堆零件，你送到了，找师傅安装

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
实际上
在这里插入图片描述
要卡主时间顺序的

骚

在这里插入图片描述
注册制
在这里插入图片描述
header标识一下
在这里插入图片描述

实际订餐和菜品看不到

在这里插入图片描述
在这里插入图片描述
如果前面完不成，后面就gg
网络延时导致的

在这里插入图片描述
异步重试顺序如何保证

在这里插入图片描述
一会上菜，半天看不到，gg
消息积压很恶心

在这里插入图片描述
不看所有信息，只看id
在这里插入图片描述
又有问题，看日志
有几个商户的订单贼多，都放一个partition，怎么办？

那按照用户编号来放，这样，某个订单就走同一个partition

在这里插入图片描述
这样好多了
后面呢？
在这里插入图片描述
促销……
在这里插入图片描述
太骚了
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
哈哈哈技术太难了
消息积压有不同的原因

单表存了太多的菜品
在这里插入图片描述
在这里插入图片描述
并发太大，俩请求同事查到，id不存在
同时插入，第二个就gg
加锁？

Redis分布式锁怎么说？
不行，消费着网络超时gg

在这里插入图片描述
尝试插入，不行就改key
在这里插入图片描述
主从服务器
有订单，但是没有菜
主从数据库同步延时
就查不到数据
或者查不到最新数据
在这里插入图片描述

在这里插入图片描述
精确传才行

kafka默认就是容易重复

在这里插入图片描述
不存在插入，存在就更新

在这里插入图片描述
公用数据库和kafka系统

在不同环境中切换容易出错
所以配置要搞清楚

cpu容易挂的话，gg

kafka是牛逼的，很少出问题，大多都是逻辑出了问题。

总结

提示：重要经验：

1）
2）学好oracle，即使经济寒冬，整个测开offer绝对不是问题！同时也是你考公网络警察的必经之路。
3）笔试求AC，可以不考虑空间复杂度，但是面试既要考虑时间复杂度最优，也要考虑空间复杂度最优。

收录于
数据挖掘

当前文章被收录于：

数据挖掘
86 篇文章 6 人学习
订阅专栏 查看详情
国考

当前文章被收录于：

国考
83 篇文章 24 人学习
订阅专栏 查看详情
标签
#大数据 #数据库 #kafka #网络警察 #国考
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
Hive与传统数据库五大核心差异解析：从OLAP设计到数据仓库实战 数据仓库作为企业数据分析的核心基础设施，其设计原理直接影响海量数据处理效率。与面向在线事务处理的关系型数据库不同，数据仓库采用读时模式架构，在数据加载时不强制验证结构，而是在查询时解析，这种设计为半结构化数据处理提供了极大灵活性。在技术实现层面，通过将类SQL查询转换为分布式计算任务，实现了对TB/PB级数据的批量分析能力，这正是Hive等工具的核心价值。这种架构特别适用于用户行为分析、销售报表生成等离线分析场景，其中分区表设计和ORC列式存储成为提升查询性能的关键实践。理解写时模式与读时模式的本质区别，能 阅读详情

相关推荐

编程和大数据，哪个前景好？大数据常用技术有哪些？

想转IT方向，选择编程前景好还是大数据？s咋VCX 今天我们就来看一位专业人士对于编程和大数据的解读。 从就业而言，大数据和编程并不是什么冲突的岗位，而事实上大数据岗位也对编程能力也有不低的要求。通常我们所说的大数据工程师, 普遍指的是Hadoop生态系的开发者。 随着时间推移，大数据行业也经过了很多的变化，现在的热点也已经由大数据转向了AI，而大数据行业进入了一个相对平稳的发展期。其实也很...

大数据基础框架学习教程汇集 1573

【Hadoop生态圈】7.离线OLAP引擎Hive入门教程

Hive是由Facebook开源的一款数据分析工具,主要用来进行数据提取，转换和加载(ETL)。Hive数据存储是基于Hadoop中的HDFS,它没有自己的存储系统,也没有专门的数据存储格式，它最大的魅力在于用户只需要专注于编写SQL，Hive帮用户把SQL转换为MapReduce程序完成对数据的分析。Hive自动将用户编写的SQL转换为MapReduce程序，处理位于HDFS上的结构化数据。Hive软件本身承担的是HQL语法解析编译称为MapReduce的功能职责。Hive优点:简易性。

皓亮君的博客 1315

大数据面试必问：结构化数据处理的20个核心知识点

结构化数据（Structured Data）是指具有固定数据格式和预定义数据模型的数据，通常可以用二维关系表（行/列）表示。强schema约束：字段名、数据类型（int/string/datetime等）、长度等需预先定义关系型存储：支持表与表之间的关联（如外键约束）易于查询：可通过SQL等结构化查询语言直接操作对比半结构化/非结构化数据数据类型格式特点存储示例处理工具结构化固定schema，二维表MySQL表、CSV文件半结构化灵活schema，键值对/标签JSON、XML、日志。

软件工程实践的博客 708

基于 Hadoop 生态圈的数据仓库实践 —— OLAP 与数据可视化（三）

Impala OLAP 实例

wzy0623的专栏 7635

Hadoop与MySQL的核心差异：大数据技术选型与共存之道

在构建数据系统时，经常需要面对关系型数据库与大数据框架的选型问题。MySQL作为典型的OLTP数据库，以事务一致性、毫秒级响应支撑在线业务；而Hadoop作为分布式存储与计算底座，以横向扩展和批处理能力应对海量离线分析。两者本质上是面向在线事务与离线分析的不同设计，并非替代关系。理解它们的底层原理与适用边界，有助于规划合理的数据链路——从MySQL通过Sqoop、Canal等工具同步至HDFS/Hive，经过清洗加工后再将结果回写MySQL，形成完整的离线数仓闭环。掌握Hadoop与MySQL的协同方式，不

weixin_34354945的博客 247

Hive核心架构、与传统数据库差异及性能调优实战指南

数据仓库是处理海量结构化数据的核心系统，其核心原理在于通过特定的存储和计算架构，高效支持复杂分析查询。在Hadoop生态中，Hive作为构建其上的数据仓库工具，通过将类SQL语句转换为分布式计算作业，实现了对PB级数据的处理能力。其技术价值在于大幅降低了大数据分析的门槛，让熟悉SQL的数据分析师能直接处理分布式存储的数据。Hive采用“读时模式”设计，数据加载时不强制校验结构，提供了极大的灵活性，特别适用于日志分析、历史数据报表等OLAP场景。在实际工程实践中，理解Hive与传统数据库在事务处理、索引机制和

weixin_33971977的博客 367

OLAP(三)：Impala介绍 、 (和hive/spark对比)、COMPUTE STATS

一、Impala概述 Impala是用于处理存储在Hadoop集群中的大量数据的MPP（大规模并行处理）SQL查询引擎。与其他Hadoop的SQL引擎相比，它提供了高性能和低延迟。换句话说，Impala是性能最高的SQL引擎（提供类似RDBMS的体验），它提供了访问存储在Hadoop分布式文件系统中的数据的最快方法。 二、为什么选择Impala？Impala的优点：Impala数据查询效率比Hive快几倍甚至数十倍 Impala通过使用标准组件（如HDFS，HBase.................

. 1万+

深入解析UE5内存分析：从Memreport到Unreal Insights

本文深入解析了UE5内存分析的两大核心工具：Memreport与Unreal Insights。Memreport提供详细的内存快照，帮助定位UObject等资源的内存占用；而Unreal Insights则能进行实时监控与历史回溯，精准追踪内存泄漏。掌握这两款工具是优化UE5项目性能、确保大型项目稳定运行的必备技能。

lg888的博客 1007

粗粮厂的基于spark的通用olap之间的同步工具项目

小米内部的数仓团队的数据同步工具

Direction_Wind的博客 707

UE4 GamePlay框架深度解析：从蓝图到C++构建多人游戏核心

在游戏开发与实时交互应用领域，一套清晰、可扩展的底层框架是项目成功的关键。GamePlay框架作为虚幻引擎（UE4/UE5）的核心架构，定义了游戏世界中对象交互、状态管理与网络同步的基本原理。它通过职责分离的设计模式，将游戏规则（GameMode）、全局状态（GameState）、玩家状态（PlayerState）、可操控实体（Pawn/Character）及其控制器（Controller）等核心类有机组织起来，确保了逻辑的清晰性与多人游戏数据的一致性。其技术价值在于为开发者提供了一套经过验证的最佳实践，大

weixin_33924770的博客 616

银河麒麟V10开机卡Logo？别慌，手把手教你进单用户模式修复（附详细命令）

本文详细解析银河麒麟V10操作系统启动时卡Logo的故障原因，并提供进入单用户模式的完整解决方案。通过GRUB引导菜单修改启动参数，执行文件系统检查、图形服务修复等关键命令，帮助用户快速恢复系统正常运行，适用于运维人员和普通用户应对紧急启动问题。

weixin_30522183的博客 391

主流大数据OLAP框架对比

主流大数据OLAP框架对比

weixin_43845733的博客 1910

什么是垂直同步？电脑快速消除屏幕撕裂与提升游戏性能的方法 垂直同步、游戏画面撕裂、游戏优化、VSync、FPS、FreeSync、G-Sync、显卡驱动更新、游戏画质、输入延迟

看这张动图，左边的画面出现了明显“切开”的断层现象，而右边画面非常流畅，没有撕裂。这正是「垂直同步」开关的区别。：每秒生成多少帧图像。比如 60FPS 表示一秒钟显示 60 张图片。刷新率（Refresh Rate）：显示器每秒刷新几次画面，单位是赫兹（Hz）。60Hz 表示每秒刷新 60 次。参数说明FPS显卡渲染速度（逻辑帧率）刷新率显示器的显示频率（物理限制）当 FPS 高于刷新率时，显卡渲染的画面来不及被显示器显示，导致撕裂。屏幕撕裂（Screen Tearing）

代码简单说 Vue、JAVA、PHP、Node.js 熟练运用，接口、架构、性能全搞定。 1346

关于大数据的完整讲解

来源：Datawhale 本文约1700字，建议阅读6分钟本文主要讲解了大数据的概念和基础知识，帮助读者对大数据有一个基本了解。 1.什么是大数据1.1 大数据特征我们引用了大数据的...

数据派THU 1269

【毕设级教程】从0到1实现基于YOLOv8的UA-DETRAC交通目标检测系统（含UI界面，助力智能交通毕设）

本项目基于YOLOv8模型和UA-DETRAC数据集开发了一个交通目标检测系统，包含数据处理、模型训练和可视化界面全流程。UA-DETRAC数据集包含多种交通场景下的车辆标注，通过格式转换适配YOLOv8训练要求。系统采用PyQt开发交互界面，支持图像检测、结果显示等功能。该项目技术路线清晰，既展现深度学习在智能交通中的应用，又提供完整的可视化展示方案，适合作为计算机视觉相关毕业设计选题。

m0_64661770的博客 149

使用Simulink进行无刷电机霍尔传感器信号处理电路的仿真

位置检测：霍尔传感器可以检测转子的位置，这对于实现无刷电机的电子换向至关重要。提高效率：通过准确的位置信息，可以优化电机的工作状态，提高效率和性能。通过上述步骤，我们简要介绍了如何基于Simulink实现无刷电机霍尔传感器信号处理电路的仿真。

MHD0815的博客 430

数据仓库入门介绍

本篇文章将从初学者的角度，来介绍一下什么是数据仓库，以及数据仓库的理论基础，帮助大家快速了解这个概念。

柳小葱的博客 1870

华为OD机考双机位C卷:精准核酸检测 (C/C++/Py/Java/Js/Go)

华为OD机试双机位C卷 精准核酸检测，提供C语言、Java、C++、Python、Go、JavaScript源码实现，并提供完整思路讲解。华为OD机试 - 精准核酸检测。

qq_45776114的博客 1729

大数据技术与架构，2019半年文章精选

时间飞逝，到今天为止，2019年就过半了。大家还记得年初的时候定下的目标吗？《大数据技术与架构》创立4个月，都是业余时间原创或者筛选优质文章。回想起来，无数次的深夜整理文...

微信搜：import_bigdata，大数据领域硬核原创作者 1074

dify安装ollama插件及OLLAMA模型添加失败问题完整解决方法

plugin_daemon-1 | 2025/05/10 17:37:36 stdio.go:160: [INFO]plugin langgenius/ollama:0.0.6: Installed model: ollama 提示ollama安装成功，再添加模型就不会有问题了。安装dify1.2.0和1.3.1均出现OLLAMA插件安装失败或插件安装后添加模型失败的问题，具体表现为一是添加ollama插件时没反应，需要二次添加才成功；二是添加模型时点保存报500错误或点保存后没反应，无法成功添加。

symstandsun的博客 9078

efm32 入门.pdf

本PDF共计22页，介绍的是操作驱动API，下载与否自己斟酌。

数据库与数据仓库核心区别：从OLTP到OLAP的技术架构与应用场景解析

在数据处理领域，联机事务处理（OLTP）与联机分析处理（OLAP）是两种核心范式，它们分别对应着数据库与数据仓库的设计哲学。OLTP数据库（如MySQL、PostgreSQL）旨在处理高并发、低延迟的短事务，强调数据的实时增删改查与强一致性，是支撑在线业务系统的基石。而OLAP数据仓库（如ClickHouse、Snowflake）则面向海量历史数据的复杂分析与深度洞察，通过列式存储、大规模并行处理（MPP）等架构优化查询吞吐量。理解两者的技术价值在于构建高效、稳定的数据体系：OLTP保障业务平稳运行，OLA

weixin_33834910的博客 411

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章，有部分习题没有答案，全英文复分析阿尔福斯(Ahlfors) 第三版答案

【大数据处理与分析】数据仓库Hive：01 数据仓库的概念

本文简单概述数据仓库。数据仓库用于分析决策，体系结构分四层，与数据库在读写优化、数据来源和存储方式上差异明显。传统数仓面临扩展与实时性挑战，Hive 等新技术提供了补充方案。

Morse_Chen的博客 349

文档：亲测可用解决vnc灰屏，黑屏，鼠标大黑叉情况

主要解决vnc-viewer灰屏，黑屏，鼠标大黑叉等现象，详细见文档。

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

flink clickhouse_技术选型：为什么批处理我们却选择了Flink

最近接手了一个改造多平台日志服务的需求，经过梳理，我认为之前服务在设计上存在缺陷。经过一段时间的技术方案调研，最终我们决定选择使用 Flink 重构该服务。目前重构后的服务已成功经受了国庆节流量洪峰的考验，今日特来总结回顾，和大家分享一下经验。业务需求及背景在了解改造服务的需求前，我们首先要明确，要解决什么问题以及目前的服务是如何解决的。当前的业务逻辑还是比较清晰的：采集同一时段不同数据...

weixin_39737051的博客 1429

大数据正当时，理解这几个术语很重要

目前，大数据的流行程度远超于我们的想象，无论是在云计算、物联网还是在人工智能领域都离不开大数据的支撑。那么大数据领域里有哪些基本概念或技术术语呢？今天我们就来聊聊那些避不开的大数据技术术语，梳理并补充我们对大数据的理解。 01离线计算 Vs 实时计算 离线计算 离线计算，通常也称为“批处理”，表示那些离线批量、延时较高的静态数据处理过程。 离线计算适用于实时...

Focus on Lakehouse 1816
上一篇： 软考：中级软件设计师:多媒体基础，音频，图像，颜色，多媒体技术的种类，图像音频视频的容量计算，常见的多媒体标准
下一篇： 「软件设计师」 2023年上半年上午真题解析
点赞 1
评论 0
书签 书签 6
冰露可乐
冰露可乐
博客等级 码龄7年 1211粉丝 709原创
+ 关注 专栏目录 订阅专栏
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

冰露可乐

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值