数据分析-存储的模式

数据分析工具--hadoop(hdfs) 数据分析是指运用适当的统计分析方法或者工具对收集来的大量数据进行整理和归纳**,将它们加以汇总和理解并消化,提取有价值信息,从中发现因果关系、内部联系和业务规律,以求最大化地开发数据的功能,形成有效结论的过程,发挥数据的**作用。 阅读详情

存储模式一般分为三种:直连式存储,网络存储,数据虚拟存储。我将总结这三种存储模式,并举一些例子来增强对该概念的认识。

直连式存储Direct-Attached Storage

磁盘驱动器和服务器直接连接。一般是通过专用接口(e.g. USB, SAS, etc.), 与主机系统之间的数据传输速度块,延迟低,能够提供高性能的数据访问。一个最简单的例子,U盘,这个就属于直连式存储。那么一般大数据对应的数据量达,这个“U盘”的容量也就会相应增大很多。通常PB是最小的。数据的单位指路博客

网络存储

网络存储可以分为以下两个:

  • 网络附加存储Network-attached Storage, NAS
  • 存储区域网络Storage Area Network, SAN

NAS

NAS是一种专用的文件存储设备,通过网络提供数据访问给网络上的其他设备。NAS设备将存储资源作为一个独立的网络节点,通常使用标准的文件协议来共享文件。

SAN

SAN是一个高性能专用网络,连接存储设备与服务器。它允许存储设备独立于本地服务器直接与网络中的多个服务器通信,使用的是块级数据传输。它的跨平台性能较好。
ChatGPT对NAS和SAN的应用举例

百度网盘和NAS的区别

在功能与结果上面来看,虽然是一样的,但是在技术实现上面是完全不同的:
在这里插入图片描述

数据虚拟存储Storage Virtualization

虚拟存储是整合各种存储物理设备为一个整体,从而实现在公共控制平台下集中存储资源。这是一个抽象的概念,最终只需要通过一个统一的接口来访问和管理位于多个设备和位置的数据。这种技术主要通过软件来实现,使得数据源的物理位置和实际的存储细节对用户来说是透明的。(*透明:用户不需要知道背后的细节)。
举个例子来说,现在有多个存储设备,包括硬盘A, 硬盘B,硬盘C还有U盘A, U盘B,固态硬盘SSD,存储卡SDa,SDb,甚至还可能有u盘,通过数据虚拟化,可以将这些不同的存储设备集成到一个统一的管理界面中。如果后续存储空间不够了,还可以手动添加硬件进来扩容容量,是不是感觉很方便?
虚拟存储不仅可以降低存储资源管理的复杂性,而且可以带给系统高可用性和高可靠性,从而降低数据存储管理成本。

学习大数据分析,一定要掌握这些核心技术 目前,大数据领域每年都会涌现出大量新的技术,成为大数据获取、存储、处理分析或可视化的有效手段。大数据技术能够将大规模数据中隐藏的信息和知识挖掘出来,为人类社会经济活动提供依据,提高各个领域的运行效率,甚至整个社会经济的集约化程度。 01 大数据生命周期 图1展示了一个典型的大数据技术栈。底层是基础设施,涵盖计算资源、内存与存储和网络互联,具体表现为计算节点、集群、机柜和数据中心... 阅读详情

相关推荐

大数据分析必备:数据立方体设计模式详解

想象一下,你是一家连锁零售企业的数据分析师。面对这些跨维度的复杂问题,如果你只依赖传统的二维表格和简单的SQL查询,会发生什么?你可能需要编写数十个甚至上百个查询,花费数小时甚至数天时间,才能勉强拼凑出答案。更糟糕的是,当你终于整理出一份报告时,业务需求可能已经发生了变化。这就是数据立方体(Data Cube)要解决的核心问题:如何让业务用户能够从多个维度快速、灵活地探索数据,发现隐藏在数据中的业务洞察。

AI架构师小马 1168

C51 存储类型与存储模式

1、存储种类 自动(auto)变量 外部(extern)变量 静态(static)变量 寄存器(register)变量 六种存储器类型 (1) DATA区 (2) BDATA区 (3) IDATA区 (4) PDATA区 (5) XDATA区 (6) CODE区 2、存储模式 (1)SMALL模式 (2)COMPACT模式 (3)LARGE模式 3、指针的存储类型 (1)通用指针 (2)存储器指针......

timerring的博客 2万+

探索IT行业的订阅模式:应用与实践

SaaS(Software as a Service,软件即服务)是一种通过互联网提供软件的模式。用户无需购买和安装软件,而是直接通过网络访问和使用软件。SaaS提供者负责软件的维护、升级和支持,用户通常按照使用量付费。这种模式降低了用户在硬件和软件维护上的成本,使得中小企业也可以负担得起企业级软件服务。在IT市场中,SaaS已经成为云计算服务领域的一个重要分支,越来越多的企业开始转向订阅服务,使得SaaS的市场地位迅速上升。

weixin_35754962的博客 525

云计算——存储虚拟化简介 与 存储模式及方法

本章将会讲解云计算存储虚拟化与存储模式的讲解把多个存储介质(如硬盘,RAID)通过一定的技术将他们集中起来,组成一个存储池并进行统一管理,从主机和工作站的角度看是一个超大容量(如1T以上)的硬盘。将多种,多个存储设备统一管理起来,为用户提供大容量,高数据传输性能的存储系统称为存储虚拟化。

yj11290301的博客 1万+

保姆级教程:用ROS2 Humble和激光雷达,5分钟搞定机器人避障(附Python代码)

本文提供了一份详细的ROS2 Humble激光雷达避障实战指南,帮助开发者快速实现机器人避障功能。通过环境配置、硬件连接和Python代码实现,5分钟内即可让机器人自主避开障碍物。文章还涵盖了参数调优、常见问题排查及进阶优化技巧,适合机器人开发初学者和进阶用户。

weixin_42528902的博客 343

shader多图叠加变换

shader Shader "Paint3D/AddTexture" { Properties { _MainTex ("Main Texture", 2D) = "white" {} _MainColor("Main Color", Color)=(1,1,1,1) _AddTex0 ("Texture0", 2D) = "white" {} _AddTex1 ("Texture1", 2D) = "white" {} .

李长江的博客 909

DAS(直连式存储)是什么?它的工作原理和优势是?应该如何选择DAS?

直连存储(Direct Attached Storage,DAS)是一种直接连接到计算机或服务器的存储设备。与网络附加存储(NAS)不同,DAS不通过网络连接,而是通过专用接口(如SAS、SCSI或USB)直接连接到主机系统。DAS设备通常包括硬盘驱动器或固态驱动器,提供了高性能的数据存储解决方案。本文将详细介绍DAS的工作原理、优势以及如何选择和配置DAS设备。

2301_78457663的博客 4239

Ubutntu下使用realsense d435i(二):获取某二维像素点的三维坐标

00 准备工作 准备工作包括安装驱动以及pyrealsense2,具体可参考上一篇: Ubutntu下使用realsense d435i(一):准备工作以及安装pyrealsense2 https://blog.youkuaiyun.com/gyxx1998/article/details/121461293 01 通过二维像素点获得物体三维坐标 这个在上一篇已经介绍了代码: realsense d435i获取某像素点三维坐标(计算深度和点云两种方法) https://blog.youkuaiyun.com/gyxx1998/

gyxx1998的博客 9945

三种存储类型和三种存储方式

三种存储方式:DAS、SAN、NAS 三种存储类型:块存储、文件存储、对象存储 块存储和文件存储是我们比较熟悉的两种主流的存储类型,而对象存储(Object-based Storage)是一种新的网络存储架构,基于对象存储技术的设备就是对象存储设备(Object-based Storage Device)简称OSD。 本质是一样的,底层都是块存储,只是在对外接口上表现不一致,分别应用于不同的业务...

波哥在路上 9万+

hcaptcha-challenger:基于本地AI模型自动破解验证码的工程实践

验证码作为区分人类与机器的经典安全机制,其核心原理是通过图像识别、行为分析等交互式挑战来阻挡自动化程序。传统绕过方法依赖第三方打码平台或脚本,存在成本高、稳定性差的问题。随着多模态大语言模型和计算机视觉技术的发展,本地化AI求解成为新的技术方向,它通过集成YOLO、ResNet等模型,在本地完成图像语义理解,实现了高隐私、低成本、可进化的验证码自动化解决方案。这种范式尤其适用于需要大规模稳定处理网页交互的场景,如电商数据采集和社交媒体管理。hcaptcha-challenger项目正是这一理念的工程实践,它

weixin_42587866的博客 1028

qt5.14.2+vs2019配置msvc2017编译器

qt5.14.2+vs2019配置msvc2017编译器 在使用qt编译程序时此前一直使用的是自带的MinGW 32-bit和64-bit,现在想使用msvc编译器。本次使用的是qt5.14.2,vs2019,需要配置msvc2017的32-bit和64-bit编译器。 1、首先安装好qt5.14.2和vs2019,其次在visual studio installer选择修改,然后选择msvc2017对应的组件,本次安装的是这两个 2、打开qt creator的工具–选项–kits–编译器,选择Manu

bangtanhui的博客 1万+

常用计算机的几个保存模式,电脑常见几种模式

知识普及:其实很多人给内存和硬盘容易混淆,早期的手机内存卡是存储数据的(存放音乐视频等),它就相当于一个物理存储空间,现在的电脑磁盘(就是常用的C盘,D盘之类的)相当于手机内存卡加大版的。这是硬盘,就是单纯存储数据的。而内存是电脑的另一个概念,它当作临时存储数据的(大小和硬盘比不了,但是它读写速度快),一般介于CPU和硬盘之间做中间人的作用,比如你读取的数据依靠cpu下达命令,然后内存会响应,如果...

weixin_35723036的博客 1757

软考「系统规划与管理师(第2版)」抱佛脚|10 页纸终极压缩包

《系统规划与管理师教程(第2版)》,工业和信息化部教育与考试中心组编,刘玲、张树玲主编,清华大学出版社,2025 年 1 月:综合知识 / 案例分析 / 论文(三科通吃):把 24 章压成“只背采分点”的 10 页密度,每行可考,每表可背:已按第2版教材二次勘正,删除旧版 PIOIS 误用、修正八大过程与服务质量五性、等保定级与知识产权边界全部对齐。

软件行业技术文化交流。 364

云存储技术的分类与适用场景

本文将对云存储技术的分类与适用场景进行深入的技术总结,帮助读者更好地理解云存储技术的核心概念和应用价值。2. 按使用范围分类:按使用范围划分,云存储技术可以分为公有云存储、私有云存储和混合云存储。3. 多媒体内容存储:云存储技术可以用于多媒体内容的存储,包括音乐、视频、图片等。云存储技术是一种基于云计算的新型存储技术,它将数据存储在云端,用户可以通过多种方式进行访问和使用。1. 按数据类型分类:按存储的数据类型划分,云存储技术可以分为文件存储、数据库存储、多媒体存储等。二、云存储技术的分类。

qq_35974860的博客 307

点云语义分割:使用Cylinder3D训练SemanticKITTI数据集

将该路径修改到config/semanticktti.yaml文件中的data_path节点下。下载semanticKITTI数据集的点云数据和标签,解压到一起。系统:Ubuntu18。

zhaoguanhua的博客 2604

Windows 上安装 OpenCode 完全指南:从零到成功,人人能看懂!

跟着这篇教程,你应该已经成功在 Windows 上安装并运行了 OpenCode。步骤操作要点1安装 Chocolatey必须以管理员身份运行 PowerShell2安装 OpenCode3验证安装关闭并重新打开终端,输入4进入项目目录必须是 Git 仓库(git init5配置模型输入/connect,输入 API Key6开始使用输入问题测试最后的小建议如果没有 API Key,可以从 DeepSeek 或 Kimi 开始,有免费额度初次使用建议先在简单项目上测试。

专注于编程、AI、人工智能等多个领域内容研究和分析 3897

HIVE RCFile高效存储结构

本文介绍了Facebook公司数据分析系统中的RCFile存储结构,该结构集行存储和列存储的优点于一身,在 MapReduce环境下的大规模数据分析中扮演重要角色。 Facebook曾在2010 ICDE(IEEE International Conference on Data Engineering)会议上介绍了数据仓库Hive。Hive存储海量数据在Hadoop系统中,提供了一套类数据

yangjin 551

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

django基于Bilibili青少年模式使用情况的数据分析系统

Django开发的B站青少年模式数据分析系统通过Python爬虫采集用户行为数据,使用MySQL存储管理,结合Django框架实现数据清洗、分析挖掘及Echarts可视化展示。系统采用分层架构设计,支持用户偏好分析、观看行为统计等功能,为平台优化青少年模式提供数据支持。具有高效、准确、可视化强等特点,既可辅助运营决策,又能促进青少年健康上网。系统提供完整源码和技术支持,确保稳定运行。

QQ1039692211的博客 718

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

如何使用YashanDB进行实时数据分析

分布式SQL执行通过协调实例(CN)和数据实例(DN)协同工作,利用多级并行架构,实现跨节点的查询计划拆分与执行,保障大规模实时分析的低延迟响应。共享集群部署基于共享存储和聚合内存技术,实现多实例多写和强一致性的并发访问,满足高端核心交易及实时分析的性能和高可用需求。列存表的设计分为TAC表(适合HTAP场景)和LSC表(适合OLAP场景),支持冷热数据分离管理,活跃切片存储可变数据,稳态切片存储冷数据,实现高效的数据访问和存储优化。开启向量化计算和并行执行,提高复杂查询和分析任务的执行效率。

2501_91591875的博客 435

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

RCFile高效存储结构

http://kb.cnblogs.com/page/99479/     本文介绍了Facebook公司数据分析系统中的RCFile存储结构,该结构集行存储和列存储的优点于一身,在MapReduce环境下的大规模数据分析中扮演重要角色。   Facebook曾在2010 ICDE(IEEE International Conference on Data Engineering)

Java&&大数据专栏 1249

Frigate大数据:监控数据分析与可视化

Frigate作为一款开源的NVR(网络视频录像机)系统,不仅提供实时本地对象检测功能,还内置了强大的数据分析和可视化能力。本文将深入探讨Frigate在大数据处理方面的核心功能,帮助用户充分利用监控数据价值。 ## 数据采集与存储架构 ### 事件数据模型 Frigate采用SQLite数据库存储所有检测事件,数据结构设计如下: ```mermaid classDiagram c...

gitblog_00965的博客 668

列式存储与行式存储的主要区别

列式存储与行式存储的主要区别

2301_77836489的博客 1094

Facebook数据仓库揭秘:RCFile高效存储结构

本文介绍了Facebook公司数据分析系统中的RCFile存储结构,该结构集行存储和列存储的优点于一身,在MapReduce环境下的大规模数据分析中扮演重要角色。 Facebook曾在2010 ICDE(IEEE International Conference on Data Engineering)会议上介绍了数据仓库Hive。Hive存储海量数据在Hadoop系统中,提供了一套类数据库的...

SAN_YUN的专栏 186

高效构建实时数据分析应用:使用Rockset提升查询性能

Rockset适用于需要实时更新和快速查询的应用场景。其Converged Index™技术支持对结构化和半结构化数据的高效索引存储,同时支持向量嵌入的存储。这使得Rockset能够在不需要提前定义模式的情况下,对数据进行实时分析和过滤。Rockset通过其创新的技术和灵活的架构,提供了一种高效的实时分析数据解决方案。无论是对实时数据进行快速查询,还是处理多样化的数据类型,Rockset都表现出色。Rockset官方文档Langchain Community GitHub 仓库。

saeagtj的博客 425

列存储VS行存储

概述 目前大数据存储有两种方案可供选择:行存储(Row-Based)和列存储(Column-Based)。业界对两种存储方案有很多争持,集中焦点是:谁能够更有效地处理海量数据,且兼顾安全、可靠、完整性。从目前发展情况看,关系数据库已经不适应这种巨大的存储量和计算要求,基本是淘汰出局。在已知的几种大数据处理软件中,Hadoop的HBase采用列存储,MongoDB是文档型的行存储,Lexst是二进制型的行存储。 什么是列存储? 列式存储(column-based)是相对于传统关系型数据库的行式存储(Ro

weixin_37632381的博客 4668
上一篇: 数据分析与处理技术基础知识
下一篇: 数据处理-Hadoop基础概念
Ayu阿予
博客等级 码龄5年 456粉丝 47原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Ayu阿予

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值