存储的一些相关知识

MySQL存储的相关知识 mysql存储的要点 阅读详情
  • 存储的发展:

    • DAS:Direct Attached Storage,即直连存储;DAS 直连存储服务器使用 SCSI 或 FC 协议连接到存储阵列、通过 SCSI 总线和 FC 光纤协议类型作为服务器扩展的一部分进行数据传输;例如一块有空间大小的裸磁盘:/dev/sdb。DAS存储虽然组网简单、成本低廉但是可扩展性有限、无法多主机实现共享、目前已经很少使用了。
    • NAS:Network Attached Storage,即网络附加存储,NAS网络存储服务器使用TCP网络协议连接至文件共享存储、常见的有NFS、CIFS协议等;通过网络的方式映射存储中的一个目录到目标主机,如/data。NAS网络存储使用简单,通过IP协议实现互相访问,多台主机可以同时共享同一个存储。但是NAS网络存储的性能有限,可靠性不是很高。
    • SAN:Storage Area Network,即存储区域网络, SAN存储区域网络服务器使用一个存储区域网络IP或FC连接到存储阵列、常见的SAN协议类型有IP-SAN和FC-SAN。SAN存储区域网络的性能非常好、可扩展性强;但是成本特别高、尤其是FC存储网络:因为需要用到HBA卡、FC交换机和支持FC接口的存储。
    • Object Storage:即对象存储,通过网络使用API访问一个无限扩展的分布式存储系统、兼容于S3风格、原生PUT/GET等协议类型。表现形式就是可以无限使用存储空间,通过PUT/GET无限上传和下载。可扩展性极强、使用简单,但是只使用于静态不可编辑文件,无法为服务器提供块级别存储。
  • FC裸块存储、iscsi块存储、clvm存储、ceph存储之间的区别

    • 块存储:使用数据块作为存储方式,如fcsan ipsan 等,ipsan一般采用分布式存储,大部分采用ceph分布式存储协议作为底层协议

    • 文件存储:解决块存储共享性太差的问题,常见的有nfs,cifs,但文件系统的树状结构查找数据块会比块存储慢,所以一般文件存储会作为备份后端和大文件存储使用而高性能数据库采用块存储

    • ISCSI块存储 Internet Small Computer System Interface

      • 把原来只用于本机的 SCSI 协议透过 TCP/IP 网络发送,使连接距离可作无限的地域延伸
      • 连接的 服务器 数量无限
      • 基于服务器架构,可以实现在线扩容以至于动态部署
    • LVM: Logical Volume Manager(逻辑卷管理),是Linux环境下对磁盘分区进行管理的一种机制,它使用户在无需停机的情况下可以方便地调整各个分区大小。

      • 原理:逻辑卷管理器(LogicalVolumeManager)本质上是一个虚拟设备驱动,是在内核中块设备和物理设备之间添加的一个新的抽象层次,如图4-1所示。它可以将几块磁盘(物理卷,PhysicalVolume)组合起来形成一个存储池或者卷组(VolumeGroup)。LVM可以每次从卷组中划分出不同大小的逻辑卷(LogicalVolume)创建新的逻辑设备。底层的原始的磁盘不再由内核直接控制,而由LVM层来控制。对于上层应用来说卷组替代了磁盘块成为数据存储的基本单元。LVM管理着所有物理卷的物理盘区,维持着逻辑盘区和物理盘区之间的映射。LVM逻辑设备向上层应用提供了和物理磁盘相同的功能,如文件系统的创建和数据的访问等。但LVM逻辑设备不受物理约束的限制,逻辑卷不必是连续的空间,它可以跨越许多物理卷,并且可以在任何时候任意的调整大小。相比物理磁盘来说,更易于磁盘空间的管理。
    • CLVM:集群化的LVM,是 LVM 的一个集群方面的扩展,clvmd 守护进程是 CLVM 的核心。clvmd 守护进程在每个集群计算机上运行,并更新 LVM 元数据,让集群的每个计算机上的 LVM 信息都保持一致,用 CLVM 在共享存储上建立的逻辑卷对于访问过该共享存储的计算机都是可视的。CLVM 允许一个用户在共享存储上配置逻辑卷时,锁住正被配置的物理存储设备。CLVM 使用锁服务来保证基础信息方面的一致性。

  • CEPH:Ceph能够提供企业中三种常见的存储需求:块存储、文件存储和对象存储

  • 在这里插入图片描述
    NFS:NFS是Network File System的缩写及网络文件系统。NFS主要功能是通过局域网络让不同的主机系统之间可以共享文件或目录。,NFS常用于企业集群架构中, 如果是大型网站, 会用到更复杂的分布式文件系统FastDFS,glusterfs,HDFS

  • NFS原理

    1.用户进程访问NFS客户端,使用不同的函数对数据进行处理

    2.NFS客户端通过TCP/IP的方式传递给NFS服务端。

    3.NFS服务端接收到请求后,会先调用portmap进程进行端口映射。

    4.nfsd进程用于判断NFS客户端是否拥有权限连接NFS服务端。

    5.Rpc.mount进程判断客户端是否有对应的权限进行验证。

    6.idmap进程实现用户映射和压缩

    7.最后NFS服务端会将对应请求的函数转换为本地能识别的命令,传递至内核,由内核驱动硬件。

    注意: rpc是一个远程过程调用,那么使用nfs必须有rpc服务

  • sda sdb sdc 等是linux 系统下的命名方式

    • 按照检测到的顺序 软盘的命名分别是 /dev/fd0, /dev/fd1
    • 按照检测到的顺序 硬盘的命名分别是/dev/sda,/dev/sdb
    • 每个SCSI磁盘上的分区通过在磁盘名后加十进制表示,如sda1,sda2
python 爬虫 xpath 存储到数据库 参考 阅读详情

相关推荐

Ubuntu安装有线网卡驱动

问题:插入网线后,无法识别有线连接。 原因:主板有线网卡的型号和系统中网卡的驱动不匹配 解决 前提条件: 需要连wifi通网,因为需要安装dkms,和下载驱动。 删除原驱动 1、查看网卡型号 lspci | grep net 我的网卡型号是8125 2、查看网卡驱动 lspci -k 网卡驱动是r8169 3、卸载网卡驱动 找出位置 modinfo r8169 | grep filename 然后删除 rm path/r8169.ko 卸载驱动 rmmod r8169 查看是否卸载成功 lsm

weixin_43932656的博客 1万+

lvm分析之简介

LVM 是一个应用于 Linux 内核的本地卷管理器 (Logical Volume Manager)。LVM是在磁盘分区和文件系统之间添加的一个逻辑层,来为文件系统屏蔽下层磁盘分区布局,提供一个抽象的盘卷,在盘卷上建立文件系统。LVM术语: Ø  物理存储介质(Thephysicalmedia):系统的存储设备--硬盘,是存储系统最低层的存储单元。 Ø  物理卷(physicalvolume

qingchi0的专栏 1447

Coze智能体网页集成实战:从零搭建免登录AI助手

本文详细介绍了如何利用Coze Chat SDK从零开始为网站集成免登录AI助手。通过获取访问令牌和智能体ID,仅需几行JavaScript代码即可将功能完整的对话窗口嵌入网页,实现开箱即用的智能交互。文章重点讲解了核心部署步骤、会话隔离方案以及UI深度定制方法,帮助开发者快速打造贴合品牌、提升用户体验的网页AI助手。

gold8的专栏 558

nas使用的网络传输协议是_计算机网络 传输层 TCP协议的可靠传输

计算机网络 传输层 TCP协议的可靠传输TCP的可靠传输主要依据滑动窗口和超时重传机制,TCP对待发送的数据按字节进行编序,比如0号字节,1号字节,2号字节......TCP的滑动窗口发送窗口:当前允许发送的字节序号范围,如10到50接收窗口:当前允许接收的字节序号范围TCP基于滑动窗口协议实现可靠传输和流量控制,滑动窗口以 字节为单位基本过程发送端A在特定时间内把发送窗口N1--N2的数据发送出...

weixin_35480430的博客 2469

Windows下用RKDevTool解包update.img的完整流程(含常见错误排查)

本文详细介绍了在Windows系统下使用RKDevTool工具解包update.img固件的完整流程。从工具准备、环境搭建到逐步解包操作,重点解析了输出文件结构,并提供了修改分区后重新打包的实战方法。文章还针对解包失败、打包错误等常见问题提供了详细的排查与解决方案,旨在帮助嵌入式开发者和爱好者高效完成固件分析与定制工作。

aa123的博客 717

嵌入式存储入门:Emmc控制器与设备工作原理全解析(附Synopsys/Arasan架构图)

本文深入解析了嵌入式系统中Emmc控制器与设备的工作原理,重点剖析了其作为CPU与存储设备桥梁的核心架构。通过对比Synopsys和Arasan两家主流IP厂商的控制器设计,详细阐述了DMA引擎与FIFO缓冲模块如何协同工作以提升数据传输效率,并提供了从硬件PCB布局到驱动调试的实战指南,帮助硬件工程师与开发者优化系统性能。

weixin_29248653的博客 148

存储系统基础知识与RAID存储技术介绍【转载自微信公众号开源Linux】

存储系统基础知识与RAID存储技术介绍 存储系统是整个IT系统的基石,是IT技术赖以存在和发挥效能的基础平台。早先的存储形式是存储设备(通常是磁盘)与应用服务器其他硬件直接安装于同一个机箱之内,并且该存储设备是给本台应用服务器独占使用的。 今天,我们科普一下存储基础知识:外置数据存储,分享内容和目录如下: 一、存储简介及存储方式 1、简介 2、三种常见存储方式 DAS、NAS和SAN 3、DAS、NAS和SAN三种存储方式比较 4、

istrangeboy&begin zero的博客 1014

华为2288H-V5服务器做raid的详细步骤

操作步骤 服务器启动界面 按del键进入设置输入密码,2288H-v5默认密码是Admin@9000 移动光标选择device manager 驱动管理选择configurationutility 配置管理 选择main menu 主菜单 选择第一个 configuration management 配置管理 选择create virtual driver 创建虚拟驱动选择select RAID level 选择RAID等级选择level-5 选择select drivers 选择驱......

weixin_46041124的博客 1万+

文件存储相关知识

u010859622的博客 258

是德频谱分析仪相位噪声测量实战指南:从原理到精准操作

本文详细介绍了是德频谱分析仪在相位噪声测量中的实战操作指南,从基础概念到高级技巧全面解析。通过5G基站时钟测量等实际案例,展示如何利用是德N9030B等设备精准测量相位噪声,并分享设备预热、参数设置、环境干扰排除等关键操作要点,帮助工程师提升测量精度和效率。

jenkins8butler的博客 230

Python爬虫教程:抓取区块链交易信息及加密货币市场数据

随着区块链技术和加密货币的迅猛发展,区块链交易和加密货币市场的数据逐渐成为金融、技术、经济研究等领域的热点。对于开发者和研究者而言,实时获取区块链交易数据和加密货币市场行情,对于投资分析、市场预测、技术研究等具有重要的参考价值。本文将通过Python爬虫技术,介绍如何抓取区块链交易信息及加密货币市场数据,详细阐述数据获取的原理、技术方案、实现方法以及抓取到的数据的存储与分析。我们将依托最新的爬虫技术,如requestsSeleniumScrapy,以及相关的数据处理库(如pandasmatplotlib。

2201_76125261的博客 2777

存储的相关知识

sanmuyueqiu_的博客 219

企业级 Multi-Agent 实施指南:从需求拆解到上线验收的全流程方法论

本文基于12个不同行业(金融、制造、零售、互联网)的百万级Multi-Agent投产项目经验,提炼出一套可复用的全流程实施SOP,覆盖需求对齐与拆解、架构设计、开发实现、测试优化、上线部署、验收迭代6个核心阶段,包含标准化工具、量化指标、踩坑指南、可直接运行的代码示例,帮你避开90%的落地坑。需求阶段是项目成败的核心,必须对齐业务方的量化指标,明确系统边界架构设计要兼顾性能、安全、可扩展性,不要为了炫技选择复杂的框架工程化是投产的关键,测试、灰度、监控、降级机制缺一不可。

AI云原生与云计算技术学院 224

k8s容器存储接口 CSI 相关知识

【代码】k8s容器存储接口 CSI 相关知识。

天行健,君子以自强不息;地势坤,君子以厚德载物。 1003

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

存储相关的知识

1.  对fabric NPIV 解释比较清楚的一篇文章 http://taotao1240.blog.51cto.com/731446/917261

RichardYSteven的专栏 1298

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

存储基础知识及相关术语

存储基础知识及相关术语

weixin_45565886的博客 8405

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

云存储相关理论知识

云存储相关理论知识 1. 云存储技术与传统存储技术 ​ 由于用户数量众多,存储系统需要存储的文件将呈指数级增长趋势,这就要求存储系统的容量扩展能够跟得上数据量的增长,做到无限扩容,同时在扩展过程中最好还要做到简便易行,不能影响到数据中心的整体运行,如果容量的扩展需要复杂的操作,甚至停机,这无疑会极大地降低数据中心的运行效率。 ​ 云时代的存储系统需要的不仅仅是容量的提升对于性能的要求同样迫切,与以往只面向有限的用户不同,在云时代,存储系统将面向更为广阔的用户群体,用户数量级的增加使得存储系统也必须在吞吐性能

weixin_45866849的博客 3929

存储的相关知识点

存储知识点题 知识点 存储器包括主存储器(内存)和辅存储器(外存),内存又分为RAM和ROM。 磁表面存储器一般用作外存,外存速度比内存慢。 虚拟存储器是为了增加内存容量而设计的,命中率与替换算法和页面多少有一定的关系,增大容量和替换算法可以提高命中率。 关联存储器是一种不根据地址而是根据内容来进行存储的存储器,可以实现快速查表。 读写速度由快到慢:高速缓冲存储器>主存>辅存 辅存读写速度由快到慢:硬盘存储器>光盘存储器>磁带存储器 题 .计算机系统中的存储器系统是指( )。

qq_35382702的博客 710

【组成原理-存储】存储器的相关知识

【组成原理-存储】存储器的相关知识

Mount256的博客 4540

存储相关知识

ROM RAM

weixin_61895606的博客 345

数据存储的相关知识

本文章简单的介绍了计算机基础与数据存储相关的内容,讲述了原码,反码,补码的相关知识,介绍了大小端的概念,也对整形与浮点型数据在计算机的存储做了一定探究。

aa2002aa的博客 175

存储过程使用相关知识

存储过程如同一门程序设计语言,同样包含了数据类型、流程控制、输入和输出和它自己的函数库。 --------------------基本语法-------------------------- 一、创建存储过程  create procedure 存储过程名称  参数列表  as  begin    ……  end二、调用存储过程  call 存储过程名称(...

166

KV存储相关基础知识

2018.6.11 从今天开始研究存储里面键值系统的相关知识,存储介质提供一个存储体为生成,结合上次的存储服务,形成一个存储系统,我们最常见的存储系统就是文件系统,以文件的方式来在存储体上管理数据。同时也可以使用数据库,以数据库操作的形式来管理数据。同时还存在一种自己定义的方法,一般称为NoSQL的方式,即键值存储系统,来直接对存储体进行管理。 这里我们具体学习下键值系统。 主要从键值系统的基本理...

Zuoerfeng 1万+

MySQL存储过程常用相关知识

只想结果集中某条记录的指针,允许程序注意访问结果集中的每条记录,并对其进行逐行操作和处理。

m0_73756512的博客 1214

MySQL 存储引擎相关知识

目 录一、存储引擎概念介绍二、MySQL常用的存储引擎1、MyISAM2.1.1 MyISAM的特点2.1.2 MyISAM 表支持 3 种不同的存储格式2.1.3 MyISAM适用的生产场景2、InnoDB2.2.1 InnoDB特点三、查看系统支持的存储引擎四、查看表使用的存储引擎五、修改存储引擎 一、存储引擎概念介绍 MySQL中的数据用各种不同的技术存储在文件中,每一种技术都使用不同的存储机制、索引技巧、锁定水平并最终提供不同的功能和能力,这些不同的技术以及配套的功能在MySQL中称为存储引

Bilson99的博客 237

存储和相关基础知识

内容:存储和相关基础知识  范围:限opensystem和windows  版本:Version 0.1 build 20060904 有些新手总是在各式各样的概念里绕来绕去,弄的不亦乐乎。所以我就把我的一些理解写了下来,供您参考。我说的不局限于任何一种具体产品和厂家,也可能有些说法和某些厂家的说法不一样,但是我觉得应该算的上是本原的东西,有以不变应万变之功效,呵呵,见笑。  1、关于

zhengshibo56的专栏 646
上一篇: top 命令解析
下一篇: 网络的一些相关知识 【持续更新】
懿朔
博客等级 码龄7年 17粉丝 74原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值