Ubuntu下使用ISCSI+OCFS2实现网络存储及文件共享

最新推荐文章于 2024-07-08 19:20:35 发布
原创 最新推荐文章于 2024-07-08 19:20:35 发布 · 3.5k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了如何在Ubuntu系统中利用ISCSI解决多客户端访问数据服务器的问题，以及通过OCFS2解决数据同步。详细步骤包括ISCSI服务端和客户端的安装，OCFS2的安装与配置，以及最终实现文件共享的测试。通过ISCSI和OCFS2的结合，实现了跨客户端的数据同步功能。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

ISCSI解决多个客户端访问数据服务器的通信问题，OCFS2解决数据的同步问题

1. 系统及网络结构

因为是测试，所以使用VMware，开了3台虚拟机，安装Ubuntu 14.04。
1台作iscsi的target，提供磁盘（为了避免破坏计算机数据，插了个8G的U盘作为共享磁盘）
另2台作为客户机，测试数据访问

图1.1 机器准备


2. 安装iscsi和ocfs2

iscsi的安装见ubuntu(服务端)+win

最低0.47元/天 解锁文章

200万优质内容无限畅学
基于Ubuntu 14.04的iSCSI存储配置--Target创建，Initiator连接
07-28 8494
1.实验环境：
Ubuntu: 配置安装iSCSI
cyx441984694的博客
08-07 5737
这是在ubunu 14下如何安装iSCSI 背景： 目前计算机领域的存储解决方案主要有直连存储（DAS), 存储区域网络（SAN）以及网络附加存储（NAS）三种。 DAS:  Direct- Attached Storage 通过SCSI接口与存储设备相连，主要是家庭个人电脑； SAN: Storage Area Network 用光纤技术将服务器跟存储设备连接在一起 NAS: netw
OCFS2共享文件系统介绍
09-25
OCFS2 存储 云计算 H3C PPT
ubuntu下安装ocfs2
chuanzhongdu1的专栏
07-12 390
简介 一个集群文件系统能使运行在集群中所有节点并发的通过标准文件系统接口来访 问存储设备。这给管理跨越整个集群的应用系统带来方便。 OCFS1问世于2002年10月，它是Oracle公司为了让RAC用户避免必须要与裸设备打 交道而开发出来的。这个文件系统用来存放数据库相关的文件，比如数据文件， 控制文件，在线日志文件，归档日志文件等。 OCFS2是下一代的ORACLE集群文件系统，它已经...
iSCSI+OCFS2构建企业廉价共享存储方案
weixin_34186931的博客
04-23 199
本文主要讲的是IP SAN的网络存储iSCSI(Internet Small Computer System Interface),即小型计算机系统接口的安装配置使用。iSCSI技术有着低廉的构建成本和优秀的存储性能，目前逐渐进入了企业应用领域，非常适合中小型企业应用。 iSCSI是一种用来建立和管理IP存储设备、主机和客户机等之间的相互连接，并创建存储区域网络（S...
ubunut1604下配置ocfs2访问iscsi
wenwenxiong的专栏
12-06 727
环境中采用的iscsi server是有freenas提供的 请参考http://blog.youkuaiyun.com/jesseyoung/article/details/389220511、安装iscsi initiator,我选择open iscsi$sudo apt-get install open-iscsi2、chap设置如果ip-san上设置了chap(没有设置chap的话，可以略去这一步)，
Corosync/Openais+Pacemaker+ISCSI+OCFS2:未来趋势组建高可用性群集
weixin_34072458的博客
06-15 154
还记得小编在前面大篇幅的介绍HA群集吧，使用heartbeat和rhcs都实现过了吧，加上这篇博客介绍的corosync+pacemaker那么就算是完整啦，小编觉得未来高可用性群集的搭建会广泛使用它们俩啦，Conrosync是从Openais这个大项目中分支出来的一个项目，而Pacemaker是heartbeat v3版本中分裂出来专门用于提供高可用集群CRM的组件，东西有...
linux搭建gfs系统_iscsi+GFS_实现网络存储
01-02
Linux 搭建 GFS 系统+iSCSI 实现网络存储是指使用 Linux 作为操作系统，搭建 Global File System（GFS）和 iSCSI（Internet Small Computer System Interface）协议来实现网络存储。GFS 是一种分布式文件系统，可以...
centos上iscsi+multipath多路径存储配置手册.pdf
07-13
iSCSI 协议使得服务器能够通过 IP 网络连接到远程存储设备，从而实现存储资源的共享和虚拟化。 多路径存储 多路径存储（Multi-Path Storage）是一种存储技术，通过多个路径连接到同一个存储设备，实现存储资源的高...
rhcs+iscsi+gfs2+lvs部署双机热备
03-27
linux集群，rhcs、iscsi和gfs2提供共享存储，通过lvs搭建基于共享存储的双机热备web服务，根据lvs的工作模式可选负载均衡、互为主备的工作模式。
Ubuntu20.04：OCS2安装
m0_52545777的博客
07-08 4219
在安装之前，建议你的虚拟机硬盘空间大些本人的虚拟机内存设置的8GB，硬盘内存设置的200G（目的就是方便以后，毕竟当初安装虚拟机时费了好大的劲才安装好）
Unbuntu下安装ISCSI挂载存储
weixin_42773841的博客
04-03 2143
Unbuntu下挂载存储 服务器IP:10.0.0.56 存储IP :10.0.0.30 连接方式：NAS直连 服务器操作系统：Ubuntu14.4 连接步骤： 连接好两边网线，在存储的管理界面上边设置入口IP为10.0.0.30使其能与服务器Ping通 创建RAID：RAID5_1:5块盘容量为14.4T ；RAID5_2:6块盘容量为18.2T；一块热备。 服务器端安装ISCSI，由于是ub...
在ubuntu中挂载iscsi网络硬盘
lt9700的博客
08-16 4028
在ubuntu中挂载iscsi网络硬盘
关于NFS、gfs2、ocfs2性能测试对比
03-31 1773
在多节点集群环境中有些朋友可能会不知如何选择一个适合自己环境的文件系统，是选择NFS还是GFS2亦或是OCFS2还是几种混合使用都是个难题，可以通过产看以下相关信息来斟酌选择：[@more@]● NFS– Pro: standa...
Ubuntu 下iscsi initiator的安装与使用
vah101的专栏
03-10 9679
Ubuntu下比较方便好用的initiator是open iscsi，这里将要简要介绍它的使用方法：1.安装：sudo apt-get install open-iscsi2.如果ip-san上设置了chap(没有设置chap的话，可以略去这一步)，则要修改/etc/iscsi/iscsid.conf，找到以下内容，去掉前面的#,然后将用户名、密码改为san上设置好的密码node.session.auth.authmethod = CHAP node.session.auth.username = use
如何在ubuntuOS上设置iSCSI存储服务器
qq_48288654的博客
12-05 2435
iSCSI代表Internet小型计算机系统接口是一种存储区域网络协议，可用于共享块设备，例如HDD / SSD分区或LVM分区，或网络上的块文件。iSCSI以客户端-服务器模型工作，并依赖TCP / IP网络在发起方客户端和目标之间发送SCSI命令。iSCSI Target是iSCSI服务器上的一项服务，可提供对共享存储的访问，而iSCSI Initiator是连接到目标并访问共享存储的iSCSI客户端。
多台服务器挂载gfs系统,基于Ubuntu和GFS的分布式文件服务器部署
weixin_39753260的博客
08-13 1003
最后更新于: 2016.08.31此实验的目的是在于验证基于Windows域环境的高可用文件服务器集群，并使该服务器集群基于稳定性更高的Linux构建。其设想结构如下：服务器版本: Ubuntu 14.04.4 LTS amd64FileServer1 主机名:FSSrv1 地址:192.168.72.108FileServer2 主机名:FSSrv2 地址:192.168.72.110ISC...
ISCSI存储体系搭建
s741026400的博客
04-18 1832
以下命令如果有提示权限不够或者奇怪的报错，都可以尝试在命令前加sudo，如果仍然无法解决，再请尝试其他办法。
Ubuntu上部署iSCSI
乘风而来的思绪
11-16 630
由于需要使用iSCSI来配置个服务，故小小的研究了下： 一、iSCSI技术 SAN（Storage Area Network的缩写）意为存储区域网络，是真正的专注于企业级的存储。SAN采用一个分离的网络（从传统的局域网中分离）连接所有的存储器和服务器，这个网络可以采用高性能的实现技术，如光纤通道（Fiber Channel），可以容纳SCSI等协议，使数据块的移动更为有效，也便于用...
ceph RDB块客户端挂载
最新发布
03-01
<think>好的，用户现在想要了解如何挂载Ceph RBD块设备到客户端。我需要先回顾之前的对话历史，用户之前询问了如何配置Cephadm的iSCSI服务，现在转向RBD块设备的直接挂载。这可能意味着用户正在探索不同的存储接入方式，比如iSCSI和直接RBD挂载的优缺点。 首先，用户可能是系统管理员或DevOps工程师，负责管理Ceph存储集群，并需要为应用程序提供块存储解决方案。他们可能已经配置了iSCSI服务，但现在需要更直接的块设备访问，比如在KVM虚拟化或容器环境中使用RBD。 接下来，我需要确定用户的具体需求。挂载RBD块设备通常有两种方式：通过内核模块krbd或用户空间的librbd。用户可能不清楚这两种方式的区别，或者需要步骤指导。另外，用户可能关心权限管理、多客户端挂载的注意事项以及性能调优。 需要确保回答包含前提条件，比如已创建RBD镜像，客户端已安装必要软件包。然后分步骤说明挂载过程，包括创建镜像、安装软件、映射设备、创建文件系统、挂载等。同时，要提到自动挂载和卸载的方法，以及常见问题的解决方法，比如权限问题、内核模块未加载等。 还需要注意安全性和最佳实践，比如使用cephx认证，避免在多个客户端同时挂载同一个镜像导致数据损坏。可能用户在使用场景中需要高可用或分布式访问，但RBD本身是支持单客户端读写，多客户端只读，或者通过集群文件系统如GFS2、OCFS2来实现多节点读写，这部分需要简要提及，避免用户误操作。 此外，用户可能对性能调优感兴趣，比如调整参数提升IOPS，或者日志配置。需要提供一些实用的建议，比如禁用某些特性来提升性能，或者使用合适的文件系统参数。 最后，总结关键点，确保用户能按步骤操作，并了解注意事项，避免常见错误。同时，提供验证命令和日志查看方法，帮助用户排查问题。</think>以下是Ceph RBD块设备挂载的详细指南： --- ### **一、挂载前提条件** 1. 已部署Ceph集群（建议Nautilus或更新版本） 2. 客户端主机已安装Ceph客户端工具 3. 已创建RBD存储池和镜像 4. 客户端具有访问Ceph集群的权限（需有`.keyring`文件） --- ### **二、内核级挂载（KRBD）** #### 1. **安装必要软件** ```bash # RHEL/CentOS yum install -y ceph-common rbd-nbd # Ubuntu/Debian apt install -y ceph-common rbd-nbd ``` #### 2. **配置Ceph客户端认证** ```bash # 复制配置文件 scp ceph-admin@mon-node:/etc/ceph/ceph.conf /etc/ceph/ scp ceph-admin@mon-node:/etc/ceph/ceph.client.admin.keyring /etc/ceph/ # 验证访问 rbd --id admin -p rbd_pool ls ``` #### 3. **映射RBD设备** ```bash # 手动映射（临时） rbd map rbd_pool/image1 --id admin # 自动映射（持久化） echo "rbd_pool/image1 id=admin" > /etc/ceph/rbdmap systemctl enable rbdmap.service systemctl start rbdmap.service # 查看映射结果 rbd showmapped ``` ``` 输出示例： id pool image snap device 0 rbd_pool image1 - /dev/rbd0 ``` #### 4. **创建文件系统** ```bash mkfs.xfs /dev/rbd/rbd_pool/image1 # 推荐XFS # 或 mkfs.ext4 /dev/rbd/rbd_pool/image1 ``` #### 5. **挂载使用** ```bash mkdir /mnt/ceph_rbd mount /dev/rbd0 /mnt/ceph_rbd # 验证挂载 df -hT | grep rbd0 ``` #### 6. **自动挂载配置** ```bash # /etc/fstab 条目 /dev/rbd0 /mnt/ceph_rbd xfs _netdev,noatime 0 0 # 或使用UUID（更可靠） blkid /dev/rbd0 echo "UUID=xxxx-xxxx-xxxx /mnt/ceph_rbd xfs _netdev,noatime 0 0" >> /etc/fstab ``` --- ### **三、用户空间挂载（NBD）** 适用于内核不支持RBD或需要灵活控制的场景 #### 1. **通过rbd-nbd映射** ```bash rbd-nbd map rbd_pool/image1 --id admin nbd0=$(rbd-nbd list-mapped | grep image1 | awk '{print $5}') # 查看设备 ls -l /dev/nbd0 ``` #### 2. **挂载使用** ```bash mount /dev/nbd0 /mnt/ceph_nbd ``` #### 3. **卸载设备** ```bash umount /mnt/ceph_nbd rbd-nbd unmap /dev/nbd0 ``` --- ### **四、高级配置** #### 1. **多路径配置** ```bash # 配置rbd-multipath rbd device add rbd_pool/image1 --options="nofeature,exclusive" rbd device map rbd_pool/image1 --options="nofeature,exclusive" # 验证多路径 multipath -ll ``` #### 2. **性能调优参数** ```bash # 映射时指定参数 rbd map rbd_pool/image1 --id admin --options="queue_depth=128,alloc_size=4194304" # 调整内核参数 echo 4096 > /sys/block/rbd0/queue/nr_requests echo deadline > /sys/block/rbd0/queue/scheduler ``` #### 3. **日志配置** ```bash # 查看内核日志 dmesg | grep rbd # 启用详细日志 echo 1 > /sys/module/rbd/parameters/debug_level ``` --- ### **五、卸载流程** ```bash # 卸载文件系统 umount /mnt/ceph_rbd # 解除映射 rbd unmap /dev/rbd0 # 确认状态 rbd showmapped ``` --- ### **六、排错指南** #### **常见问题1：权限拒绝** ```text rbd: error opening pool rbd_pool: (13) Permission denied ``` **解决方案：** ```bash # 检查keyring文件权限 chmod 600 /etc/ceph/ceph.client.admin.keyring # 验证用户权限 ceph auth get client.admin ``` #### **常见问题2：设备忙无法卸载** ```text umount: /mnt/ceph_rbd: target is busy ``` **强制卸载：** ```bash fuser -km /mnt/ceph_rbd umount /mnt/ceph_rbd ``` #### **常见问题3：内核模块未加载** ```text rbd: failed to load rbd kernel module (111) ``` **加载模块：** ```bash modprobe rbd echo "rbd" >> /etc/modules-load.d/ceph.conf ``` --- ### **七、最佳实践** 1. **安全建议**： - 使用`cephx`认证而非无密码访问 - 为不同客户端创建独立用户（非admin） ```bash ceph auth get-or-create client.vm1 mon 'profile rbd' osd 'profile rbd pool=rbd_pool' ``` 2. **性能优化**： - 使用`xfs`文件系统（对RBD优化更好） - 禁用不必要的RBD特性： ```bash rbd feature disable rbd_pool/image1 object-map fast-diff deep-flatten ``` 3. **多客户端访问**： ```bash # 启用共享访问（需配合集群文件系统） rbd feature enable rbd_pool/image1 exclusive-lock # 使用GFS2/OCFS2等集群文件系统 ``` --- ### **八、验证命令汇总** ```bash # 查看RBD镜像列表 rbd ls rbd_pool -l # 检查映射状态 rbd status rbd_pool/image1 # 监控实时IO rbd watch rbd_pool/image1 # 查看内核映射 cat /sys/bus/rbd/devices ``` --- 通过以上步骤，可以完成Ceph RBD块设备从基础挂载到高级配置的全流程操作。建议首次使用时先进行测试镜像的挂载验证，确认无误后再进行生产环境部署。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值