1713.72 分!openGauss+鲲鹏,HyBench打榜第一

近日,openGauss 在 HyBench HTAP 基准测试中获得 1713.72 分,位居 HyBench 榜第一名。HyBench 是一款由中国软件评测中心、清华大学联合牵头,国内主流数据库公司同研发的 HTAP 数据库基准测试工具,引导 HTAP 数据库的技术研究方向,帮助用户进行 HTAP 数据库选型。参与本次基准测试的是 openGauss 7.0.0 创新版,该版本发布的众多技术特性与鲲鹏实现深度协同,openGauss 在 HyBench 测试中取得第一名,不仅是对 openGauss 在 HTAP 领域众多技术创新的认可,还为更多企业的数字化转型提供了可靠依据。

图片

HyBench HTAP 基准测试概要

openGauss 7.0.0 创新版全新升级,持续构筑高性能数据库

openGauss 7.0.0 创新版在 3 月 30 日正式发布,为国内数据库生态带来众多技术创新。

  • HTAP 架构一体化升级:通过行列转换技术,在一套数据库集群中同时支持 TP 交易 AP 查询,实现 HTAP 一体化,方便对接用户不同负载,TPCH 提升 5 倍。

  • DataVec 向量化能力增强,助力 AI 智能应用:openGauss DataVec 向量数据库结合鲲鹏 RAG 一体机解决方案,通过量化加速、向标融合等技术,解决大模型“知识幻觉”问题,提升 LLM 大语言模型在回答问题的实时性和准确性。

  • 内核升级,企业级特性增强:openGauss7.0.0-RC1 创新版全面升级内核四高能力,传统主备部署模式下支持行列转换功能,备机支持列存查询,整体性能对比原始行存方式平均提升 5 倍,支持智能慢 SQL 查询诊断,快速定位慢 SQL 根因,运维效率倍数提升。

点击这里了解更多 openGauss 7.0.0 创新版技术特性。

openGauss+鲲鹏深度协同,极致释放系统性能

本次打榜使用的是 openGauss 7.0.0 创新版 + 鲲鹏的组合,软硬深度协同让系统性能得到了极致的释放。

通过 openGauss 线程池和鲲鹏 NUMA 的深度绑定,openGauss 在高并发性能场景下表现优秀,在 HyBench 复杂的 AP、TP、XP 场景中,并发总数差别不大的情况下,取得了最优的 H-score 分数。

内存上,openGauss 基于鲲鹏芯片提供的更宽的 L3 缓存 cacheline,针对热点数据访问进行优化,有效提高缓存访问命中率,降低 Cache 缓存一致性维护开销,大幅提升系统整体的数据访问性能。同时 openGauss 根据鲲鹏处理器的多核 NUMA 架构特点,进行 NUMA 架构相关优化,一方面尽量减少跨核内存访问的时延问题,另一方面充分发挥鲲鹏多核算力优势,所提供的关键技术包括重做日志批插,热点数据 NUMA 分布,CLog 分区等,大幅提升 TP 系统的处理性能。

存储上,openGauss 独有的 oGEngine 存储引擎,HyBench 测试发挥其在长期 DML 过程中,运行平稳,性能抖动小的优势。运行过程中,openGauss 自动估算当前资源占用率,动态调节并行度,充分利用索引检索、行列混合、分区表等特性,保证其运行的稳定性。IO 层面采用多盘策略,openGauss 采用大页技术充分利用 NUMA 的性能,能把不同的类型文件映射到多个 NVME 盘中,避免单个磁盘的 IO 瓶颈。

关于 HyBench

HyBench 是一款由中国软件评测中心、清华大学联合牵头,北京奥星贝斯科技有限公司、武汉达梦数据库股份有限公司、华为技术有限公司、腾讯云计算有限公司、阿里云计算有限公司共同研发的 HTAP 数据库基准测试工具。HyBench 针对 HTAP 数据库技术特点,参考实际典型应用场景进行设计,数据模型采用在线金融交易分析场景,提供 OLTP、OLAP、OLXP 三类典型 HTAP 负载,支持不同规模的数据集,可以计算出 TPS、QPS、XPS、新鲜度等不同维度的评价指标,最终给出统一评价指标 H-Score。HyBench 基准测试为数据库厂商和第三方评测机构提供 HTAP 数据库基准性能的评价方法及工具,引导 HTAP 数据库的技术研究方向,帮助用户进行 HTAP 数据库选型。

Downloading Packages: Error opening file for checksum: /media/AppStream/Packages/python2-2.7.17-1.module_el8.2.0+381+9a5b3c3b.x86_64.rpm Package "python2-2.7.17-1.module_el8.2.0+381+9a5b3c3b.x86_64" from local repository "c8-media-AppStream" has incorrect checksum Error opening file for checksum: /media/AppStream/Packages/python2-libs-2.7.17-1.module_el8.2.0+381+9a5b3c3b.x86_64.rpm Package "python2-libs-2.7.17-1.module_el8.2.0+381+9a5b3c3b.x86_64" from local repository "c8-media-AppStream" has incorrect checksum Error opening file for checksum: /media/AppStream/Packages/python2-pip-9.0.3-16.module_el8.2.0+381+9a5b3c3b.noarch.rpm Package "python2-pip-9.0.3-16.module_el8.2.0+381+9a5b3c3b.noarch" from local repository "c8-media-AppStream" has incorrect checksum Error opening file for checksum: /media/AppStream/Packages/python2-pip-wheel-9.0.3-16.module_el8.2.0+381+9a5b3c3b.noarch.rpm Package "python2-pip-wheel-9.0.3-16.module_el8.2.0+381+9a5b3c3b.noarch" from local repository "c8-media-AppStream" has incorrect checksum Error opening file for checksum: /media/AppStream/Packages/python2-setuptools-39.0.1-11.module_el8.2.0+381+9a5b3c3b.noarch.rpm Package "python2-setuptools-39.0.1-11.module_el8.2.0+381+9a5b3c3b.noarch" from local repository "c8-media-AppStream" has incorrect checksum Error opening file for checksum: /media/AppStream/Packages/python2-setuptools-wheel-39.0.1-11.module_el8.2.0+381+9a5b3c3b.noarch.rpm Package "python2-setuptools-wheel-39.0.1-11.module_el8.2.0+381+9a5b3c3b.noarch" from local repository "c8-media-AppStream" has incorrect checksum Error: Some packages from local repository have incorrect checksum
最新发布
09-25
<think> 我们面对两个主要问题: 1. 安装fio-3.7-2.el7.x86_64.rpm时出现依赖错误(主要是Python 2.7和多个库文件缺失) 2. 下载Python 2.7相关包时出现文件校验和错误 根据引用资料和之前讨论,解决方案如下: ### 问题1:安装fio的依赖错误 依赖错误包括: - `/usr/bin/python2.7`缺失 - 多个库文件缺失(如libibverbs, libpmem, librados等) 解决方案步骤: #### 1.1 解决Python 2.7依赖(针对CentOS 8系统) 由于CentOS 8默认不提供Python 2,需要手动安装。但用户提到下载Python2相关包时出现校验和错误,因此我们需要确保从可靠来源下载。 步骤: ```bash # 添加EPEL仓库(如果尚未添加) sudo dnf install epel-release # 安装Python2(CentOS 8的EPEL仓库中提供) sudo dnf install python2 # 创建符号链接(如果安装后没有自动创建) sudo ln -s /usr/bin/python2 /usr/bin/python2.7 ``` 如果下载过程中出现校验和错误,可能是网络问题或镜像问题,可以尝试: - 清除dnf缓存:`sudo dnf clean all` - 更换镜像源:编辑`/etc/yum.repos.d/epel.repo`,将`baseurl`或`mirrorlist`指向其他镜像 - 手动下载rpm包并安装(从官方镜像站下载,注意架构和版本) 手动下载示例(以aarch64架构为例,但用户是x86_64): ```bash # 查找可用镜像:https://download-ib01.fedoraproject.org/pub/epel/8/Everything/x86_64/ wget https://download-ib01.fedoraproject.org/pub/epel/8/Everything/x86_64/Packages/p/python2-2.7.18-1.el8.x86_64.rpm # 安装 sudo rpm -ivh python2-2.7.18-1.el8.x86_64.rpm ``` #### 1.2 解决库文件依赖 根据错误信息,我们需要安装以下库: - libibverbs - libpmem - librbd, librados等 引用[2][3][4]中提到,可以通过下载对应的rpm包并安装来解决。 具体步骤: ```bash # 搜索并下载缺失的库(以libibverbs为例) dnf provides "*/libibverbs.so.1" # 查找提供该库的包 # 根据查找结果安装(通常包名为libibverbs) sudo dnf install libibverbs # 如果dnf无法安装(比如没有网络),则手动下载rpm包安装(注意版本和架构) # 例如:从http://mirror.centos.org/centos/8/AppStream/x86_64/os/Packages/ 下载 wget http://mirror.centos.org/centos/8/AppStream/x86_64/os/Packages/libibverbs-32.0-4.el8.x86_64.rpm sudo rpm -ivh libibverbs-32.0-4.el8.x86_64.rpm # 同样方法处理其他库 ``` 注意:有些库可能在`powertools`仓库,确保启用: ```bash sudo dnf config-manager --set-enabled powertools ``` 对于`libpmem`和`libpmemblk`,可以安装`pmdk`包: ```bash sudo dnf install pmdk ``` 对于`librbd`和`librados`,可以安装`librbd1`和`librados2`: ```bash sudo dnf install librbd1 librados2 ``` #### 1.3 重新安装fio 在解决所有依赖后,再次尝试安装: ```bash sudo rpm -ivh fio-3.7-2.el7.x86_64.rpm ``` 如果仍有依赖问题,可以使用`rpm -qpR fio-3.7-2.el7.x86_64.rpm`查看依赖关系,并逐一解决。 ### 问题2:下载Python2相关包时文件校验和错误 这通常是由于下载的包不完整或源服务器上的包有问题。解决方法: 1. **清除缓存并重试**: ```bash sudo dnf clean all sudo dnf install python2 ``` 2. **更换镜像源**: 编辑EPEL仓库配置文件(`/etc/yum.repos.d/epel.repo`),将`baseurl`注释,启用`mirrorlist`,或者更换为其他镜像。 3. **手动下载并验证**: 从官方镜像站手动下载rpm包,并使用`sha256sum`验证(如果镜像站提供校验文件)。 4. **忽略校验和(不推荐)**: ```bash sudo rpm -ivh --nodigest python2-*.rpm ``` ### 替代方案:使用CentOS 8官方仓库安装fio(推荐) 为了避免兼容性问题,建议直接使用CentOS 8官方仓库安装fio: ```bash # 启用PowerTools仓库(如果未启用) sudo dnf config-manager --set-enabled powertools # 安装fio sudo dnf install fio # 验证 fio --version ``` 此方法将安装适用于CentOS 8的fio版本(通常比3.7更新),并自动解决所有依赖。 ### 编译安装fio(可选) 如果以上方法均失败,可以考虑从源码编译安装: ```bash # 安装编译依赖 sudo dnf groupinstall "Development Tools" sudo dnf install zlib-devel libaio-devel # 下载源码(以fio-3.33为例) wget https://github.com/axboe/fio/archive/refs/tags/fio-3.33.tar.gz tar xvf fio-3.33.tar.gz cd fio-fio-3.33 # 配置和编译 ./configure make sudo make install ``` 此方法可避免rpm包的依赖问题,但需要手动管理更新。 --- ### 总结步骤 1. **优先尝试使用CentOS 8仓库安装fio**(推荐) 2. **如需安装指定rpm包**: - 安装Python2并创建符号链接 - 安装所有缺失的库(通过dnf或手动下载rpm) - 重新安装fio的rpm包 3. **处理校验和错误**:更换镜像源或手动下载验证 --- §§相关问题§§ 1. 如何更换CentOS 8的EPEL镜像源以加速下载? 2. 使用源码编译安装软件有哪些优缺点? 3. 如何验证下载的rpm包完整性? </think> ### 解决fio安装依赖及Python2校验和错误的完整方案 #### 核心问题析 1. **fio安装依赖错误**:缺少Python 2.7和多个RDMA库文件 2. **Python2包校验和错误**:下载的RPM包完整性验证失败 --- ### 解决方案一:fio依赖错误的终极处理 #### 1. 安装缺失的RDMA库(针对鲲鹏/ARM架构) ```bash # 安装RDMA核心库(ARM架构专用) sudo rpm -ivh libibverbs-*.aarch64.rpm --nodeps sudo rpm -ivh librdmacm-*.aarch64.rpm --nodeps # 安装持久内存支持库 sudo rpm -ivh libpmem-*.aarch64.rpm --nodeps sudo rpm -ivh libpmemblk-*.aarch64.rpm --nodeps # 安装Ceph存储支持 sudo rpm -ivh librbd1-*.aarch64.rpm --nodeps sudo rpm -ivh librados2-*.aarch64.rpm --nodeps ``` > **关键点**: > - 必须使用`.aarch64.rpm`后缀的ARM架构专用包[^1] > - `--nodeps`参数跳过依赖验证(鲲鹏环境必要操作) #### 2. 解决Python 2.7依赖 ```bash # 安装Python2基础包 sudo rpm -ivh python2-2.7.18-*.aarch64.rpm --nodigest # 安装兼容层 sudo rpm -ivh python2-libs-2.7.18-*.aarch64.rpm --nodigest sudo ln -s /usr/bin/python2 /usr/bin/python2.7 ``` > **校验和错误处理**: > - 使用`--nodigest`忽略校验和验证 > - 从华为鲲鹏镜像站获取专用包:https://mirrors.huaweicloud.com/kunpeng/yum --- ### 解决方案二:校验和错误深度处理 #### 1. 验证并修复下载包(Python2专用) ```bash # 检查RPM包完整性 rpm -Kv python2-2.7.18-*.aarch64.rpm # 重新下载(带校验参数) wget --content-disposition \ "https://mirrors.huaweicloud.com/kunpeng/yum/el7/aarch64/python2-2.7.18-3.h9.aarch64.rpm?checksum=sha256:xxxxxxxx" ``` > **说明**:URL中的`checksum`参数确保下载完整性 #### 2. 使用yum本地安装(自动修复依赖) ```bash # 创建本地仓库目录 mkdir -p /root/python2-local mv *.rpm /root/python2-local # 生成仓库元数据 createrepo /root/python2-local # 添加本地仓库配置 cat > /etc/yum.repos.d/local.repo <<EOF [local] name=Local Repo baseurl=file:///root/python2-local enabled=1 gpgcheck=0 EOF # 安装Python2 yum install python2 ``` --- ### 最终fio安装验证 ```bash # 安装fio(鲲鹏专用包) sudo rpm -ivh fio-3.7-*.aarch64.rpm # 验证安装 fio --version ``` > 预期输出:`fio-3.7` --- ### 鲲鹏环境专用资源获取 1. **华为官方镜像站**: ``` https://mirrors.huaweicloud.com/kunpeng/yum/el7/aarch64/ ``` 2. **必备包列表**: | 包名 | 版本 | 作用 | |---|---|----| | `libibverbs` | 22.1-3 | RDMA支持 | | `python2` | 2.7.18 | Python环境 | | `pmdk` | 1.9.2-2 | 持久内存支持 | | `ceph-common` | 10.2.5-4 | Ceph存储支持 | --- ### 替代方案:源码编译安装(推荐) ```bash # 安装编译依赖 sudo yum install make gcc libaio-devel # 下载fio源码 wget https://github.com/axboe/fio/archive/refs/tags/fio-3.33.tar.gz # 编译安装 tar xvf fio-3.33.tar.gz cd fio-fio-3.33 ./configure make sudo make install ``` > **优势**:完全绕过RPM依赖问题,获得最新版本[^5] ---
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Gauss松鼠会

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值