ganggexiongqi-优快云博客

转载 Profiling Ceph memcpy Usage

Profiling Ceph memcpy Usage 目录Profiling Ceph memcpy Usage Introduction Placing the uprobe on memcpy Simple Python Perf script to analyse memcpy sizes Distribution of memcpy sizes Steps...

2019-01-29 17:44:06 602

转载 Working With NUMA/CPU Pinning

Working With NUMA/CPU PinningSep8th, 201611:06 am| CommentsThe term CPU pinning / process affinity / NUMA generally boils down to the same idea that In a multi socket system, application best pe...

2018-07-23 12:22:42 814

转载 A Quick Tour of NVM Express (NVMe)

A Quick Tour of NVM Express (NVMe)I will very briefly describe NVM Express (NVMe) with examples in Linux.DisclaimerI am not an expert on this field and this is a basic overview not a comprehensive one...

2018-06-29 15:25:11 2600 1

转载 HLS科普1 HLS和M3U8简介

HLS(HTTP Live Streaming)是苹果公司针对iPhone、iPod、iTouch和iPad等移动设备而开发的基于HTTP协议的流媒体解决方案。在 HLS 技术中 Web 服务器向客户端提供接近实时的音视频流。但在使用的过程中是使用的标准的 HTTP 协议，所以这时，只要使用 HLS 的技术，就能在普通的 HTTP 的应用上直接提供点播和直播。在App Store中的视频相关的应...

2018-06-13 15:57:57 2526

转载 2018 存储技术热点与趋势总结

过去半年阅读了 30 多篇论文，坚持每 1~2 周写一篇 Newsletter，大部分都和存储相关。今天在这里进行一个总结，供大家作为了解存储技术热点和趋势的参考。本文包含了全新的技术领域，如 Open-Channel SSD，Machine Learning for Systems；也包含老话题的新进展，如 NVM，LSM-Tree，Crash Consistency；以及工业界的进展。Open...

2018-06-12 16:07:26 1507

转载 Creating patch from GitHub pull request

Have you ever needed to generate a patch filefrom a GitHub pull request? If you answered YES, you'll enjoy this little hidden feature.Every pull-request on GH can be downloaded as a beautiful mail-pat...

2018-05-29 11:00:57 1251

转载 Understanding glibc malloc

I always got fascinated by heap memory. Questions such asHow heap memory is obtained from kernel?How efficiently memory is managed?Is it managed by kernel or by library or by application itself?Can he...

2018-04-17 16:11:10 426

转载 Hack the Virtual Memory: malloc, the heap & the program break

This is the fourth chapter in a series around virtual memory. The goal is to learn some CS basics, but in a different and more practical way.If you missed the previous chapters, you should probably st...

2018-04-17 16:02:24 400

转载关于内存

What is some existing documentation on Linux memory management? Ulrich Drepper (the ex-glibc maintainer) wrote an article series called "What every programmer should know about memory": Part...

2018-04-17 14:14:53 632

转载 Profiling heap usage

Profiling heap usageThis document describes how to profile the heap usage of a C++ program. This facility can be useful forFiguring out what is in the program heap at any given timeLocating memory lea...

2018-04-17 10:34:27 806

转载 LevelDB源码剖析之Arena内存管理

levelDB 中的内存管理本文将分析levelDB 中内存管理类Arena 的实现，通过分析该类的实现，我学到了如何封装内存的分配操作(通过统一的接口来分配不同大小的内存，而不用考虑内存释放)，以及如何预先分配一整块内存来解决频繁分配小块内存浪费时间，直接分配大块内存浪费内存的问题，还学到了如何保证内存对齐。真好。static const int kBlockSize = 4096;Arena每...

2018-04-17 10:18:00 309

转载给SSD（固态硬盘）编程

给SSD（固态硬盘）编程（1）：简介和目录本文由伯乐在线 - 熊铎翻译。未经许可，禁止转载！英文出处：Emmanuel Goossaert (CodeCapsule.com)。欢迎加入翻译组。简介我想为我的键值对存储项目弄一个固态硬盘（SSD）最佳存储解决方案。为此，我必须确保我完全了解SSD是如何工作的，这样就可以优化我的hash表实例来适合SSD的内部特征。网上有很多不完全和相悖的的信息，...

2018-04-06 11:32:27 2685

原创使用 lttng trace rgw 性能

本节介绍如何使用 rgw tracepoints 跟踪 rgw 数据传送、bi更新和头对象写的时间开销。1. 打过patch后，获取 trace数据操作和 [1] 中过程一样。不一样的处理如下：- apply patch [2] - 编译打开 lttng 支持（同[1]）- ceph.conf 中配置项打开 rgw rados tracing = true rgw op tracing = ...

2018-03-27 12:12:24 1059

转载 How to Use git send-email

How to Use git send-emailThe preferred way to send patches is by email, using git send-email (more information about sending patches can be found on the Community page). This page explains how to use ...

2018-02-28 16:57:03 2151 2

原创使用python-crush均衡pg分布

作者： Yang Honggang ceph默认创建pool时，其pg分布很不均衡。这会造成有些osd很忙，有些很闲。不能充分发挥整体的性能。本文以rgwecpool ec pool为例子，演示如果让一个pool的pg均衡分布到各个osd上。本例子中使用的是jewel版本(v10.2.2)。对于社区master已经有 mgr balancer plugin 来自动调整pg分布（ht

2018-01-23 12:03:28 1890

原创 cosbench 部署配置

作者： Yang Honggang 下载 // 不能直接使用 git clone 的版本，应该使用 release 下的 // ref: http://cosbench.1094679.n5.nabble.com/cosbench-3-3-0-on-ubuntu-13-10-td114.html wget https://github.com/intel-cloud/co

2018-01-23 10:46:04 8582 2

原创使用lttng trace ceph filestore的性能

作者： Yang Honggang 本文基于 ceph-10.2.2/Centos7.2 介绍如何使用 lttng trace ceph osd 的性能.安装lttng工具安装 # yum install lttng-tools lttng-ust // 查看 trace 结果的工具 # yum install babeltrace启动 // 我们只是t

2018-01-22 17:33:58 2602

原创 CentOS7 安装gcc 7.2 (为了编译最新版ceph)

最新版本的ceph已经使用了c++14新特性，CentOS7中的gcc版本太低，所以需要手动安装新版本的gcc。本文给出了一个可以正确编译ceph的gcc配置，供大家参考。 $ wget https://ftp.gnu.org/gnu/gcc/gcc-7.2.0/gcc-7.2.0.tar.xz

2017-12-27 14:35:27 6486

转载 Editing Rocksdb BlockBasedTable Format

This page is forked from LevelDB’s document on table format, and reflects changes we have made during the development of RocksDB.BlockBasedTable is the default SST table format in RocksDB.File format<b

2017-10-18 20:21:41 535

转载 rocksdb table formats

What is SST (Static Sorted Table)All RocksDB’s persistent data is stored in a collection of SSTs. We often use sst, table and sst file interchangeably. Choosing a table formatRocksdb supports different

2017-10-18 20:14:46 1257

转载 Rocksdb Merge Operator

This page describes the Atomic Read-Modify-Write operation in RocksDB, known as the “Merge” operation. It is an interface overview, aimed at the client or RocksDB user who has the questions: when and w

2017-10-18 16:01:46 1814

原创手动部署使用 bluestore 后端的 osd (L版)

bluestore luminous 12.2.0 手动部署

2017-10-11 21:05:42 3743

原创 S3 bucket versioning 总结

1. bucket 的 versioning 状态切换* 默认状态unversioned* --> versioning-enabled versioning-suspendedWarningOnce you version-enable a bucket, it can never return to an unversioned stateObjects s

2017-09-14 15:43:53 2101

原创基于 rbd nbd 的支持抢锁的 rbd docker volume plugin

基于 rbd nbd 的支持抢锁的 rbd docker volume plugin1.注意本plugin的master分支和 Luminous 一起配合，不需要下面的patch本plugin 的 old-volume-helpers和jewel(10.2.2)一起测试过，需要apply 下面的patch:ceph-patch/rbd-nbd-ceph-10.2.2.patch2. 编译rpm包$...

2017-04-26 14:00:33 1500

原创 ceph radosgw 对象寻址和元数据组织

1. 对象寻址rgw对象寻址的过程就是“拼接对象串“的过程，再结合bucket.pool就能对应到rados对象。1.1 普通对象1.2 multipart 对象1.3 非multipart versioned对象1.4 multipart versioned 对象脑补吧...2. rgw元数据pool的作用 struct RGWZon

2017-03-31 10:56:35 3939

转载 centos 7 安装 debuginfo

debuginfo 的软件库设置以下内容可以被加进 /etc/yum.repos.d/CentOS-Base.repo 或一个新增的文件内，例如 /etc/yum.repos.d/CentOS-Debug.repo。#Debug Info[debuginfo]name=CentOS-$releasever - DebugInfo# CentOS-4#baseurl=ht

2017-03-09 14:00:47 3627

转载 Write a filesystem with FUSE

During the past year I experimented a lot with file systems in Userspace using FUSE, I wrote this post to share my thoughts about what I did and to give you a starting point to do something by yoursel

2017-02-16 15:34:12 706

原创 aws java sdk 访问ceph radosgw (hammer)

1. 安装maven[1]- 下载$ wget http://mirrors.cnnic.cn/apache/maven/maven-3/3.3.9/binaries/apache-maven-3.3.9-bin.tar.gz- 解压 $ mkdir ~/install/ $ tar -zxf apache-maven-3.3.9-bin.tar.gz -C ~/in

2016-12-07 15:18:05 2926

原创 Multi upload 示例

import math, os import boto import boto.s3.connection from filechunkio import FileChunkIO CONS_AK = 'RC35MU8KM1PMEQ4EFD46' CONS_SK = 'Fg1KO10FS4uIPzSoKenmKAR2YHt052rM9u8VDik9'

2016-10-12 11:13:53 1846

原创 Boto2 s3访问示例

import boto import boto.s3.connection ############### Replace these with your configrations #################### CONS_AK = 'RC35MU8KM1PMEQ4EFD46' CONS_SK = 'Fg1KO10FS4uIPzSoKenmKAR2YHt

2016-10-12 11:09:31 2229

转载 centos7 firefox 安装 jre 插件

Today, I had to install the Java plugin for 64bit Firefox on CentOS 6.4. The procedure wasn’t too bad, but it wasn’t exactly straight-forward either. So, I’m recording what worked for when I have to d

2016-05-27 19:38:21 2956

原创 radosgw layout (rgw 布局)

要了解一个存储系统，首先要了解其数据、元数据布局、重要抽象。这里对radosgw / rgw 的布局进行简单介绍。

2016-05-19 11:53:43 3328

原创 S3 Multi Part Upload 中断后续传

我们上传大文件时难免出错，但又不愿意重新开始传，这里介绍如何利用boto，继续中断的 multi part upload。上传大文件示例

2016-05-17 14:49:57 4291

转载分布式系统领域经典论文翻译集

分布式领域论文译序sql&nosql年代记SMAQ：海量数据的存储计算和查询一．google论文系列1. google系列论文译序2. The anatomy of a large-scale hypertextual Web search engine (译 zz)3. web search for a planet :the googl

2016-05-12 20:29:14 1130

原创 radosgw cache

radosgw cache 分析

2016-05-04 14:54:43 6164 1

原创 radosgw bucket index sharding

每个key在其对应的dir/bucket下都会占有200B左右的空间。当dir/bucket下面的key数量很多时，这将使得dir对象很大。不仅包含该dir对象的osd会使用很多内存，而且当dir对象迁移时所有对该对象的写操作都会锁定[1]。 [root@yhg-2 cmds]# rados -p .rgw.buckets.index listomapvals .dir.yhg-

2016-04-20 17:35:36 4397

原创 ceph radosgw gc

rgw gc对象删除操作、对象覆盖操作都会产生需要被删除的对象。这些对象由垃圾回收线程进行周期性、批量删除。1. 配置项配置项描述默认rgw gc max objs垃圾回收进程在一个处理周期内可处理的最大对象数32rgw gc obj min wait对象可被删除并由垃圾回收器处理前最少等待多长时间7200s

2016-04-15 11:05:12 6485 1

转载 leveldb实现原理

郑重声明：本篇博客是自己学习 Leveldb 实现原理时参考了郎格科技系列博客整理的，原文地址：http://www.samecity.com/blog/Index.asp?SortID=12，只是为了加深印象，本文的配图是自己重新绘制的，大部分内容与原文相似，大家可以浏览原始页面 :-)，感兴趣的话可以一起讨论 Leveldb 的实现原理！LevelDb日知录之一：LevelDb 1

2016-04-12 15:50:36 810

转载 Ceph中的序列化

Ceph中的序列化yuandong| 2015.05.11 作为主要和磁盘、网络打交道的分布式存储系统，序列化是最基础的功能之一，今天我们来看一下Ceph中序列化的设计与实现。1 Ceph序列化的方式序列化（ceph称之为encode）的目的是将数据结构表示为二进制流的方式，以便通过网络传输或保存在磁盘等存储介质上，其逆过程称之为反序列化（ceph称之为decode）。

2016-04-08 13:38:24 2156 1

转载 Ceph中Bufferlist的设计与使用

Ceph中Bufferlist的设计与使用yuandong| 2015.05.07 如果非要在整个Ceph中，找出一个类最重要，我觉得非Bufferlist莫属了，原因很简单，因为Bufferlist负责管理Ceph中所有的内存。整个Ceph中所有涉及到内存的操作，无论是msg分配内存接收消息，还是OSD构造各类数据结构的持久化表示（encode/decode），再到实际磁盘操

2016-04-08 13:34:10 3216

The Zettabyte File System

The Zettabyte File System zfs

2015-09-06

ZFS On-Disk Specification Draft

ZFS On-Disk Specification – Draft ZFSOnDiskFormat.pdf, Sun Microsystems, Inc., 2006-08)

2015-08-29

文件系统的数据结构之间的概要视图

2013-05-13

一个用户空间网卡驱动的设计和实现

一个基于UIO和UIO-DMA的用户空间网卡驱动的设计和实现。

2013-01-05

经典汇编教程

* 第1章汇编语言的由来,数据类型 o 1.1 汇编语言的由来 o 1.1.4 汇编语言的特点 o 1.1.5 汇编语言的应用领域 o 1.2 数据地表示和类型 o 1.2.1 数值表示及其扩展 o 1.2.2 非数值数据的表示 o 1.2.3 基本的数据类型 o 1.3 习题 * 第2章 CPU资源和存储器 o 2.1 寄存器组 o 2.1.2 通用存储器的作用 o 2.1.3 程序状态字 o 2.2 16位微机存储器的管理模式 o 2.2.1 物理地址的形成方式 o 2.2.1 段寄存器的引用 o 2.2.1 存储单元的内容 o 2.2.2 32位微机存储器的管理模式 o 2.3 习题 * 第3章操作数的寻址方式 o 3.1 立即数寻址方式 o 3.2 寄存器寻址方式 o 3.3 直接寻址方式 o 3.4 寄存器间接寻址方式 o 3.5 寄存器相对寻址方式 o 3.6 基址加变址寻址方式 o 3.7 相对基址加变址寻址方式 o 3.8 32位地址的寻址方式 o 3.10 习题 * 第4章标识符和表达式 o 4.1 标识符 o 4.2.2 字节变量的定义 o 4.2.3-4 字/双字变量的定义 o 4.2.5 多字变量的定义 o 4.3 调整偏移量的伪指令 o 4.3.3 调整偏移量伪指令ORG o 4.4 复合内存变量的定义 o 4.4.2 结构类型的定义 o 4.4.2 结构变量的定义 o 4.4.3 联合类型的定义 o 4.4.3 联合变量的定义 o 4.4.4 记录类型的定义 o 4.4.4 记录类型的定义 o 4.4.5 数据类型的自定义 o 4.5 标号、属性 o 4.6.3 类型属性操作符 o 4.6.6 强制属性操作符 o 4.6.7 存储单元别名操作符 o 4.7 表达式 o 4.7.2 数值表达式 o 4.7.3 地址表达式 o 4.8 符号定义语句 o 4.8.2 等号语句 o 4.9 习题 * 第5章微机CPU的指令系统 o 5.1 汇编语言指令格式 o 5.2 指令系统 o 5.2.1-传送－填充指令 o 5.2.1-取有效地址指令 o 5.2.1-堆栈操作指令 o 5.2.2 标志位操作指令 o 5.2.3 算术运算指令 o 5.2.3 减法指令 o 5.2.3 乘法指令 o 5.2.3 除法指令 o 5.2.3 类型转换指令 o 5.2.4 逻辑运算指令 o 5.2.5 移位操作指令 o 5.2.5 逻辑移位指令 o 5.2.5 双精度移位指令 o 5.2.5 循环移位指令 o 5.2.5 带进位的循环移位指令 o 5.2.6 位操作指令 o 5.2.6 位操作指令 o 5.2.7 比较运算指令 o 5.2.8 循环指令 o 5.2.8-循环指令 o 5.2.9 转移指令 o 5.2.9-条件转移指令 o 5.2.10 条件设置字节指令 o 5.2.11-字符串操作指令 o 5.2.11-字符串比较指令 o 5.2.11-重复字符串操作指令 o 5.2.12-ASCII-BCD调整指令 o 5.2.12-乘、除法调整指令 o 5.2.12-十进制调整指令 o 5.2.13 处理器指令 o 5.3 习题 * 第6章程序的基本结构 o 6.1 程序的基本组成 o 6.1.2 段寄存器的说明语句 o 6.1.3 堆栈段的说明 o 6.1.4 源程序的结构 o 6.2 程序的基本结构 o 6.2 程序的基本结构举例 o 6.2.2 分支结构 o 6.2.2 分支结构 o 6.2.2 用伪指令实现分支结构 o 6.2.3 循环结构 o 6.2.3 伪指令实现的循环结构 o 6.2.3 辅助循环伪指令 o 6.3 段的基本属性 o 6.3.3 段的类别和段组 o 6.4 简化的段定义 o 6.4.2 段简化定义伪指令 o 6.4.3 简化段段名的引用 o 6.5 源程序的辅助说明伪指令 o 6.6 习题 * 第7章子程序和库 o 7.1 子程序的定义 o 7.2 子程序的调用和返回 o 7.2.2 子程序的返回指令 o 7.2.2 子程序的举例 o 7.3 子程序的参数传递 o 7.3.2 存储单元传递参数 o 7.3.3 堆栈传递参数 o 7.4 寄存器的保护与恢复 o 7.5 子程序的完整定义 o 7.5.2 子程序的位距和语言类型 o 7.5.4 子程序的可见性和首尾宏操作 o 7.5.6 寄存器的保护与恢复 o 7.5.7 子程序参数传递 o 7.5.9 子程序调用伪指令 o 7.5.10 局部变量的定义 o 7.6 子程序库 o 7.6.3 库文件的应用 o 7.6.3 库文件的应用举例 o 7.6.4 库文件的好处 o 7.7 习题 * 第8章输入输出和中断 o 8.1 输入输出的基本概念 o 8.1.2 I/O指令 o 8.2 中断 o 8.2.2 中断指令 o 8.2.3 中断返回指令 o 8.3 中断功能的分类 o 8.3.1 键盘输入中断 o 8.3.2 屏幕中断功能 o 8.3.2 屏幕中断功能 o 8.3.2 屏幕中断功能 o 8.3.2 键盘中断的处理过程 o 8.3.2 键盘中断举例 o 8.3.3 打印输出中断 o 8.3.4 串行口中断功能 o 8.3.5 鼠标功能中断 o 8.3.6 目录和文件的中断功能 o 8.3.7 内存管理的中断功能 o 8.3.8 读取和设置中断向量 o 8.3.8 修改中断向量 o 8.4 习题 * 第9章宏 o 9.1 宏的定义 o 9.1.2 宏的引用 o 9.1.4 宏的嵌套定义 o 9.1.5 宏与子程序的区别 o 9.2 宏参数的特殊运算符 o 9.2.3 字符转义运算符 o 9.3 与宏有关的伪指令 o 9.3 与宏有关的伪指令 o 9.4 重复汇编伪指令 o 9.4 重复汇编伪指令 o 9.5 条件汇编伪指令 o 9.6 宏的扩展——REPEAT/WHILE o 9.6 宏的扩展——FOR/FORC o 9.6 宏的扩展——GOTO o 9.6 宏的扩展——系统定义的宏 o 9.7 习题 * 第10章应用程序设计 o 10.1 字符串的处理程序 o 10.1 字符串的处理程序 o 10.1 字符串的处理程序 o 10.2 数据的分类统计程序 o 10.2 分类统计程序举例 o 10.3 数据转换程序 o 10.3 数据转换程序举例 o 10.3 数据转换程序举例 o 10.3 数据转换程序举例 o 10.4 文件操作程序 o 10.4 文件操作程序举例 o 10.5 动态数据的编程 o 10.6 COM文件的编程 o 10.7 驻留程序 o 10.8 程序段前缀及其应用 o 10.8.2 程序段前缀的应用 o 10.9 习题 * 第11章数值运算协处理器 o 11.1 协处理器的数据格式 o 11.1.3 浮点数 o 11.1 浮点数转化为十进制数 o 11.2 协处理器的结构 o 11.2.2 状态寄存器 o 11.2.2 存取状态寄存器 o 11.2 协处理器的结构 o 11.3 协处理器的指令系统 o 11.3.2 数据传送类指令 o 11.3.3 数学运算类指令 o 11.3.4 比较,超越函数运算指令 o 11.3.6 常数操作,控制指令 o 11.4 协处理器的编程举例 o 11.5 习题 * 第12章汇编语言和C语言 o 12.1 汇编指令的嵌入 o 12.2 C语言源程序的汇编输出 o 12.3 简单的屏幕编辑程序 o 12.4 习题 * 汇编语言重要附录

2012-04-12

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

The Zettabyte File System

ZFS On-Disk Specification Draft

文件系统的数据结构之间的概要视图

一个用户空间网卡驱动的设计和实现

经典汇编教程

latex.tar.bz2

现代汉语词典.tar.bz2

牛津现代英汉双解词典

朗道英汉字典.tar.bz2

算法导论 和 答案

网络子系统在链路层的收发过程剖析

并口 ECP 模式详细介绍

Real-Time Concepts for Embedded Systems

分布式系统 答案 一版 & 二版

Distributed_Systems_Principles_and_paradigms e1_2

Distributed_Systems_Principles_and_paradigms e1

MCS9865_Linux_UM_Ver1.1.doc

omnetpp 安装手册

omnetpp 中文手册

Building Embeded Linux System

/Linux C常用库函数手册

Linux 高级编程

空空如也

算法导论和答案

分布式系统答案一版 & 二版