<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[bigbugss的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/bigbugss</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; bigbugss]]></copyright><item><title><![CDATA[关于qos理解]]></title><link>https://blog.youkuaiyun.com/bigbugss/article/details/88018061</link><guid>https://blog.youkuaiyun.com/bigbugss/article/details/88018061</guid><author>bigbugss</author><pubDate>Thu, 28 Feb 2019 10:56:23 +0800</pubDate><description><![CDATA[服务质量qos
开篇先提出几个问题：

qos一般的应用场景有什么？
qos一般有哪些要求？
qos如何去实现，在什么平台，是软件还是硬件层面？
qos有哪些现成的案例可以借鉴？
qos是什么？

先回答qos是什么？
一般在网络服务中，如何用有限的资源去服务尽可能多的用户和应用，提供足够低的延迟和足够高的带宽，综合调度不同应用的优先级和应用特点（计算密集型还是数据密集型），来达到系统最优的一种策...]]></description><category></category></item><item><title><![CDATA[欢迎使用优快云-markdown编辑器（转）]]></title><link>https://blog.youkuaiyun.com/bigbugss/article/details/88016170</link><guid>https://blog.youkuaiyun.com/bigbugss/article/details/88016170</guid><author>bigbugss</author><pubDate>Thu, 28 Feb 2019 10:21:31 +0800</pubDate><description><![CDATA[这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入
欢迎使用Ma...]]></description><category></category></item><item><title><![CDATA[CCF期刊阅读18.1--城市计算和智能]]></title><link>https://blog.youkuaiyun.com/bigbugss/article/details/84554913</link><guid>https://blog.youkuaiyun.com/bigbugss/article/details/84554913</guid><author>bigbugss</author><pubDate>Tue, 04 Dec 2018 10:34:25 +0800</pubDate><description><![CDATA[导语
城市计算是用大数据和人工智能来实实在在的解决城市面临的各种具体问题。在人工智能呼声越来越高的同事，应该是如何选择发展道路。
强人工智能vs弱人工智能
强人工智能是基于逻辑和推导的，但发展缓慢，没有形成理论体系；弱人工智能是基于计算的智能，是伴随着摩尔定律的发展，计算，存储等发展起来的。如何将算法和场景更好地结合，商业化，还有很多要做。

城市计算和智能
城市化导致的人口大量聚集，带来了交通，...]]></description><category></category></item><item><title><![CDATA[YCSB-README翻译]]></title><link>https://blog.youkuaiyun.com/bigbugss/article/details/84621983</link><guid>https://blog.youkuaiyun.com/bigbugss/article/details/84621983</guid><author>bigbugss</author><pubDate>Thu, 29 Nov 2018 11:35:12 +0800</pubDate><description><![CDATA[概览
当前YCSB支持很多数据库包括：
HBase
Hypertable
Cassandra
Couchbase
Voldemort
MongoDB
OrientDB
Infinispan
Redis
GemFire
DynamoDB
Tarantool
Memcached
…and many others
很难决定那个系统适合你的应用，部分因为系统间的特性不同，部分因为没有简单的方法来比较两个系...]]></description><category></category></item><item><title><![CDATA[论文阅读：efficient and available in-memory KV-store with hybrid erasurecod and repli]]></title><link>https://blog.youkuaiyun.com/bigbugss/article/details/84565367</link><guid>https://blog.youkuaiyun.com/bigbugss/article/details/84565367</guid><author>bigbugss</author><pubDate>Tue, 27 Nov 2018 14:29:14 +0800</pubDate><description><![CDATA[内存kv存储加上纠错码和备份的混合设计。
问题：
说是纠错码用在元数据更新上，很频繁，但PBR模式难道不用频繁更新么？
摘要
kvstore用在很多网站和数据库系统中，连续应对每秒million级别的请求。保持可用性的措施往往采用primary-backup主从备份。但这样就要将稀缺的内存用在与响应用户请求无关的地方。本文结合纠错码技术和PBR节省内存开销而不降低性能。
主要挑战是：内存kvsto...]]></description><category></category></item><item><title><![CDATA[论文阅读：toward accurate and fast evaluation of multi-stage ls designs]]></title><link>https://blog.youkuaiyun.com/bigbugss/article/details/84528768</link><guid>https://blog.youkuaiyun.com/bigbugss/article/details/84528768</guid><author>bigbugss</author><pubDate>Mon, 26 Nov 2018 10:54:21 +0800</pubDate><description><![CDATA[摘要
针对leveldb，rocksdb，hbase，COLA，SAMT等MSLS设计，本文提出一种评价方法，可以更准确的判断insert的开销，以及最优的参数配置。
detail
目标是针对不同MSLS设计，准确的评估模型写放大的效应。而写放大与几个因素有关，重复key会导致总体上写到磁盘上的数据变少；用unique（映射一系列请求与对应的请求中uniquekey的数量）和unique的逆函数定...]]></description><category></category></item><item><title><![CDATA[论文阅读:implementing flash page reuse with WOM codes]]></title><link>https://blog.youkuaiyun.com/bigbugss/article/details/84314967</link><guid>https://blog.youkuaiyun.com/bigbugss/article/details/84314967</guid><author>bigbugss</author><pubDate>Wed, 21 Nov 2018 10:43:23 +0800</pubDate><description><![CDATA[摘要
针对的是flash存储的pe寿命问题。WOM代表write-once memory，写之前必须先擦除。而减少块擦除有WOMcodes算法。
detail
写前擦除的机制，不光会使io本身延迟增加，同时会影响ssd的寿命。
WOMcodes在物理写之前，修改逻辑数据，从而允许cell可以再多个写之间重用。增加每个block在必须被擦除之前所保存的数据数量。
但是WOMcodes运用在SLC和M...]]></description><category></category></item><item><title><![CDATA[论文阅读：BTrDB optimizing storage system disign for timeseries processing]]></title><link>https://blog.youkuaiyun.com/bigbugss/article/details/84302517</link><guid>https://blog.youkuaiyun.com/bigbugss/article/details/84302517</guid><author>bigbugss</author><pubDate>Tue, 20 Nov 2018 14:46:02 +0800</pubDate><description><![CDATA[相关工作
KairosDB，OpenTSDB，Druid
摘要
高准确率，高流通率的时间序列数据给当前的时间序列数据库带来挑战。本文提出针对遥测时间序列数据的新的抽象和一个提供这种抽象的数据结构，一个时间分区的版本识别的COW树。
detail
随着IOT的发展，新型的分布式存储逐渐变得重要。遥测系统samplerate要求的越来越高，实时性也要求的高，因此分布式系统的容量和带宽也相应的要提升。
...]]></description><category></category></item><item><title><![CDATA[论文阅读：Isotope:Transactional Isolation for Block Storage]]></title><link>https://blog.youkuaiyun.com/bigbugss/article/details/84285223</link><guid>https://blog.youkuaiyun.com/bigbugss/article/details/84285223</guid><author>bigbugss</author><pubDate>Tue, 20 Nov 2018 10:09:40 +0800</pubDate><description><![CDATA[摘要
现有的存储栈对block storage期待的太少，本文将事务隔离放到块存储中（额外的还有原子性和持久性），使得上层存储系统更简单，提供更强的语义而不用牺牲性能。（为什么，。。）
Isotope在块读写上支持ACID事务，内部Isotope使用新的多版本并行控制协议，实现细粒度的，subblock在工作负载上的并行并且提供严格的序列化和快照隔离保证。
同时，本文在Isotope上实现了多个高...]]></description><category></category></item><item><title><![CDATA[论文阅读：the composite-file FileSystem:Decoupling the one-to-one mapping of files and metadata]]></title><link>https://blog.youkuaiyun.com/bigbugss/article/details/84281700</link><guid>https://blog.youkuaiyun.com/bigbugss/article/details/84281700</guid><author>bigbugss</author><pubDate>Tue, 20 Nov 2018 09:16:14 +0800</pubDate><description><![CDATA[问题
这三种小文件聚集的方式，或是基于目录，或是基于reference，有没有其他的，在访问时动态变化分组的。
摘要
逻辑文件到物理元数据之间的映射关系可能被移除。提出了composite-file fs实现file到metadata的多对一的映射关系，提升了性能（什么性能，rename？delete？）。
另外这个fs貌似是在ext4上做的封装，底层还是ext4.
detail
one-to-o...]]></description><category></category></item><item><title><![CDATA[论文阅读　ｂｔｒｆｓ：ｔｈｅｌｉｎｕｘ　ｂｔｒｅｅ　ｆｓ]]></title><link>https://blog.youkuaiyun.com/bigbugss/article/details/84249644</link><guid>https://blog.youkuaiyun.com/bigbugss/article/details/84249644</guid><author>bigbugss</author><pubDate>Mon, 19 Nov 2018 14:51:27 +0800</pubDate><description><![CDATA[是由ＩＢＭ公司和ｆｕｓｉｏｎｉｏ公司合作进行的。
ｆｕｓｉｏｎｉｏ是最早做ＳＳＤ厂商
摘要：
作为ｌｉｎｕｘ某些版本的默认ｆｓ，支持ＣＯＷ，有效的快照和克隆，使用ｂｔｒｅｅ，设计目标是支持更多的用例和负载。
几个挑战：
扩展性：在磁盘空间，内存和ｃｐｕ上可扩展
数据一致性：不能丢失数据，包括ｃｈｅｃｋｓｕｍ，元数据管理，ＲＡＩＤ。
多种磁盘：针对ｓｓｄ和ｈｄｄ都可以很好的适应，给ＲＡＩＤ和条带机制...]]></description><category></category></item><item><title><![CDATA[论文阅读：optimizing every operation in a write-optimized filesystem]]></title><link>https://blog.youkuaiyun.com/bigbugss/article/details/84180339</link><guid>https://blog.youkuaiyun.com/bigbugss/article/details/84180339</guid><author>bigbugss</author><pubDate>Sat, 17 Nov 2018 12:42:21 +0800</pubDate><description><![CDATA[背景介绍
WOD-WRITE OPTIMIZED DICTIONARIES
WOD包括ｌｓｍｔｒｅｅ及其优化，ｂｅｔｒｔｒｅｅ，ｘｄｉｃｔ，ｃａｃｈｅ－ｏｂｌｉｖｉｏｕｓｌｏｏｋａｈｅａｄ　ａｒｒａｙ。
ＷＯＤ提供键值接口，支持插入，查询，删除，范围查询
比起ｂｔｒｅｅ特点：随机ｋｅｙ插入性能好，删除通过插入ｔｏｍｂｓｔｏｎｅ，ｂｅｔｒ的读性能和ｂｔｒｅｅ一样好，可以以接近磁盘带宽的速度进行范围查...]]></description><category></category></item><item><title><![CDATA[论文阅读（10）：WOKV]]></title><link>https://blog.youkuaiyun.com/bigbugss/article/details/83472650</link><guid>https://blog.youkuaiyun.com/bigbugss/article/details/83472650</guid><author>bigbugss</author><pubDate>Sun, 28 Oct 2018 10:44:24 +0800</pubDate><description><![CDATA[
本文是2018年IEEE的协会文章，思路比较简单
主要针对的是leveldb的写放大以及memtable unavailable的问题。
解决的思路都很直接。写放大问题的原因是compact过程中，leveli某个sstable与leveli+1中键值交叠的sstable，读到内存，重排序，去重等再写回leveli+1的sstable中。本文就是迭代leveli层的sstable，找到与下层ss...]]></description><category></category></item><item><title><![CDATA[论文阅读（9）：lsbmtree]]></title><link>https://blog.youkuaiyun.com/bigbugss/article/details/83270512</link><guid>https://blog.youkuaiyun.com/bigbugss/article/details/83270512</guid><author>bigbugss</author><pubDate>Mon, 22 Oct 2018 11:28:08 +0800</pubDate><description><![CDATA[
LSbM-tree: Re-enabling Buffer Caching in Data Management for Mixed Reads and Writes
本文主要针对的问题是，在如leveldb等传统lsmtree的kvstore中，普通的buffercache会在compact过程之后失效，因为Ci+1层的重排序会导致已经缓存的block位置变化
现有的其他替代策略：

cach...]]></description><category></category></item><item><title><![CDATA[论文阅读（8）：slimdb]]></title><link>https://blog.youkuaiyun.com/bigbugss/article/details/83036554</link><guid>https://blog.youkuaiyun.com/bigbugss/article/details/83036554</guid><author>bigbugss</author><pubDate>Sat, 13 Oct 2018 11:02:08 +0800</pubDate><description><![CDATA[SlimDB: A Space-Efficient Key-Value Storage Engine For Semi-Sorted Data
REN KAI,CMU
问题起源：很多应用中，ｋｅｙ不需要完全有序。而是将ｋｅｙ分为ｐｒｅｆｉｘ和ｓｕｆｆｉｘ。范围查询只要将共享一个ｐｒｅｆｉｘ的所有ｅｎｔｒｙ　ｉｔｅｒ一遍就可以。经常出现这样的ｗｏｒｋｌｏａｄ叫做ｓｅｍｉｓｏｒｔｅｄ。
应用场景：推荐...]]></description><category></category></item><item><title><![CDATA[论文阅读（7）：flamedb]]></title><link>https://blog.youkuaiyun.com/bigbugss/article/details/83008405</link><guid>https://blog.youkuaiyun.com/bigbugss/article/details/83008405</guid><author>bigbugss</author><pubDate>Thu, 11 Oct 2018 10:18:42 +0800</pubDate><description><![CDATA[flamedb：a key-value store with grouped level structure and heterogeneous bloom filter
2018 WEI TAO ZHANG 中国科技大学
本文主要工作：

提出了grouped level structure数据结构减少写放大，
group之间的数据无序，为了弥补读性能，提出了heterogeneous bloo...]]></description><category></category></item><item><title><![CDATA[论文阅读（６）：ｒｌｓｍ]]></title><link>https://blog.youkuaiyun.com/bigbugss/article/details/82983916</link><guid>https://blog.youkuaiyun.com/bigbugss/article/details/82983916</guid><author>bigbugss</author><pubDate>Tue, 09 Oct 2018 16:06:31 +0800</pubDate><description><![CDATA[２０１８　ＩＥＥＥ

Nae Young Song and Heon Young Yeom

Dept. of Computer Science and Engineering

Seoul National University

Efficient key-value stores with Ranged　Log-structured Merge Trees

 

摘要：针对的还是ＬＳＭ的写...]]></description><category></category></item><item><title><![CDATA[论文阅读（５）：ｋａｍｌ]]></title><link>https://blog.youkuaiyun.com/bigbugss/article/details/82983900</link><guid>https://blog.youkuaiyun.com/bigbugss/article/details/82983900</guid><author>bigbugss</author><pubDate>Tue, 09 Oct 2018 16:05:56 +0800</pubDate><description><![CDATA[KAML: A Flexible, High-Performance Key-Value SSD

Yanqin Jin 加利福尼亚大学，北卡罗来纳州立大学

摘要：现代ｓｓｄ只开放给主机程序一个块ｉｏ的接口，资源没有充分利用。有很多尝试去用针对键值的接口以及内部的事务机制实现提升，但实现的并不好。ＫＡＭＬ：ｋｅｙ－ａｄｄｒｅｓｓａｂｌｅ，ｍｕｌｔｉ－ｌｏｇ。将数据存储为变长记录而不是固定记录。同...]]></description><category></category></item><item><title><![CDATA[论文阅读（４）：ｅｌａｓｔｉｃＢＦ]]></title><link>https://blog.youkuaiyun.com/bigbugss/article/details/82970418</link><guid>https://blog.youkuaiyun.com/bigbugss/article/details/82970418</guid><author>bigbugss</author><pubDate>Mon, 08 Oct 2018 16:59:39 +0800</pubDate><description><![CDATA[ｅｌａｓｔｉｃｂｆ：张月明　中国科技大学　ElasticBF: Fine-grained and Elastic Bloom Filter Towards Efficient Read for　LSM-tree-based KV Stores

 

针对的问题：ｌｓｍ的ｋｖ存储读放大问题很严重，尤其可能查了一遍，并不在ｌｓｍ里。现存的ｂｆ设计都很单一，很难适应动态调整，造成高误判率以及大量内存消...]]></description><category></category></item><item><title><![CDATA[论文阅读（３）：ｐｅｂｂｌｅｓｄｂ]]></title><link>https://blog.youkuaiyun.com/bigbugss/article/details/82970392</link><guid>https://blog.youkuaiyun.com/bigbugss/article/details/82970392</guid><author>bigbugss</author><pubDate>Mon, 08 Oct 2018 16:58:30 +0800</pubDate><description><![CDATA[ｐｅｂｂｌｅｓｄｂ：ｐａｎｄｉａｎ　ｒａｊｕ（德克萨斯大学）等

 

 

摘要：针对ＬＳＭ写放大问题，依据ｓｋｉｐｌｉｓｔ的概念灵感，提出了ｆｌｓｍ结构。引入ｇｕａｒｄ的概念来管理ｌｏｇ，避免同一ｌｅｖｅｌ内重写数据。本文是在ｈｙｐｅｒｌｅｖｅｌｄｂ的基础上加上ｆｌｓｍ的结构设计。与ｒｏｃｋｓｄｂ以及在ｍｏｇｏｄｂ，ｈｙｐｅｒｄｅｘ中使用ｐｅｂｂｌｅｓｄｂ，在写放大以及写带宽上，均有明显优化。...]]></description><category></category></item></channel></rss>