- 博客(208)
- 资源 (14)
- 收藏
- 关注
RSS订阅
原创 ceph系统原理 细节 benchmark 不完全说明
ceph系统原理 细节 说明1 流程说明1.1 应用1) RADOS GW是一个提供与Amazon S3和Swift兼容的RESTful API的gateway，以供相应的对象存储应用开发使用。RADOS GW提供的API抽象层次更高，但功能则不如librados强大。因此，开发者应针对自己的需求选择使用. 2) RBD则提供了一个标准的块设备接口，常用于在虚拟化的场景下为虚拟机创建vo
2016-05-22 10:31:23
20355
2
原创 1MySql学习
MySql 学习<重要设置关闭 safe update modeSET SQL_SAFE_UPDATES = 0;存储引擎选择查看数据库支持的存储引擎show engines;更改存储引擎Alter table tableName engine =engineName存储引擎InnoDBMRG_MYISAMMEMORYBLACKHOLEMyISAMCSVARCHIVEPERFO
2017-04-09 16:14:24
1106
原创 从零开始学Storm
从零开始学StormStorm简介学习1基本知识应用方向:流处理连续计算分布式RPCstorm-state 管理大量的内存状态0.8 版本引入State2拓扑详解TopologyBuilder3组件详解Map conf Storm配置IComponent 所有组件的接口void declareOutputFields(OutputFieldsDeclarer declarer)
2017-04-09 16:12:12
2044
原创 storm知识点
storm知识点关于Storm与JStorm的调度算法的讨论Storm 性能优化 例子图书 Storm技术内幕与大数据实践 192页Storm：大数据流式计算及应用实践storm1.0.0性能提升Storm 1.0.0说性能提升了16倍,延迟减少了60% 性能如何提升,提升了哪些方面?自动反压机制 反压介绍zoonkeeper 是瓶颈.Pacemaker - Heartbea
2017-04-09 16:11:55
870
原创 Storm实战_构建大数据实时计算
Storm实战 构建大数据实时计算ZeroMQsudo yum install maven1简介使用场景实时分析在线机器学习持续计算分布式RPCETL 保证每个消息都得到处理,速度快每个节点每秒百万次消息.实体工作进程:每台机器上多个exector:每个进程多个任务:每个exector多个任务 spot boltstorm 0.7版本引入事物拓扑解决,严格要求每个事物仅处理一次.
2017-04-09 16:11:37
1591
原创 Storm技术内幕与大数据实践
Storm技术内幕与大数据实践笔记周健华 2016年10月序LinnkdIn 基于Kafka 开发了,Samza用于实时新闻推送,广告和复杂监控.1号店使用经验.1绪论Nimbus 和 Supervisor 通信通过ZooKeeper完成.storm 0.8版本开始executor为具体物理线程. 同一个spout/bolt的task可能会共享一个物理线程.Apache kafka 消息队列
2017-04-09 16:11:11
1604
原创 Storm工具及命令
Storm开发问题:消息处理 best effort方式. 可靠性 Guaranteeing Message Processing并行度一个进程属于特定的topology。 进程启动一个或多个线程。 一个task认为是一个spout或者bolt实例。 默认一个executor分配一个task。 可以设置worker数量，executor数量和task数量。编程IDEA 运行storm-st
2017-04-09 16:10:53
1474
原创 Storm分布式实时计算模式
Storm分布式实时计算模式1分布式单词计数并行度worker一个workder属于特定的topology。进程启动一个或多个executor。executor一个 executor 是由 worker 进程生成的一个线程。executor 中可能会有一个或者多个 task一个task位同一个组件服务spout/bolt。默认一个executor分配一个task。tasktask 是实
2017-04-09 16:10:36
2609
原创 maven使用
Storm编译运行1maven依赖下载Maven教程 - 更换镜像ubuntu eclipse 安装maven插件更换 Maven 镜像Maven 的官方镜像比较慢，建议使用其他网站提供的镜像，速度比较快国内访问repo1.maven.org访问不了，导致maven不能下载依赖，解决方法是自己设置maven的mirrors，就是设置镜像：在~/.m2/目录下建立一个settings.xml文件，内
2017-04-09 16:09:56
546
原创 Jstorm
Jstorm为什么启动Jstorm项目现有storm调度太简单粗暴，无法定制化雪崩问题一直没有解决监控太简单对ZK 访问频繁RPC OOM（OOM - Out of Memory，内存溢出 ——俗称雪崩问题）一直没有解决原生Storm RPC：Zeromq 使用堆外内存，导致OS 内存不够，Netty 导致OOM； JStorm底层RPC 采用netty + disruptor，保证发送
2017-04-09 16:09:25
993
原创 1storm知识汇总
storm重要知识点关于Storm与JStorm的调度算法的讨论Storm 性能优化 例子图书 Storm技术内幕与大数据实践 192页Storm：大数据流式计算及应用实践storm1.0.0性能提升Storm 1.0.0说性能提升了16倍,延迟减少了60% 性能如何提升,提升了哪些方面?自动反压机制 反压介绍zoonkeeper 是瓶颈.Pacemaker - Heartb
2017-04-09 16:08:51
529
原创 Storm调度
调度资源感应调度器默认配置文件defaults.yamlResource_Aware_Scheduler_overview调度器EventScheduler：将系统中的可用资源均匀地分配给需要资源的topology，其实也不是绝对均匀，后续会详细说明DefaultScheduler：和EvenetScheduler差不多，只不过会先将其它topology不需要的资源重新收集起来，再进行Event
2017-04-09 16:08:34
2245
原创 cookbook
ceph cookbook可靠性 纠删码 缓存rbd接口块设备每一个块设备分布在多个ceph节点上. librbd库,RBD原生支持Linux内核.特性1) 可靠性,性能 2) 完整和增量快照 3) 自动精简配置 4) 写时复制克隆 5) 动态调整大小 6) 内存内缓存块设备可以和Cinder(块存储)和Glance(镜像)组件对接.检查内核对RBD支持sudo modpro
2017-04-09 16:05:26
587
原创 cephlearn
ceph重点安装时指定日志盘ceph-deploy osd HOST:DISK[:JOURNAL]ceph-deploy osd prepare 数据盘:日志盘ceph-deploy osd prepare --zap-disk objStor02:/dev/sdd:/dev/sdb在使用ceph-deploy osd prepare命令的对目标机器的磁盘进行格式化过程中，ceph-depl
2017-04-09 16:04:36
1062
原创 redhatDocument
红帽文档阅读redhat ceph 文档发布说明通过Ansible进行安装OSD BLUESTORE技术预览安装说明在redhat上安装ceph全局设置 [global] fsid = mon initial members = [, ] mon host = [, ] public network = [, ] cluster network = [, ]
2017-04-09 16:03:54
513
原创 Storm and Heron
storm learnJstormstorm java 实现JStorm 比Storm更稳定，更强大，更快， Storm上跑的程序，一行代码不变可以运行在JStorm上。Jstorm github封仲淹：Storm 2.0将会基于JStorm，阿里巴巴全程参与中文资料结论JStorm 0.9.0 在使用Netty的情况下，比Storm 0.9.0 使用Netty情况下，快10%， 并且JStorm
2016-10-04 19:16:16
1833
原创 go 语言编程
go语言并行与分布式软件工程支持编程哲学执行体go语言特性自动垃圾回收更丰富的内置类型函数多返回值错误处理匿名函数和闭包类型和接口并发编程反射语言交互性#环境的搭建yum -y install golanghello worldroot@122159d23f8e:~# cat hello.go package mainimport "fmt"func main(){
2016-07-08 11:59:14
1138
原创 docker
一台服务器同时运行一百个docker成为现实\ docker 基于go语言docker 1.10.3安装docker#centos 7 sudo yum install -y docker#启动服务sudo service docker start#安装最新的ubuntusudo docker pull ubuntusudo docker pull ubuntu:14.04sudo d
2016-07-05 14:37:53
1368
原创 CRUSH 论文伪代码整理
论文原始图片 程序说明,解释//对象x的CRUSH放置算procedure TAKE(a) // Put item a in working vector~i{ ~i←[a]}//end procedure procedure SELECT(n,t) // Select n items of type t { ~o←0 //输出结果o,开始为空 for i ∈~i do //遍
2016-06-07 12:01:01
4042
翻译 CEPH CRUSH 算法源码分析 原文CEPH CRUSH algorithm source code analysis
原文地址 CEPH CRUSH algorithm source code analysis http://www.shalandis.com/original/2016/05/19/CEPH-CRUSH-algorithm-source-code-analysis/文章比较深入的写了CRUSH算法的原理和过程.通过调试深入的介绍了CRUSH计算的过程.文章中添加了些内容.写在前面读本文前,
2016-06-05 17:53:53
10864
转载 crush 核心函数 crush_do_rule
crush 核心函数crush_do_rule 位置crush/mapper.c重要过程 - crush_do_rule: do crushrules iteratively - crush_choose_firstn: choose buckets or devices of specified type recursively - crush_bucket_choose: direc
2016-06-05 14:57:14
2243
原创 ceph osdmap crush 分析
1 maps 更新1.1 更新规则 Because cluster map changes may be frequent, as in a very large system where OSDs failures and recoveries are the norm, updates are distributed as incremental maps(增量更新): small mes
2016-06-02 15:15:38
15279
1
转载 windows 获得系统信息 GetSystemInfo
#include <windows.h>#include <stdio.h>#pragma comment(lib, "user32.lib")void main(){ SYSTEM_INFO siSysInfo; // Copy the hardware information to the SYSTEM_INFO structure. GetSystemInfo(&siSy
2016-05-31 17:30:05
1203
转载 Dynamo 译文 Dynamo: Amazon's Highly Available Key-value Store
Dynamo: Amazon’s Highly Available Key-value StoreDynamo：Amazon的高可用性的键-值存储系统摘要巨大规模系统的可靠性是我们在Amazon.com，这个世界上最大的电子商务公司之一，面对最大的挑战之一，即使最轻微的系统中断都有显着的经济后果并且影响到客户的信赖。Amazon.com平台，它为全球许多网站服务，是实现在位于世界各地的许多数据中心中
2016-05-29 13:07:45
4932
转载 Ceph剖析：数据分布之CRUSH算法与一致性Hash
Ceph剖析：数据分布之CRUSH算法与一致性Hash 作者：吴香伟 发表于 2014/09/05 版权声明：可以任意转载，转载时务必以超链接形式标明文章原始出处和作者信息以及版权声明 http://www.cnblogs.com/shanno/p/3958298.html数据分布是分布式存储系统的一个重要部分，数据分布算法至少要考虑以下三个因素：故障域隔离。同份数据的不同副本分
2016-05-29 10:46:36
2415
转载 CRUSH详解
CRUSH详解CRUSH简介CRUSH全称Controlled Replication Under Scalable Hashing，是一种数据分发算法，类似于哈希和一致性哈希。哈希的问题在于数据增长时不能动态加Bucket，一致性哈希的问题在于加Bucket时数据迁移量比较大，其他数据分发算法依赖中心的Metadata服务器来存储元数据效率较低，CRUSH则是通过计算、接受多维参数的来解决动态数据
2016-05-28 20:45:18
8364
转载 翻译 CRUSH: Controlled, Scalable,Decentralized Placement of Replicated Data
CRUSH: Controlled, Scalable,Decentralized Placement of Replicated DataCEPH 的 CRUSH 算法原理概要新兴的的大规模分布式存储系统面临着在数十甚至是数百数千的存储设备之间分发PB这个数量级别数据的艰巨任务. 这样的系统必须能够均匀的分配数据和工作负载，以获取对可用资源的高效使用，和系统性能的最大化, 同时要便于系统的扩展以及
2016-05-28 20:41:05
1859
转载 ceph翻译 Ceph: A Scalable, High-Performance Distributed File System
Ceph: A Scalable, High-Performance Distributed File System Ceph：一个可扩展，高性能分布式文件系统 Sage A. Weil Scott A. Brandt Ethan L. Miller Darrell D. E. Long Carlos Maltzahn 摘要 我们开发Ceph,一个分布式文件系统,它提供了优秀的性能、可靠性
2016-05-28 20:15:01
2237
翻译 ceph 译文 RADOS:A Scalable, Reliable Storage Service for Petabyte-scale Storage Clusters
RADOS:A Scalable, Reliable Storage Service for Petabyte-scale Storage Clusters摘要块式和面向对象的存储架构形成了一种以提升扩展性的存储cluster。然而，现存的系统继续把存储节点作为一个被动的设备，尽管他们有能力展示智能和自治。我们提出RADOS的设计和实现，RADOS是一个可靠的面向对象服务，通过利用每个独立节点的智能
2016-05-28 19:55:24
9085
转载 理解Ceph的存储设计
转载: 理解Ceph的存储设计 http://www.fireflies.me/tag/rados/ceph在大部分中心化存储系统中（如GFS）中，通常有一个中心节点管理整个系统元数据的更新、协调节点之间的数据复制，检测并处理节点故障以及后续的数据迁移工作。Ceph认为将所有的管理工作全部交一个节点不利于整个系统的扩展：1）单个节点存储、计算以及网络传输能力有限，容易成为性能瓶颈；2）中
2016-05-28 13:33:11
2173
原创 ceph 日志01
1. 对象存储问：我可以存储多少数据？您可以存储的总数据容量和对象个数不受限制。各个 Amazon S3 对象的大小范围可以从最小 0 字节到最大 5 TB。可在单个 PUT 中上传的最大数据元为 5 GB。对于大于 100 MB 的数据元，客户应该考虑使用分段上传功能。理解这个问题，事实上有助于理解RADOS的本质，因此有必要在此加以分析。粗看起来，librados和RADOS GW的区别在于，l
2016-05-27 15:58:39
10923
转载 解析Ceph: 恢复与数据一致性
作为一个面向大规模的分布式存储系统，故障处理是作为一个常态异常处理。Ceph 为了细化和保证故障发生和故障恢复的集群高可用性和一致性，在设计上将故障分为两类:临时性故障: 主机升级维护，重启，掉电等等在一定时间内可以重新上线 OSD 的故障 永久性故障: 作为强一致存储系统，状态只跟存储在持久设备的数据有关，因此这类故障主要就是盘损坏或者主机损坏并无法及时转移盘到另外主机。换句话说救是一定时间内无
2016-05-23 21:49:42
5194
转载 ceph openstack联系
The OpenStack Ceph GalaxyPicture of our galaxy :). This picture describes the state of the integration of Ceph into OpenStack. The OpenStack Ceph Galaxy http://www.sebastien-han.fr/blog/2016/05/16
2016-05-23 20:44:21
1015
原创 容器 STL
容器 STL vector listdeque 双端队列stack 栈queue 队列priority_queue 优先级队列 底层默认使用向量实现map 映射 有序,提供一对一的关系,以pair为内部类型multimap 多重映射set 集合 元素唯一,集合中元素唯一.multiset 多重集合 bits
2016-05-21 20:13:06
531
原创 STL bitmap 使用
/*description:STL bitmap的使用author:Jasondate:20160521*/#include<stdio.h>#include <bitset>#include<iostream>using namespace std;int main(){ bitset<100> mybitset; mybitset.set();//将所有位置
2016-05-21 17:34:56
3540
原创 STL Map使用
/*description:STL map使用author:Jasondate:20160521*/#include<stdio.h>#include <map>#include<iostream>using namespace std;int main(){ map<char,int> mymap; int data[]={31,-41,59,26,-53,
2016-05-21 17:20:04
582
原创 Markdown编辑器使用说明
Markdown编译器语法说明1.标题格式标题是每篇文章都需要也是最常用的格式，在 Markdown中，如果一段文字被定义为标题，只要在这段文字前加 #+空格号即可。 一级标题 #, 二级标题 ##, 三级标题 ### .一级标题二级标题三级标题2.列表熟悉 HTML 的同学肯定知道有序列表与无序列表的区别，在 Markdown 下，列表的显示只需要在文字前加上 - 或 * 即可变为无序列表，有
2016-05-21 15:16:00
579
原创 python 字符串操作 str
python 字符串操作help(str)class str(basestring) | str(object) -> string | | Return a nice string representation of the object. | If the argument is a string, the return value is the same object.
2016-05-21 10:01:43
558
转载 VIM设置
python 设置set nufiletype plugin indent onautocmd FileType python setlocal et sta sw=2 sts=4autocmd FileType python setlocal foldmethod=indentset foldlevel=99"开启语法高亮syntax on""依文件类型设置自动缩进filetype
2016-05-21 09:44:31
437
原创 python 字典 dict
help(dict) python 字典class dict(object) | dict() -> new empty dictionary | dict(mapping) -> new dictionary initialized from a mapping object's | (key, value) pairs | dict(iterable) -> new
2016-05-20 23:43:02
548
ceph 原理 内容 总结
2016-05-23
pack2alpha1 背包问题9讲
2016-03-15
rsync源代码
2014-10-25
机器学习实战.pdf
2014-10-22
SecureCRTSecureFX 中文版
2014-10-18
西工大汇编实验 软件延时器
2013-12-01
西工大 汇编实验 实验四 排序程序
2013-12-01
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人