
大数据存储
个人渣记录仅为自己搜索用
不盈利,只为分享,转载.
找到的原版url的,尽量会贴原版url.
如有版权侵犯,请留言删除.
展开
-
Tableau的特点和案例--可视化和交互化 和 其他
Tableau 大数据支持的不好,tableau的不足之处,用tableau处理实时数据响应很慢,而且预览数据不太方便,用来做做可视化不错。企业应用的话不及一些商业智能软件FineBI来得适应性强,效果好。学习Tableau最主要的一点是要了解它的用法特点,尤其是和Excel的不同。我见过太多用户和公司总是把用Excel做数据分析的方法生搬硬套到Tableau里边来,效果自然不怎么样,然后转载 2018-01-30 18:14:08 · 9296 阅读 · 0 评论 -
1.8 leveldb vs rocksdb 优劣分析 对 write stalling stal 的调优
摘操自内网具体详见 http://blog.youkuaiyun.com/fei33423/article/details/79066826rocksdb: 1. 闪存 2. 解决 leveldb主动限制写 的问题[1] [转]RocksDB介绍:一个比LevelDB更彪悍的引擎[2] rocksdb,leveldb,压测[3] rocksdb对Write Stalls的调原创 2018-01-15 17:47:23 · 3097 阅读 · 0 评论 -
mapreduce 的使用java 案例 reduce join 和 计数
其他: 1. MapReduce mapJoin MapReduce实现的Join 2. mapReduce 排序 MapReduce的原理及执行过程下文是 MapReduce reduceJoin:一:背景Reduce端连接比Map端连接更为普遍,因为输入的数据不需要特定的结构,但是效率比较低,因为所有数据都必须经过Shuffle过程。原创 2018-01-23 21:24:14 · 254 阅读 · 0 评论 -
互联网开源软件的对应的存储
部署架构图自己找.zipkin: Mysql, 软open-falcon: rrd,Falcon-Graph扩容 ,Open-Falcon的底层存储,使用RRDTool时间序列数据库。在Transfer & Query模块,使用一致性哈希来对数据做均匀的分片。把脉: druidkafka,rocketmq: 文件顺序延迟队列: rocksdb ,ridis zset原创 2018-01-23 12:16:14 · 302 阅读 · 0 评论 -
HDFS只支持文件append操作,不可变, 而依赖HDFS的HBase如何完成增删改查功能update
转自:http://blog.youkuaiyun.com/liqianyuan2009/article/details/455071571. HDFS的文件append功能 不可变早期版本的HDFS不支持任何的文件更新操作,一旦一个文件创建、写完数据、并关闭之后,这个文件就再也不能被改变了。为什么这么设计?是为了与MapReduce完美配合,MapReduce的工作模式是接受一系列输入文转载 2018-01-16 17:13:39 · 4694 阅读 · 2 评论 -
HBase Region regionServer 分裂 原理,过程
1. 架构图 其中 dfsClient 是 hdfs 的客户端组件.2. HBase Region分裂 regionServer关于HBase报错org.apache.hadoop.hbase.NotServingRegionException的异常分析附录:hbase 一致性 问题思考2.转载 2017-09-25 12:07:42 · 1172 阅读 · 0 评论 -
360自研分布式存储系统Bada的架构设计和应用
这篇文章干货满满,1. 既有调研对比 bigtable,cassandra 2.又有自身设计的说明. 对可靠性,可用性都说的很明白. 扩容等.360自研分布式存储系统Bada的架构设计和应用2015-07-29 09:50 陈宗志 高可用架构微信号 字号:T |T本文作者主要向大家介绍了360自主研发的分布式存储系统Nosql-Bada,以以作者本人在设转载 2018-01-17 00:59:17 · 2028 阅读 · 0 评论