- 博客(11)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 flink和hbase整合
有两种方式第一种，批处理模式整合,即从hbase查询数据并转为DataSet格式首先引入flink整合hbase的jar（版本号请根据实际调整） org.apache.flink flink-table_2.11 1.1.42 在resource下添加hbase-site.xml文件xml version="1.0"?>xml-style
2017-02-20 15:14:19
6749
原创 spark Streaming 和drools整合
最近公司打算把drools引入spark Streaming实时计算引擎，测试了一下，还是很好用对 JavaPairDStream aggregateRecords 执行以下程序，创建drools session，加载配置文件并执行规则，执行后调用ChannAmount的hbaseSave()方法aggregateRecords.foreachRDD(new VoidFunction>()
2017-02-09 14:36:30
2981
原创 hbase表设计
1 hbase表设计思路以横向扩展为设计方向的表结构（列族中有很多列），能保持多列的原子性，因为行级有事务控制以纵向扩展为设计方向的表结构（把常用查询字段拼入rowkey），能快速查询数据，但损失原子性。实际使用中可以对rowkey用MD5加密，还可以统一长度，提高存取性能（怎么提高）可以利用列名存储数据，64位操作系统内存一次存取8个字节，rowkey最好8个字节的整数倍，尽量不超过
2016-10-24 11:12:50
349
原创 一致性hash理解
一致性哈希主要应用于分布式集群对机器添加、删除的管理1 按照常用hash算法将要管理的对象映射到一个2^32-1的闭合环形上2 按照常用hash算法将机器映射也映射到此闭合环形上3 以顺时针计算，将要管理的对象纳入离自己最近的机器上4 删除节点时，该机器存储的对象按照顺时针就近原理分配到临近机器上5 增加节点时，按照哈希算法获得机器hash值，然后把临近对象分配到该节点6
2016-10-19 11:42:19
425
转载 一致性hash
转载请说明出处：http://blog.youkuaiyun.com/cywosp/article/details/23397179 一致性哈希算法在1997年由麻省理工学院提出的一种分布式哈希（DHT）实现算法，设计目标是为了解决因特网中的热点(Hot spot)问题，初衷和CARP十分类似。一致性哈希修正了CARP使用的简 单哈希算法带来的问题，使得分布式哈希（DHT）可以在P2P环境中真正得到
2016-10-19 11:40:49
168
转载 storm 原理
本文翻译自： https://github.com/nathanmarz/storm/wiki/TutorialStorm是一个分布式的、高容错的实时计算系统。Storm对于实时计算的的意义相当于Hadoop对于批处理的意义。Hadoop为我们提供了Map和Reduce原语，使我们对数据进行批处理变的非常的简单和优美。同样，Storm也对数据的实时计算提供了简单Spout和Bolt原语。
2016-10-19 11:35:03
290
原创 storm 安装启动
stormwget http://mirrors.hust.edu.cn/apache/storm/apache-storm-0.9.5/apache-storm-0.9.5.tar.gzmv apache-storm-0.9.5 /usr/local/ln -s /usr/local/apache-storm-0.9.5 /usr/local/apache-stormvi /et
2016-10-19 11:31:34
308
原创 hbase存储原理
Hbase 表结构设计注意问题：见过程经验积累--数据库问题 Hbase每个cell插入时都会写入时间戳（当前系统时间）来做版本标识，在读取时如果没有指定时间戳，默认取最新时间。Hbase默认保留3个版本数据。 HBase写入原理1 客户端写入请求-->MemStore同时会写入Hlog，类似于Commit log，做数据恢复用2 MemStore满足条件后刷入Stor
2016-10-19 11:28:59
1966
原创 cassandra使用
cassandra拷贝文件到csvCOPY airplanes (name, mach, year, manufacturer) TO 'export.csv';cassandra 删除节点1 ./nodetool status获取host id2 ./nodetool removenode 3 ./nodetool removenode status nodetoo
2016-10-19 11:27:04
489
原创 cassandra安装管理
1 解压tar zxvf apache-cassandra-2.0.12-bin.tar.gz -C /usr/local/2 进入conf目录，vi cassandra.yaml1> data_file_directories: - /usr/local/apache-cassandra-2.0.12/data2> commitlog_directory: /usr
2016-10-19 11:26:18
544
原创 cassandra 存储原理
参考：http://my.oschina.net/jsycwangwei/blog/4202571 Cassandra 通过4个技术来维护数据的最终一致性，分别为逆熵（Anti-Entropy），读修复（Read Repair），提示移交（Hinted Handoff）和分布式删除。逆熵：节点间定期检查数据一致性，使用markle tree，markle tree是hash树，叶节点是ke
2016-10-19 11:24:12
1943
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人