lisha006的专栏

前奏：Storm实时处理框架​​（一）hadoop 集群搭建(一)hadoop 集群搭建(二)hbase（一） 伪集群搭建​​​​​​​自从AI的概念火起来之后，不玩玩实时 ，而只知道离线处理数据，似乎已经不满足现在对数据分析的要求了，深感逗比的同时，哥们还是浅浅介绍一下实时需要掌握的技巧和核心点，架构图请自己画切。  技术支持：        python + logs...

 一 、 是什么：       twitter开源的，分布式、流式计算、容错的实时计算系统。 二、有撒用：     实时性场景     对于大量存在的实时数据，如股票，实效性强，量大，需在流数据不断变化过程中实时计算分析，把结果推给用户。     能提供 ：适应流式数据，不间断查询，稳定，可扩展性强、分布式计算、并行计算、热点数据缓存策略、服务端计算三、优点： ...

一、 准备     虚拟机两台          Linux hadoop000 2.6.32-358.el6.x86_64 #1 SMP Fri Feb 22 00:31:26 UTC 2013 x86_64 x86_64 x86_64 GNU/Linux         Linux hadoop001 2.6.32-358.el6.x86_64 #1 SMP Fri Feb 22 ...

前边完成了基本的环境搭建 参考 ：hadoop 集群搭建(一)下面安装hadoop一 、解压tar -zxvf hadoop-2.6.0-5.7.0.tar.gzcdhadoop-2.6.0-5.7.0/etc/hadoopls -l二、配置首先配置core-site.xml <configuration> ...

请参考文章：                   Storm实时处理框架​​核心介绍                   实时热力图

一 、 背景介绍 ：        P2P公司不断的发展，系统不断的迭代，业务越来越多，系统也越来越多，最终整个公司技术部分根据业务划分成：借款端、理财端、和移动端 ，目前公司的数据库也拆成了三大块，基于诸多历史原因，表结构不明确、各个端表设计冗余、数据冗余，为业务部门梳理公司业务和制作有效报表带来了极大的困难。 二 、 需求与设计：     基于之上的历史原因，公司要求创建一个数仓，...

前边提到 这款工具发生的  历史背景、需求、预期    参考 ： 分布式大数据迁移工具 （一）为了达到预期，必要的设计是不可缺失的。一、设计概要前端用例设计    1、用户能配置数据源（带库）                          如 配置  user、uinfo、report    2、用户配置源下指定表 （源表  、 目标表）    如 加入  user_inf...

 一句话介绍               hbase 高可靠、高性能、可伸缩、分布式 的列式存储型数据库。依赖：        环境 ： Jdk1.8        zookeeper  为hbase分布式存储协同服务 （伪分布式可暂不安装，hbase自带） 安装：      下载hbase： https://www.apache.org/dyn/closer....