ChainingBlocks

本篇博文主要讲解的是Hue这个开源软件。通过阅读本博客，可以从宏观的角度了解Hue这个应用。本文介绍了什么是Hue，Hue的架构，Hue的特点，在Hue上面使用Hive的优点，在Hue上浏览文件和数据，使用Hue可以对HDFS做哪些操作， 大数据授权管理的背景，Hue使用的授权管理的组件Sentry，介绍了Sentry的组件和架构，Sentry的特点，工作流的概念，开源工具Oozie和开源工具air

本文将要讲到的是在centos6.5上面安装gitlab的过程和使用演示.一、安装：安装Gitlab参考的安装教程是官网的，地址为：Gitlab官方安装教程地址1、安装准备：官网教程上面的第一步是安装curl、ssh、postfix和cronie工具。第一个工具用于下载安装包，第二个用于安全访问和文件传输，第三个是用来搭建自己的邮箱服务器，第四个是linux定时任务工具。因为我们的机器连不了外网，所

这里默认读者已经知道了一致性hash算法的原理。1、 为什么在某台机器宕机之后consistent hash算法能够避免所有或者大部分key重新hash？首先需要弄清的是，如果某一台机器宕机之后，在没有冗余备份的情况下，必定有一部分数据会丢失的。所丢失的这部分数据正是缓存在这台机器上面的。其他数据不会受到影响。其他的数据只需要按照原来的方式hash，顺势正便可寻找到对应的机器。如果使用的是普通的ha

本人主要讲解的是Splunk组件和架构！Splunk主要解决的问题splunk提供了统一管理分布在不同机器上的数据（比如日志数据）的服务。如下图所示： Splunk是一个功能完备的企业级产品，提供了命令行窗口，web图形界面接口和其他接口，查询结果展示，数据查询，权限控制，分布式管理服务，数据索引，网络端口监听，数据警报，文件监听等等。ForwarderSplunk提供了Forwarder组件，它

一、序言 随着TDW的发展，公司在大数据离线分析方面已经具备了行业领先的能力。但是，很多应用场景往往要求在数秒内完成对几亿、几十亿甚至几百上千亿的数据分析,从而达到不影响用户体验的目的。如何能够及时有效的获取分析结果提高工作效率，这是许多分析人员在面对大数据所不得不面临的问题。要满足这样的需求，可以采用精心设计的传统关系型数据库组成并行处理集群，或者采用一些内存计算平台，或者采用HDD的架构，

数据格式：text、RC、Parquet、ORC相同大小的原始数据集，转换成相应的格式之后的文件大小：Text > RC > Parquet > ORCText/CSVcsv文件不支持块压缩，所以在Hadoop中使用压缩的CSV文件经常会带来很低的读性能。无法存储元数据。新的字段只能追加到所有字段的尾部，并且不能产出已经存在的字段。支持有限的模式演进。JSON能够存储元数据。不支持块压缩。第三方

如何设计一个小而美的秒杀系统（抢红包）？本文来自：http://mp.weixin.qq.com/s/npdAbY3Pp6TMWz4wCZk2gA，作者：刘鹏现如今，春节抢红包的活动已经逐渐变成大家过年的新风俗。亲朋好友的相互馈赠，微信、微博、支付宝等各大平台种类繁多的红包让大家收到手软。鸡年春节，链家也想给15万的全国员工包个大红包，于是我们构建了一套旨在支撑10万每秒请求峰值的抢红包系统。经实践

下面的内容是对docker的简单操作，包括启动docker，下载image，运行image，查看容器的详细信息、在容器中安装新程序，保持刚刚修改的容器，发布自己的镜像到docke Hub上。所有操作步骤是一步一步进行的，能够让初学者直观地感受一下docker的作用。 说明： 1、在看本博客之前，请先确认您已经安装好了docker。本人的docker运行在win上面。 2、为了提高写博

英文链接：https://en.wikipedia.org/wiki/KubernetesKubernetes（通常写成“k8s”）是最开始由google设计开发最后贡献给Cloud Native Computing Foundation的开源容器集群管理项目。它的设计目标是在主机集群之间提供一个能够自动化部署、可拓展、应用容器可运营的平台。Kubernetes通常结合docker容器工具工作，并且

谷歌新发布的分布式数据库服务，是要打破CAP定理了吗？本来来自：Original 2017-02-19 作者｜登州知府2月14日，Google 宣布推出 Cloud Spanner 云端数据库服务的 Beta 版。Cloud Spanner 是构建在 Google Cloud Platform（GCP）平台上的全球级分布式关系型数据库服务，主要为 OLTP 场景的核心业务应用提供服务。不同于 Big

本文主要是对跨平台工具、组件和框架的汇总，包括游戏引擎、编程语言、移动开发、网络通信、图形界面等等Qt是1991年奇趣科技开发的一个跨平台的C++图形用户界面应用程序框架。它提供给应用程序开发者建立艺术级的图形用户界面所需的所有功能。Qt很容易扩展，并且允许真正地组件编程。基本上，Qt 同 X Window 上的 Motif，Openwin，GTK 等图形界 面库和 Windows 平台上的 MFC

结构化数据、半结构化数据和非结构化数据结构化数据结构化的数据是指可以使用关系型数据库表示和存储，表现为二维形式的数据。一般特点是：数据以行为单位，一行数据表示一个实体的信息，每一行数据的属性是相同的。举一个例子：id name age gender1 lyh 12 male2 liangyh 13 female3

本文系统地讲解了Hue作为大数据分析交互平台的优势！欢迎批评指正！Hue Web应用的架构Hue 是一个Web应用，用来简化用户和Hadoop集群的交互。Hue技术架构，如下图所示，从总体上来讲，Hue应用采用的是B/S架构，该web应用的后台采用python编程语言别写的。大体上可以分为三层，分别是前端view层、Web服务层和Backend服务层。Web服务层和Backend服务层之间使用RPC

这篇文章使用了一个通俗的具体的例子来讲解Esper。在文末有两个版本的代码链接。通过这篇文章，你将会了解如何使用Esper，了解如何集成Esper到Spring框架中，了解如何使用Apache Active MQ和JMS来为Esper提供事件数据。以下是一个非常简单的事件流处理示例（使用ESPER引擎）。在GitHub上可以看到一个完整的代码, ~ 链接在文末 ~。什么是复杂...