大数据生态
关注
分享
扫一扫
文章平均质量分 78
Running07
Practice is the sole criterion of truth.
展开
-
thrift系列 - 快速入门
1.简介 Thrift是当前流行的RPC框架之一，它有强大的代码生成引擎，可以跨语言，轻松解决程序间的通信问题。本文旨在帮助大家快速入门，若想深入原理，请参见thrift官网：http://thrift.apache.org/。（大家都很忙，少说废话）2.下载windows版的IDL compiler 访问地址：http://www.apac原创 2016-04-28 15:47:12 · 24653 阅读 · 0 评论 -
thrift系列 - 多语言实例 for java和python
1.简述本文主要介绍thrift多语言、跨语言的代码实例。Thrift对多语言的支持非常不错，定义一个thrift接口文件，通过thrift IDL compiler（代码生成引擎）生成各个语言的代码，将各自语言的代码放入各自语言的工程中，写好服务端和客户端程序，通信的问题即刻解决。2.简单架构图示例的thrift接口文件，test8.thrift:service Te原创 2016-05-10 15:54:18 · 27727 阅读 · 0 评论 -
thrift系列 - harpc 基于thrift的轻量级rpc框架
注意：此文为转载文章，原文地址为：https://github.com/baifendian/harpcharpc是什么HARPC（High Availability RPC）是基于Thrift的跨语言、高可用的RPC框架。具备高性能、高可用、轻量级等特点，在百分点科技内部服务中广泛使用。使用指南：HARPC简介QQ讨论群：398091913转载 2016-05-12 13:52:53 · 24945 阅读 · 0 评论 -
storm 学习教程
在这个教程中, 你将学到如何创建一个Storm topologies以及怎样把它部署到storm集群上。本教程中，Java将作为主要使用的语言，但在一小部分示例中将会使用Python来阐述storm处理多语言的能力。预备工作本教程使用的例子来自于 storm-starter 项目. 我们建议你拷贝该项目并跟随这个例子。 请阅读 Setting up a development翻译 2016-05-30 16:31:02 · 32425 阅读 · 0 评论 -
Apache Hadoop YARN架构简介
Apache Hadoop YARNYARN的基本理念是把 资源管理 和 任务 调度/监控 分离到单独的守护进程中。在这个理念中，有一个全局的 ResourceManager (RM) 和 每个应用都有的 ApplicationMaster (AM)。每个应用可以是一个 单独的任务，也可以是一个 有向无环图的 多个任务。ResourceManager 和 NodeManag翻译 2016-06-07 14:07:43 · 24948 阅读 · 2 评论 -
Hadoop 2.7版本 集群环境搭建实例
1.知识准备 1.1 Hadoop 简介 Hadoop 是开源的、可扩展的、高可用的分布式计算框架。在多数场景下，它是处理大数据问题的利器。它包括几个部分：① Hadoop common：支持hadoop的公共工具。 ② HDFS:支持高吞吐量的分布式文件系统。原创 2016-06-08 15:35:29 · 23055 阅读 · 0 评论 -
海量数据处理技巧-转载
[-] 教你如何迅速秒杀掉99的海量数据处理面试题前言何谓海量数据处理第一部分从setmap谈到hashtablehash_maphash_set第二部分处理海量数据问题之六把密匙密匙一分而治之Hash映射 Hash_map统计 堆快速归并排序密匙二多层划分密匙三Bloom filterBitmapBloom filterBitmap密匙四Trie树数据库倒排转载 2016-08-23 14:50:01 · 24199 阅读 · 1 评论