大数据架构师之路-大数据框架大全

服务器脚本系列:

1.shell

2.python

3.perl

4.ruby

数据仓库系列:

1.hive

2.spark sql

3.Cloudera Impala

4.kylin

介绍 : http://www.youkuaiyun.com/article/2014-10-25/2822286

数据分析/建模工具系列:

1.sas

2.spss

3.r / r on hadoop / r on spark

机器学习系列:

1.mahout

2.spark MLLib

离线处理系列:

1.hadoop

2.spark

3.tez

流处理系列:

1.storm

2.spark streaming

消息队列

1.Kafka

Kafka是Apache下的一个子项目，是一个高性能跨语言分布式发布/订阅消息队列系统，而Jafka是在Kafka之上孵化而来的，即Kafka的一个升级版。具有以下特性：快速持久化，可以在O(1)的系统开销下进行消息持久化；高吞吐，在一台普通的服务器上既可以达到10W/s的吞吐速率；完全的分布式系统，Broker、Producer、Consumer都原生自动支持分布式，自动实现复杂均衡；支持Hadoop数据并行加载，对于像Hadoop的一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka通过Hadoop的并行加载机制来统一了在线和离线的消息处理。Apache Kafka相对于ActiveMQ是一个非常轻量级的消息系统，除了性能非常好之外，还是一个工作良好的分布式系统。

2.RabbitMQ

RabbitMQ是使用Erlang编写的一个开源的消息队列，本身支持很多的协议：AMQP，XMPP, SMTP, STOMP，也正因如此，它非常重量级，更适合于企业级的开发。同时实现了Broker构架，这意味着消息在发送给客户端时先在中心队列排队。对路由，负载均衡或者数据持久化都有很好的支持。

3.ActiveMQ

ActiveMQ是Apache下的一个子项目。 类似于ZeroMQ，它能够以代理人和点对点的技术实现队列。同时类似于RabbitMQ，它少量代码就可以高效地实现高级应用场景。

4.ZeroMQ

http://blog.youkuaiyun.com/lfsf802/article/details/38238007
ZeroMQ号称最快的消息队列系统，尤其针对大吞吐量的需求场景。ZMQ能够实现RabbitMQ不擅长的高级/复杂的队列，但是开发人员需要自己组合多种技术框架，技术上的复杂度是对这MQ能够应用成功的挑战。ZeroMQ具有一个独特的非中间件的模式，你不需要安装和运行一个消息服务器或中间件，因为你的应用程序将扮演了这个服务角色。你只需要简单的引用ZeroMQ程序库，可以使用NuGet安装，然后你就可以愉快的在应用程序之间发送消息了。但是ZeroMQ仅提供非持久性的队列，也就是说如果宕机，数据将会丢失。其中，Twitter的Storm 0.9.0以前的版本中默认使用ZeroMQ作为数据流的传输（Storm从0.9版本开始同时支持ZeroMQ和Netty作为传输模块）。

4.redis 发布/订阅

Redis是一个基于Key-Value对的NoSQL数据库，开发维护很活跃。虽然它是一个Key-Value数据库存储系统，但它本身支持MQ功能，所以完全可以当做一个轻量级的队列服务来使用。对于RabbitMQ和Redis的入队和出队操作，各执行100万次，每10万次记录一次执行时间。测试数据分为128Bytes、512Bytes、1K和10K四个不同大小的数据。实验表明：入队时，当数据比较小时Redis的性能要高于RabbitMQ，而如果数据大小超过了10K，Redis则慢的无法忍受；出队时，无论数据大小，Redis都表现出非常好的性能，而RabbitMQ的出队性能则远低于Redis。

NOSQL系列:

1.hbase

2.redis

3.mongo db

4.riak

Riak是以 Erlang 编写的一个高度可扩展的分布式数据存储，Riak的实现是基于Amazon的Dynamo论文，Riak的设计目标之一就是高可用。Riak支持多节点构建的系统，每次读写请求不需要集群内所有节点参与也能胜任。提供一个灵活的 map/reduce 引擎，一个友好的 HTTP/JSON 查询接口。

Riak 非常易于部署和扩展。可以无缝地向群集添加额外的节点。link walking 之类的特性以及对 Map/Reduce 的支持允许实现更加复杂的查询。除了 HTTP API 外，Riak 还提供了一个原生 Erlang API 以及对 Protocol Buffer 的支持。

目前有三种方式可以访问 Riak：HTTP API（RESTful 界面）、Protocol Buffers 和一个原生 Erlang 界面。提供多个界面使您能够选择如何集成应用程序。如果您使用 Erlang 编写应用程序，那么应当使用原生的 Erlang 界面，这样就可以将二者紧密地集成在一起。其他一些因素也会影响界面的选择，比如性能。例如，使用 Protocol Buffers 界面的客户端的性能要比使用 HTTP API 的客户端性能更高一些；从性能方面讲，数据通信量变小，解析所有这些 HTTP 标头的开销相对更高。然而，使用 HTTP API 的优点是，如今的大部分开发人员（特别是 Web 开发人员）非常熟悉 RESTful 界面，再加上大多数编程语言都有内置的原语，支持通过 HTTP 请求资源，例如，打开一个 URL，因此不需要额外的软件。在本文中，我们将重点介绍 HTTP API。

所有示例都将使用 curl 通过 HTTP 界面与 Riak 交互。这样做是为了更好地理解底层的 API。许多语言都提供了大量客户端库，在开发使用 Riak 作为数据存储的应用程序时，应当考虑使用这些客户端库。客户端库提供了与 Riak 连接的 API，可以轻松地与应用程序集成；您不必亲自编写代码来处理在使用 curl 时出现的响应。

图数据库系列:

1.neo4j

2.flockdb

序列化系列:

1.avro

2.protocol buffer

3.swift

监控系统系列:

1.zabbix

2.nagios

3.gangla

数据采集系列:

1.facebook scribe

2.cloudera flume

3.twitter zipkin

全文检索系列:

1.lucene

2.solr

3.ES (elasticsearch kibana logstash 整合)

深度学习系列:

1.TensorFlow:

TensorFlow是谷歌基于DistBelief进行研发的第二代人工智能学习系统，其命名来源于本身的运行原理。

2.Warp-CTC:

Warp-CTC是百度前期为了在最新的计算机芯片上更快速运行而专门研发的一种改良版深度学习算法。 Warp-CTC所需的存储空间小，比普通CTC速度快数百倍。
1 月 25 日，微软在 GitHub 上发布了其深度学习工具包——Computational Network Toolkit（简称 CNTK）。

3.CNTK:

CNTK 是一个统一的深度学习工具包，它通过一个有向图将神经网络描述为一系列计算步骤。在有向图中，叶节点表示输入值或网络参数，边表示输入之上的矩阵运算。CNTK 使得实现和组合前馈型神经网络 DNN、卷积神经网络（CNN）和循环神经网络(RNNs/LSTMs)变得非常容易。实现了支持跨多个 GPU 和服务器自动分化和并行化的随机梯度下降（SGD）学习。

UI/UE/模型构建系列:

1.Axure

2.Xmind

3.StartUML

项目管理系列:

1.