duxingxia356的专栏

什么是SparkSpark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架，Spark基于map reduce算法实现的分布式计算，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的

据 GigaOM 消息，Google 上周宣布，将自己用 C++ 开发的 MapReduce 框架 MapReduce for C（MR4C）开源，此举可给 Hadoop 社区带来福音，因为这样用户就可以在自己的 Hadoop 环境中运行原生的 C 及 C++ 代码了。Hadoop 是许多大数据应用的基础，它是由 Apache 基金会所开发的分布式系统基础架构，主要由分

关于yahoo s4有官方网站：http://s4.io/， 也可以查看英文paper: S4:Distributed Stream Computing Platform, 中文翻译：http://wenku.baidu.com/view/fdfa4ef7f61fb7360b4c653a.html， 不过看完paper以后再看一下这篇文章能够让你对s4理解的更好些。下面内容来源于：ht

分布式式计算，同样是一个宽泛的概念，在这里，它狭义的指代，按Google Map/Reduce框架所设计的分布式框架。在Hadoop中，分布式文件系统，很大程度上，是为各种分布式计算需求所服务的。我们说分布式文件系统就是加了分布式的文件系统，类似的定义推广到分布式计算上，我们可以将其视为增加了分布式支持的计算函数。从计算的角度上看，Map/Reduce框架接受各种格式的键值对文件作为输入，读取计算

江湖传说永流传：谷歌技术有"三宝"，GFS、MapReduce和大表（BigTable）！谷歌在03到06年间连续发表了三篇很有影响力的文章，分别是03年SOSP的GFS，04年OSDI的MapReduce，和06年OSDI的BigTable。SOSP和OSDI都是操作系统领域的顶级会议，在计算机学会推荐会议里属于A类。SOSP在单数年举办，而OSDI在双数年举办。那么这篇博客就来

前言云计算的概念近期可谓如火如荼，备受关注。我先前听到“云”这个名词时，很是觉得太过玄乎——也不知道它用在哪里，更不了解它如何实现，总有雾里看花的感觉！好在近期工作需要的缘故，学习和开发过类似于“云计算”基础设施的内部系统,之后再回过头来看看业界两大寡头(Google,Amazon)推出各自的云计算服务，从认识上才算是真的将“云”这个天书般的概念落实。后面的文章中我将在个人理解的基

【编者按】本文是比利时根特大学（Ghent University）的Reservoir Lab实验室博士研究生Sander Dieleman所撰写的博客文章，他的研究方向是音乐音频信号分类和推荐的层次表征学习，专攻深度学习和特征学习。以下为译文：2014年夏天，我在 网络音乐平台Spotify （纽约）实习， 致力于使用卷积神经网络 （convolutional neural networ

最近公司在使用其他云服务的同时，要封装自己的云服务，下面作为开发产品前的热身，来了解云计算中的三种服务模式，笔者也是从网络上查找，进行综合总结。请拍。。三种服务模式             根据现在最常用，也就是比较权威的NIST（National Institute of Standard and Technology）美国国家标准技术研究院定义，云计算主要分为三种服务模式，而且这三层的

1）引言这篇笔记将为你讲述在分布式系统中经常会提到的3种模型结构，而且也用在了很多的方面。2）介绍主要分为3个:1.物理模型，就是对于底层物理机子的一层包装。2.结构模型，由一系列的用于计算和通信的节点所组成3.基本模型，基本模型涵盖的方面是非常多的，具体细分可以有安全模型，用于沟通等的交互模型。3）物理模型简单的就一句话描述：由分布式系统中

1.引入        ranking and selection engine(RASE)是一个特定的分布式计算框架，用于通过ranking and selection算法进行的分布式simulation计算。        通过一个例子简单介绍一下RASE的作用，现在有1000名乒乓球运动员，我们需要从他们中选出一名实力较强的运动员代表国家去比赛。如何看谁的实力强呢？我们需要进

1）引言从今天开始，我将会开始学习分布式系统的一些理论知识，全方面的重新学习分布式的各个技术点，所以选用了原版本的英文教材>作为学习的资源。在期间，我会没读完一章，及时的做一些阅读的笔记，1个是怕自己忘了，还有一个是把知识分享给大家，这也是我首次阅读全英文的书籍，还是挺吃力的，希望能坚持把长达1000页的书籍学习完把。2）分布式系统的介绍分布式系统是通过网络连接各个计算机，通过

Algolia是一家做离线移动搜索引擎的公司，两年时间构建了世界范围的分布式网络。今天为世界12个区域每月20亿用户查询，平均服务器时间为6.7ms，90%的查询应答本文是Algolia对其REST API建立和扩展经验的总结，其中包括如何在全世界不同位置保障数据的高可用和一致，以及如何通过Anycast DNS将查询路由到离用户地理位置最近的服务器。它的架构有哪些独到之处，本文进行了