
大数据&云计算
expleeve
当我看到现在身边的人时,我在想,自己是不是该专注于某件事了
展开
-
大数据和云计算二者的区别
关于大数据和云计算的关系人们通常会有误解。而且也会把它们混起来说,分别做一句话直白解释就是:云计算就是硬件资源的虚拟化;大数据就是海量数据的高效处理。 虽然上面的一句话解释不是非常的贴切,但是可以帮助你简单的理解二者的区别。另外,如果做一个更形象的解释,云计算相当于我们的计算机和操作系统,将大量的硬件资源虚拟化之后再进行分配使用,在云计算领域目前的老大应该算是Amazon,可以说为云计算提供转载 2013-10-30 11:09:27 · 1045 阅读 · 0 评论 -
Google Dremel 原理 - 如何能3秒分析1PB
简介 Dremel 是Google 的“交互式”数据分析系统。可以组建成规模上千的集群,处理PB级别的数据。MapReduce处理一个数据,需要分钟级的时间。作为MapReduce的发起人,Google开发了Dremel将处理时间缩短到秒级,作为MapReduce的有力补充。Dremel作为Google BigQuery的report引擎,获得了很大的成功。最近Apache计划推出Dremel的转载 2013-12-13 00:24:16 · 729 阅读 · 0 评论 -
最小二乘法OLS
最小二乘法 Method of Ordinary Least Squares 原理:构造合适的估计量,使得残差平方和(Residual Sum of Squares, RSS)最小。 \sum_{i=1}^n i = \frac{n(n+1)}2原创 2016-01-05 20:41:06 · 2098 阅读 · 0 评论 -
Hadoop环境搭建与Eclipse调试环境搭建
鄙人不才,最近才接触Hadoop,用来做些分析。 下面把搭建Hadoop环境遇到的一些坑记录一些,做个记录。 一、搭建虚拟机,初试Hadoop 1、使用VMWare安装Ubuntu16.04,包括添加共享等 2、安装JDK1.7和ssh,Java1.6没装 3、下载Hadoop2.6.0,是bin版本的 4、参考Hadoop的文档,在Linux下运行了一下Standalone Oper原创 2016-06-28 20:05:03 · 615 阅读 · 0 评论