AlienTech for better life!~

AlienTech for better life!~

第1分钟：       Hadoop要解决的问题是什么？      答：Hadoop核心要解决长期IT界乃至人类社会的两大主题：　　1， 海量数据的存储：传统的存储方式昂贵而且日益难以满足核裂变级别数据的增长，例如纽约证券交易所每天要产生T级别的数据量，Facebook要每天要服务过亿的用户（其中图片等数据`量是惊人的），如何使用廉价的设备支持无线增长的数据的安全高效的存储

Hadoop和大数据是这两年最火的词儿们之一，越来越多的公司对这个东西感兴趣，但是我接触到的大多数公司里的人，无论是技术人员还是老板。都不知道怎么能把这些东西用于改善自己公司的业务。在解答的过程中，提炼出几个要点，记录一下。 大数据和云是不是一回事？这是最容易混淆的概念之一，我个人认为这是两回事，云服务，无论是云主机还是云存储还是云的其他应用，都是向用户提供一个接口，但这个

Nutch1.7学习笔记：基本环境搭建及使用作者：雨水，时间：2013-10-31博客地址：http://blog.youkuaiyun.com/gobitan说明：Nutch有两个主版本1.x和2.x，它们的主要区别是2.x引入了Gora作为存储抽象层，从而支持各种NoSQL数据库，如HBase，Cassandra等。本文是以1.x的最新版Nutch1.7 (发布于2013年6月25日)为例。

MapReduce的设计思想主要的思想是分而治之(divide and conquer),分治算法。将一个大的问题切分成很多小的问题，然后在集群中的各个节点上执行，这既是Map过程。在Map过程结束之后，会有一个Ruduce的过程，这个过程即将所有的Map阶段产出的结果进行汇集。写MapReduce程序的步骤：1.把问题转化为MapR

这一讲我们主要剖析MapReduce的原理机制和流程。 “云计算分布式大数据Hadoop实战高手之路”之完整发布目录 云计算分布式大数据实战技术Hadoop交流群：312494188，每天都会在群中发布云计算实战性资料，欢迎大家加入！ 关于MapReduce，你至少需要知道以下几点：1，         MapReduce是运行于分布式文件系

本讲主要剖析Hadoop重要的配置文件。 王家林的“云计算分布式大数据Hadoop实战高手之路”之完整发布目录 云计算分布式大数据实战技术Hadoop交流群：312494188，每天都会在群中发布云计算实战性资料，欢迎大家加入！ 在前面我们安装单机版Hadoop以及Hadoop集群的时候，我们使用的只是可以工作的最小化配置项，有很多重要的配置项都还没

本讲主要剖析SecondaryNameNode。 “云计算分布式大数据Hadoop实战高手之路”之完整发布目录云计算分布式大数据实战技术Hadoop交流群：312494188，每天都会在群中发布云计算实战性资料，欢迎大家加入！ Hadoop在启动的时候，会启动SecondaryNameNode，我们使用JPS命令查看一下查看一下Hadoop启动时启动了那些进

本讲通过实验的方式讲解Hadoop文件系统的操作。“云计算分布式大数据Hadoop实战高手之路”之完整发布目录云计算分布式大数据实战技术Hadoop交流群：312494188，每天都会在群中发布云计算实战性资料，欢迎大家加入！ 首先我们看一些比较常用的Hadoop文件系统的操作命令：第一个常用命令：hadoop fs –ls例如使用以下命令是列出文件

这一讲主要深入使用HDFS命令行工具操作Hadoop分布式集群，主要是通过实验的配置hdfs-site.xml文件的心跳来测试replication具体的工作和流程。通过HDFS的心跳来测试replication具体的工作机制和流程的PDF版本请猛击这里。 王家林的“云计算分布式大数据Hadoop实战高手之路”之完整发布目录 云计算分布式大数据实战技术Had

1）Cygwin相关资料　　（1）Cygwin上安装、启动ssh服务失败、ssh localhost失败的解决方案　　地址：http://blog.163.com/pwcrab/blog/static/16990382220107267443810/　　（2）windows2003+cygwin+ssh　　地址：http://wenku.baidu.com/view

AlienTech for better life!~

1. Minos框架的基本介绍　　小米公司不仅仅在搞手机以及MIUI rom的研发工作，云计算、虚拟化以及Hadoop也是小米现在在搞的东西，小米与2012年下半年成立了自己的Hadoop团队。介绍小米Minos，Hadoop部署、监控系统，目前小米将此系统开源在github上面可以下载来获取。Minos的logo： 图1：Minos logo　　依然是小米经典的橙

Uploading big files > 512MB (as set by default)It’s usefull to know limiting factors, that make it impossible to exceed the values given by the ownCloud-system:Not outnumberable upload limits:

ownCloud是一款保持更新的开源私有云系统，基于PHP5开发的。支持SQLite、MySQL、Oracle以及PostgreSQL等数据库。本文介绍的是如何手动升级的步骤。请务必遵循以下原则升级：1、备份原文件夹；2、停用所有第三方apps；3、解压最新版的安装包，覆盖到原文件夹中；4、确认所有的文件和文件夹权限是正确的；5、打开ownCloud首页，升级自动进行。

AlienTech for better life!~

第一部分：什么是HDFS       Hadoop Distributed File System，简称HDFS，是一个分布式文件系统。 HDFS是高容错性的，可以部署在低成本的硬件之上，HDFS提供高吞吐量地对应用程序数据访问，它适合大数据集的应用程序。 第二部分：HDFS架构设计HDFS 设计目标HDFS不适合做什么

最近工作需要，摸索着搭建了Hadoop 2.2.0(YARN)集群，中间遇到了一些问题，在此记录，希望对需要的同学有所帮助。        本篇文章不涉及hadoop2.2的编译，编译相关的问题在另外一篇文章《hadoop 2.2.0 源码编译笔记》中说明，本篇文章我们假定已经获得了hadoop 2.2.0的64bit发行包。        由于spark的兼容问题，我们后面使用了

刚刚看到一篇文章对 hadoop1 和 hadoop  2  做了一个解释 图片不错 拿来看看  Hadoop 1.0  从上图中可以清楚的看出原 MapReduce 程序的流程及设计思路：首先用户程序 (JobClient) 提交了一个 job，job 的信息会发送到 Job Tracker 中，Job Tracker 是 Map-reduce 框

有同学无法正常运行程序，这里将Eclipse下Hadoop环境配置进行一下说明：    1.新建Map/Reduce工程    2.设置Hadoop Locaiton，第一次使用的话，点击大象，新建配置。        3.设置内容（配置需要和Hadoop的配置文件相同）：    Location name和Host填写localhost，Map/Reduc

Apache Mahout 是 ApacheSoftware Foundation (ASF) 旗下的一个开源项目，提供一些可扩展的机器学习领域经典算法的实现，旨在帮助开发人员更加方便快捷地创建智能应用程序，并且，在 Mahout 的最近版本中还加入了对Apache Hadoop 的支持，使这些算法可以更高效的运行在云计算环境中。在Mahout实现的机器学习算法见下表：

AlienTech for better life!~

参考：http://f.dataguru.cn/thread-85493-1-1.html这时学习Hadoop以来写的第一个成功的程序，程序仿照《Hadoop实战》中的PutMerge程序，这里有几个要注意的地方：1.hdfs的地址是一个网络地址，如下面的：hdfs://localhost:9000/test32.确保不会出现“权限不足”的异常

AlienTech for better life!~

这段时间需要学习Hadoop了，以前一直听说Hadoop，但是从来没有研究过，这几天粗略看完了《Hadoop实战》这本书，对Hadoop编程有了大致的了解。接下来就是多看多写了。以Hadoop自带的例子WordCount程序开始，来记录我的Hadoop学习过程。Hadoop自带例子WordCount.java[java] view plaincopy

前言：有一段时间没有写博客了(发现这是我博客最常见的开头，不过这次间隔真的好长），前段时间事情比较多，所以耽搁得也很多。现在准备计划写一个新的专题，叫做《hadoop杂记》，里面的文章有深有浅，文章不是按入门-中级-高级的顺序组织的，如果想看看从入门到深入的书，比较推荐《the definitive guide of hadoop》。今天主要想写写关于map-reduce v2(或者叫

org.apache.hadoop.conf.Configuration类是Hadoop所有功能的基础类，每一种功能执行之前都需要有先得到一个Configuration对象。Hadoop使用了XML文件作为配置文件，来保存运行时的配置信息，然后将配置加载到Configuration对象中，要使用配置信息时直接从Configuration对象中取。Hadoop配置文件将下载的Ha

Map Reduce什么的我是不懂啊。 今天是帮马同学搭建hadoop。 用的2.2.0版本，结果运行时发现提示 “libhadoop.so.1.0.0 which might have disabled stack guard” 的警告。 Google了一下发现是因为 hadoop 2.2.0提供的是libhadoop.so库是32位的，而我们的机器是64位。 解决的办法就是重新在64位的机器上

AlienTech for better life!~

这一讲主要使用HDFS命令行工具操作Hadoop分布式集群初体验： Step 1：使用HSFS命令向Hadoop分布式集群存放一个大文件； Step 2：删除文件并用两份副本在HDFS上存放数据； 使用HDFS命令行工具操作Hadoop分布式集群初体验PDF版本教程请猛击这里 王家林的“云计算分布式大数据Hadoop实战高手之路”之完

王家林 第四讲Hadoop图文训练课程：实战构建真正的Hadoop分布式集群环境Hadoop集群搭建的过程中出现的问题，具体的解决步骤是：Step 1：查询Hadoop的日志看出错原因在哪里；Step 2：停止集群工作；Step 3：根据日志指出的原因进行解决，针对我们这里的问题，需要清空hadoop.main机器的hadoop根目录下的hdfs下的data文件；S

“真相会使你获得自由。”                    —  耶稣《圣经》约翰8:32KJV“所有人类的不幸都来源于不能直面事实。”    —  释迦摩尼“道法自然”                               —  老子《道德经》第25章 这一讲我们构建真正的Hadoop分布式集群环境：1，        在VMWare 中准备第二

此教程是王家林编写的“云计算分布式大数据Hadoop实战高手之路---从零开始”第三讲：证明Hadoop工作的正确性和可靠性只需4步图文并茂的过程。具体的PDF版本教程请猛击这里。王家林的“云计算分布式大数据Hadoop实战高手之路”之完整目录 王家林亲授的上海7月6-7日云计算分布式大数据Hadoop深入浅出案例驱动实战  王家林把自己几年

工欲善其事，必先利其器。本文从零起步构建Hadoop单机版本和伪分布式的开发环境，图文并茂，不放过任何一个细节，涉及：1，开发Hadoop需要的基本软件；2， 安装每个软件；3， 配置Hadoop单机模式并运行Wordcount示例；4， 配置Hadoop伪分布式模式并运行Wordcount示例； 王家林的“云计算分布式大数据Hadoop实战

Hadoop MapReduceV2(Yarn) 框架简介原 Hadoop MapReduce 框架的问题对于业界的大数据存储及分布式处理系统来说，Hadoop 是耳熟能详的卓越开源分布式文件存储及处理框架，对于 Hadoop 框架的介绍在此不再累述，读者可参考 Hadoop 官方简介。使用和学习过老 Hadoop 框架（0.20.0 及之前版本）的同仁应该很熟悉如下的原 Ma

第一部分：Word Count 程序讲解 •编写一个MapReduce 程序的步骤–编写一个Mapper类–编写一个Reducer类–编写一个Driver类（即Job），来将Mapper与Reducer类来进行组合。  java代码：查看复制到剪贴板打印Mapper

第一部分：数据完整性数据完整性及其采用的技术保证数据在传输过程中不损坏 ，常见的保证数据完整性采用的技术A.奇偶校验技术B.ECC校验纠错技术C.CRC-32循环冗余校验技术          HDFS以透明方式校验所有写入它的数据，并在默认设置下，会在读取数据时验证校验和。针对数据的每个io.bytes.per.checksum(默认5

在说Hadoop之前，作为一个铁杆粉丝先粉一下Google。Google的伟大之处不仅在于它建立了一个强悍的搜索引擎，它还创造了几项革命性的技术：GFS，MapReduce，BigTable，即所谓的Google三驾马车。Google虽然没有公布这几项技术的实现代码，但它发表了详细的设计论文，这给业界带来了新鲜气息，很快就出现了类似于Google三驾马车的开源实现，Hadoop就是其中的一个。

1.安装前准备1.1创建hadoop用户首先创建hadoop用户组和用户，如果对linux命令不熟悉，可以参考http://blog.youkuaiyun.com/huhui_bj/article/details/8878701中的命令。[plain] view plaincopyaddgroup hadoop //创建hadoop组  user

关于大数据技术的再思考(130314)闵应骅      我猜想，今年大数据方面的基金申请少不了。本人上一篇博文“大数据到底要研究什么?(130308)”谈的都是比较宏观的东西。说明大数据技术归根到底是分布存储、并行处理的问题。对于比较小的基金课题申请，其实只需要就一个小问题深入下去就可以了。本篇企图写得稍微具体一点，但是，限于本人的能力，仍然很粗略。不过，每一句话实现起来都不那么容易，