SprintfWater的专栏

localhost: Error: JAVA_HOME is not set.启动start-all.sh时出现如下错误: root@ubuntu:/home/chenwq/hadoop/hadoop-0.21.0/bin# start-all.sh This script is Deprecated. Instead use start-dfs.sh and sta

参考博文：http://www.linuxidc.com/Linux/2012-04/59200.htmhttp://www.cnblogs.com/gpcuster/archive/2011/02/17/1957042.htmlWARN util.NativeCodeLoader: Unable to load native-hadoop library for your pla

http://book.51cto.com/art/201110/298538.htm

本节课程概览Hadoop 在windows 上伪分布式的安装过程 Hadoop 在linux  上单节点伪分布式的安装过程 集成Eclipse 开发环境 Hadoop UI 介绍运行WordCounter  事例  第一部分：Hadoop 在windows 上伪分布式的安装过程安装JDK1.下载JD

淘宝：OceanBase分布式系统负载均衡案例分享摘要：Heroku的问题让我们意识到，在负载均衡测试时发现问题并妥善解决的成功经验有没有？于是，挖掘出“淘宝在双十一压测OB时发现存在严重的随机访问导致负载不均问题，并通过加权算法妥善解决”的成功案例，也就是本文。编者按：在优快云云计算频道日前所做的文章《响应高达6秒 用户揭露Heroku私自修改路由造成高

1. 硬件：VMWARE 虚拟机   *  4台，256M内存,20G硬盘    操作系统： RHEL_64_5.4 2. 基本软件架构部署：               IP地址               主机名称                              目录                                          功能 

负载均衡负载的均衡，是分布式系统中一个永恒的话题，要 让大家各尽其力齐心干活，发挥各自独特的优势，不能忙得忙死闲得闲死，影响战斗力。而且，负载均衡也是一个复杂的问题，什么是均衡，是一个很模糊的概念。 比如，在分布式文件系统中，总共三百个数据块，平均分配到十个数据服务器上，就算均衡了么？其实不一定，因为每一个数据块需要若干个备份，各个备份的分布 应该充分考虑到机架的位置，同一个机架的服务

1．什么是MapReduce?       MapReduce 是由Google公司的Jeffrey Dean 和 Sanjay Ghemawat 开发的一个针对大规模群组中的海量数据处理的分布式编程模型。MapReduce实现了两个功能。Map把一个函数应用于集合中的所有成员，然后返回一个基于这个处理的结果集。而Reduce是把从两个或更多个Map中，通过多个线程，进程或者独立系统并行执

已知java的传参方式和C不一样：如，假设fileName.classjavac fileName 1 2 3则程序的argv[0] 为1, argv[1]为2当在wordcount.java中我把argv[0] 传入input路径，argv[1]传入output路径。通过jar压缩手段，将.class压缩成wordcount.jar文件，并设置了主类配置。bi

配置环境                          配置前的说明部署伪分布式与集群式Hadoop的绝大部分操作都是一样的，细节上区别在于集群式是在两台机子上部署的，两台机子都要执行下列操作，而伪分布式都是在一台机子上操作，以下全部操作如没有特别说明，则伪分布式操作与集群式操作等同。环境说明伪分布式Hadoopl  本次hadoop配置的为伪分布模式，即在一个机子上作

发布在 分布式文件系统来源：http://www.lupaworld.com/article-205722-1.html本文对目前数种分布式文件系统进行简单的介绍。当前比较流行的分布式文件系统包括：Lustre、Hadoop、MogileFS、FreeNAS、FastDFS、NFS、OpenAFS、MooseFS、pNFS、以及GoogleFS。Lust

“阻塞”与"非阻塞"与"同步"与“异步"不能简单的从字面理解，提供一个从分布式系统角度的回答。1.同步与异步同步和异步关注的是消息通信机制 (synchronous communication/ asynchronous communication)所谓同步，就是在发出一个*调用*时，在没有得到结果之前，该*调用*就不返回。但是一旦调用返回，就得到返回值了。换句话说，就是由*调

由于要做一个类似LVS的包转发模块，研究了LVS的架构和代码，下面这个系列会做一个总结。首先推荐下这个blog http://yfydz.cublog.cn 里面对LVS, IPSec的讲解非常不错几个重要的数据结构如下：ip_vs_conn：一个连接由N元组构成，包括 caddr (客户端地址cip), vaddr (服务虚拟地址vip), daddr (目的realserver

并行计算：并行计算是相对于串行计算来说的。可分为时间上的并行和空间上的并行。 时间上的并行就是指流水线技术，而空间上的并行则是指用多个处理器并发的执行计算。例如基于CUDA编程。并行计算的目的就是提供单处理器无法提供的性能（处理器能力或存储器），使用多处理器求解单个问题。总结：并行的主体 -- 处理器；进程/线程级并行。分布式计算：分布式计算研究如何把一个需要非常巨大的计算能力才能解决

问题1：当编译通过后，运行时，会出现：hadoop@springwater-Aspire-4743:/usr/local/hadoop/test$ ./testException in thread "main" java.io.IOException: Mkdirs failed to create /my at org.apache.hadoop.fs.ChecksumFileSy

当C程序编译但一到运行就告诉你缺configuration，  logging等类，反正遇到缺类的情况就网CLASSPATH中加×。jar的路径吧;注意 CLASSPATH是在文件里搜索类;（没有递归搜索）而PATH是在文件里搜索文件（递归式搜索）编译时出现各种hdfs.h找不到：当我像下面写makefile文件就没问题了：HADOOP_INSTALL=/usr/local

前面均在windows下进行，但是在安装hadoop过程中出了一些问题，先暂时切换到linux下，回头再补充windows下的安装。不过通过对比确实发现，在linux下的安装配置确实比较简单。一.安装ubuntu  我是下载的ubuntu12.04,在64位的虚拟机上使用virtualbox安装的，没错，是在虚拟机上在安装虚拟机，然后安装ubuntu具体安装过程就不描述了，不过安装过程

在老师的帮助下，折腾了大半天终于把hdfs部署到ubuntu上去了。在这里记录一下各步骤备忘：在讲步骤之前，先总结一下自己对hadoop的工作你原理的理解：1.这个分布式系统是通过一个namenode(运行在master上的一个进程）来作为master来统筹管理多个作为slavers的datanode（运行在slavers上的一个进程）；2.master将各slavers的实际

转载：http://www.cnblogs.com/xuqiang/archive/2011/06/02/2042587.html1. hadoop文件系统权限简介2.命令简介 3. 参考资料 . hadoop文件系统权限简介 hadoop文件系统实现的文件权限模型和posix模型极其类似。每个文件和目录和一个owner和group相关联。可以使用下

原文连接：http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503949.html 1、集群部署介绍 1.1 Hadoop简介 　　Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Fil

#include "hdfs.h"      int main(int argc, char **argv) {        hdfsFS fs = hdfsConnect("default", 0);      const char* writePath = "/tmp/testfile.txt";      hdfsFile writeFile = hdfsOpenFile(fs, writ

在编译成功时遇到错误：error while loading shared libraries: libhdfs.so.0: cannot open shared object file: No such file or directory的解决方案：原文连接：http://blog.youkuaiyun.com/johnnywww/article/details/7530364现在计划做

namenode 无法启动，查看日志显示：BindException: Problem binding to cs-01.localhost.localdomain/192.168.0.4:9001 : Address already in use2012-06-10 20:43:03,004 INFO org.apache.hadoop.mapred.JobTracker:

jobTracker进程在启动后很快就自动关闭（前面两篇博客的方法都无法解决）：查看logs日志发现：2013-05-28 09:19:09,420 INFO org.apache.hadoop.http.HttpServer: Jetty bound to port 500302013-05-28 09:19:09,420 INFO org.mortbay.log: jetty-

在每次格式化：bin/hadoop namenode -format的时候都会重新读写/tmp, data, datalog文件，当不匹配时，就不会成功解决方案：1：故应该删除datalog文件（在formate的时候会自动生成），如果光删除里面的文件是不行的2：删除data文件，之后手动新建data（貌似在format之后不会自动生成），但必须记得改访问权限为sudo chmod 7

问题1：在javac编译时，老是缺少依赖的类，解决方案：所以我之后写了一个脚本，将所有的.jar文件都加载到CLASSPATH变量中，就ok了。问题2：而实际操作中出现文件操作的权限不足。因为用hadoop shell放进去的默认权限是rw-r--r--,所以作为程序对象就没有操作权限。解决方案：java之之前加上sudo权限即可。如果还是不行，那只好：/bin

C/C++:hadoop API 资料：http://stackoverflow.com/questions/8236816/linux-library-linking-issue-hadoop-hdfs-c-api官方C APIhttp://hadoop.apache.org/docs/stable/libhdfs.html官方Java API网址：http://

建立、关闭与HDFS连接：hdfsConnect()、hdfsConnectAsUser()、hdfsDisconnect()。hdfsConnect()实际上是直接调用hdfsConnectAsUser。打开、关闭HDFS文件：hdfsOpenFile()、hdfsCloseFile()。当用hdfsOpenFile()创建文件时，可以指定replication和blocksize参数。写打开一

代码：#include "/usr/local/hadoop/src/c++/libhdfs/hdfs.h"int main(int argc, char **argv) { if (argc != 2) { fprintf(stderr, "Usage: hdfs_write \n"); exit(-1); } hdfsFS fs =

文件描述符(进程级别)：       1)、在每个进程表中都有一个记录项，记录项中包含有一张打开文件描述符表，可将其视察为一个矢量(数组)，每个描述符占用一项。与每个文件描述符相关联的是：       (a)、文件描述符标志。       (b)、指向一个文件表项的指针。(不同的文件描述符可以指向同一个文件表项，例如用dup函数复制文件描述符，得到一个新的文件描述符，但是它