交换一个思想，能得到俩思想

本文简单记叙在Linux环境下通过TPC-H生成MySQL数据库测试数据的步骤，作为后续参考。生成数据的量级如下，数据库需要300G左右空间。表名 数据行数 量级 customer 15000000 1.5千万 lineitem 600037902 6亿 nation 25 orders 150000000 1...

环境RedHat linux 虚拟机 IP 192.168.2.16hadoop-0.20.2hbase-0.92.1用户 hadoop，用户目录 /home/hadoop下载解压到用户目录tar -xzvf hbase-0.92.1.tar.gz设置/home/hadoop/hbase-0.92.1/conf/hbase-env.sh的java homeexp

转载 http://www.superwu.cn/2014/01/10/9631.1.1. hadoop的核心思想Hadoop包括两大核心，分布式存储系统和分布式计算系统。1.1.1.1. 分布式存储为什么数据需要存储在分布式的系统中哪，难道单一的计算机存储不了吗，难道现在的几个TB的硬盘装不下这些数据吗？事实上，确实装不下。比如，很多的电信通话记录就存储在很多台服务器

云计算的三种服务模式：IaaS，PaaS和SaaS　　云服务”现在已经快成了一个家喻户晓的词了。如果你不知道PaaS, IaaS 和SaaS的区别，那么也没啥，因为很多人确实不知道。　　“云”其实是互联网的一个隐喻，“云计算”其实就是使用互联网来接入存储或者运行在远程服务器端的应用，数据，或者服务。　　任何一个使用基于互联网的方法来计算，存储和开发的公司，都可以从技术上叫做从事云的公司

下面是一个在Windows的Eclipse中通过JAVA操作一个Linux上运行的hbase的示例。Hbase的配置需要注意下面一些要点:1，服务器端用主机名配置hadoop和hbase，不要用IP比如如下：   hbase.zookeeper.quorum   hadoopsrv  2，hbase运行的机器上的机器名不能叫localhost改/etc/sysc

zookeeper可以单独安装，如果在hbase安装完成后，hbase-env.sh中没有设置export HBASE_MANAGES_ZK=true，会随hbase启动zookeeper。本文使用http://blog.youkuaiyun.com/kkdelta/article/details/20058683中配置的hbase环境测试zookeeper的使用。示例代码如下package or

本文简单记录一下hive的安装配置步骤tar -xzvf hive-0.11.0-bin.tar.gz在~home目录中配置path变量将hive bin目录加入pathexport PATH=$PATH:/home/hadoop/hadoop-0.20.2/bin:/home/hadoop/hbase-0.92.1/bin:/home/hadoop/zookeeper-3.4.5

本文一个简单的示例演示LVS的配置(DR模式)和测试。使用的配置环境如下:Director server: 192.168.8.4Real server1: 192.18.8.5Real server2: 192.168.8.6VIP: 192.168.8.200网络topology图如下:图2中的VIP指的是虚拟IP地址，还可以叫做LVS集群的服务IP，在DR、TUN模式中，数据包是直接返回给用

HDFS JAVA客户端的权限错误：Permission denied 搭建了一个Hadoop的环境，Hadoop集群环境部署在几个Linux服务器上，现在想使用windows上的Java客户端来操作集群中的HDFS文件，但是在客户端运行时出现了如下的认证错误，被折磨了几天，问题终得以解决。以此文记录问题的解决过程。（如果想看最终解决问题的方法拉到最后，如果想看我的问题解决思路请从上向下看）问题

转载 http://www.cnblogs.com/hadoopdev/archive/2013/03/08/2950121.html一、概述首先明确概念，这里的小文件是指小于HDFS系统Block大小的文件（默认64M），如果使用HDFS存储大量的小文件，将会是一场灾难，这取决于HDFS的实现机制和框架结构，每一个存储在HDFS中的文件、目录和块映射为一个对象存储在NameNode服

hadoop运行在linux上，在window的本地eclips运行java代码，碰到如下的异常，java.lang.IllegalArgumentException: Wrong FS: hdfs:/ expected file:/// Java代码如下：    FileSystem fs = FileSystem.get(conf);     in = fs.open(ne

hadoop是什么:Hadoop是一个开发和运行处理大规模数据的软件平台,是Appach的一个用java语言实现开源软件框架，实现在大量计算机组成的集群中对海量数据进行分布式计算.Hadoop框架中最核心设计就是：HDFS和MapReduce.HDFS提供了海量数据的存储,MapReduce提供了对数据的计算.数据在hadoop中处理的流程可以简单的按照下图来理解:数据通过Hadd

在windows下通过cygwin中搭建hadoop(0.1.8.2)和hive(0.6)的环境的时候,遇到如下错误$ hiveCould not create the Java virtual machine.Invalid maximum heap size: -Xmx4096mThe specified size exceeds the maximum represent

1、  所需软件1.1、Cygwin下载地址：http://www.cygwin.com/setup.exe1.2、JDK 1.6.x1.3、hadoop(本例用的是hadoop-0.18.2)下载地址：http://download.youkuaiyun.com/detail/kkdelta/4381822hadoop的官方网站 http://hadoop.apache.org/

squid 可以做反向代理将系统中相对静态的页面进行缓存和负责均衡,提高网站访问速度，增强网站可用性、安全性.用户访问Squid 反向代理服务器的 IP 地址，这样客户端的 URL 请求将被发送到反向代理服务器。如果Squid反向代理服务器中缓存了该请求的资源，则将该请求的资源直接返回给客户端，否则反向代理服务器将向后台的 WEB服务器请求资源，然后将请求的应答返回给客户端，同

nginx [engine x]是Igor Sysoev编写的一个HTTP和反向代理服务器，另外它也可以作为邮件代理服务器。下面简单介绍一下nginx实现网站负载均衡测试的例子.1,下载nginx http://nginx.net/我用的是nginx-1.2.2,解压到C:\nginx-1.2.22,修改niinx的conf文件在server {上面一行加入下面的内容:

Hadoop伪分布式环境搭建 简单记录hadoop伪分布式环境搭建的步骤软件环境配置VM：VMware-workstation REDHAT linux, ip 192.168.2.6Hadoop：hadoop-0.20.21, 创建一个hadoop用户groupadd hadoopuseradd hadoop -g hadooppasswd hadoop以

一个通过JAVA API操作HDFS文件系统的例子，本例子使用的是hadoop0.20的版本，在windows的eclipse下运行的时候，需要将core-site.xml和hdfs-site.xml放在src/bin目录中。public class TestHDFSFile { private String localPath = "C:/D/JavaWorkSpace/bigdata/

在Windows环境下通过cygwin搭建Hadoop和pig的时候,在pig-env.sh可以指定JAVA_HOME如下:export JAVA_HOME=/cygdrive/c/hadoop-0.18.2/jdk1.6.0_24/本人在实际操作中却遇到运行pig命令的时候发生/bin/java: No such file or directory191: /cygdrive/c/h