lhy66的专栏

在网卡绑定的时候，4个网卡做2个绑定。绑定的效果受网段的影响。最好2个网段分开。一个绑定实例i: 绑定 0DEVICE=bond0ONBOOT=yesBOOTPROTO=noneIPADDR=192.168.5.9NETMASK=255.255.240.0GATEWAY=192.168.1.254USERCTL=noBONDING_OPTS="miimo

很多文档中描述，Mapper的数量在默认情况下不可直接控制干预，因为Mapper的数量由输入的大小和个数决定。在默认情况下，最终input占据了多少block，就应该启动多少个Mapper。如果输入的文件数量巨大，但是每个文件的size都小于HDFS的blockSize，那么会造成启动的Mapper等于文件的数量（即每个文件都占据了一个block），那么很可能造成启动的Mapper数量超出限制而导

本文主要记录Hadoop 2.x版本中MapReduce参数调优，不涉及Yarn的调优。Hadoop的默认配置文件（以cdh5.0.1为例）：core-default.xmlhdfs-default.xmlmapred-default.xml说明：在hadoop2中有些参数名称过时了，例如原来的mapred.reduce.tasks改名为mapreduce.job.redu

Hadoop常见问题，hbase常见问题，hive常见问题。结合网络资料 和自己遇到的整理。

好文章。收藏下本文是基于hbase 0.96.0 测试的，理论上支持hbase 0.94 以上版本！！HBase有两种协处理器（Coprocessor）1、RegionObserver ：类似于关系型数据库的触发器2、Endpoint：类似于关系型数据库的存储过程，本文将介绍此种Coprocessor.Endpoint 允许您定义自己的动态R

为了配合部门hadoop平台测试，作者详细的介绍了如何在Hadoop平台下安装lzo所需要软件包：gcc、ant、lzo、lzo编码/解码器并配置lzo的文件：core-site.xml、mapred-site.xml。希望对大家有所帮助。以下是正文：最近我们部门在测试云计算平台hadoop，我被lzo折腾了三四天，累了个够呛。在此总结一下，也给大家做个参考。操作系统：CentOS 5.5

Hive是Hadoop的子项目，它提供了对数据的结构化管理和类SQL语言的查询功能。SQL的交互方式极大程度地降低了Hadoop生态环境中数据处理的门槛，用户不需要编写程序，通过SQL语句就可以对数据进行分析和处理。目前很多计算需求都可以由Hive来完成，极大程度地降低了开发成本。目前，Hive底层使用MapReduce作为实际计算框架，SQL的交互方式隐藏了大部分MapReduce的细节。这

一、    控制hive任务中的map数: 1.    通常情况下，作业会通过input的目录产生一个或者多个map任务。 主要的决定因素有： input的文件总个数，input的文件大小，集群设置的文件块大小(目前为128M, 可在hive中通过set dfs.block.size;命令查看到，该参数不能自定义修改)；2.    举例： a)    假设input目录下有

This page explains how to start doing basic indexing in HBase. Before following this tutorial, make sure that the HBase Indexer and other required software is installed and running as explained in the

We talked about the new work that has gone into Apache Solr (upstream) that allows it to work on Apache Hadoop. Solr has support for writing and reading its index and transaction log files to the HDFS

1.path环境变量2.Hadoop bin目录下hadoop.dll和winutils.exe3.c:\windows\system32 下的hadoop.dll4.64为jdk条件都满足了还是报错通过修改源码解决。修改org.apache.hadoop.io.nativeio大概 在 572行  修改如下。