树蛙PHPER

hadoop 可分为单节点方式配置, 伪分布式配置,集群方式安装单节点的hadoop无须配置，在这种方式下Hadoop 被认为是一个单独的Java 进程，通常用来调试伪分布式配置：可以帮伪分布式的hadoop 看做是只有一个节点的集群节点既是master  也是 NameNode  也是 datanode既是JobTraker 也是TaskTraker.

11.1. Manually Calculate YARN and MapReduce Memory Configuration SettingsThis section describes how to manually calculate YARN and MapReduce memory allocation settings based on the node hardware s

RHive 是一种通过HIVE高性能查询来扩展R计算能力的包。它可以在R环境中非常容易的调用HQL， 也允许在Hive中使用R的对象和函数。理论上数据处理量可以无限扩展的Hive平台，搭配上数据挖掘的利器R环境， 堪称是一个完美的大数据分析挖掘的工作环境。

使用hive 过程中 需要做一些UDF的开发，简单贴一个UDF 是用来去除字符串中的所有中英文符号本人JAVA 菜鸟 代码可能不好看勿喷啊。仅供参考package com.fccs.utils;import java.text.ParseException;import org.apache.hadoop.hive.ql.exec.UDF;/*** * 本类是用于字符串替换支

首先我们要安装好sqoop笔者我用的是sqoop1其次我们需要ojdbc6.jar 这个jar 包下载地址如下：http://www.oracle.com/technetwork/database/enterprise-edition/jdbc-112010-090769.html将解压的包 复制到sqoop安装目录下的lib 目录中最后执行我们的导入命令即可

安装HIVE 过程中要注意1，mysql 是否正常运行2.   创建好mysql 用户并分配好相应的访问权限以及数据库端口号等3.   mysql-connector-java-5.1.26-bin.jar  是否放到hive/lib 目录下 建议修改权限为777 （chmod 777 mysql-connector-java-5.1.26-bin.jar）4. 修改conf/hi

HUE 报错误：Filesystem root '/' should be owned by 'hdfs'解决方案如下：修改 文件desktop/libs/hadoop/src/hadoop/fs/webhdfs.py 中的  DEFAULT_HDFS_SUPERUSER = 'hdfs'  更改为你的hadoop用户

为了部署运行 Tachyon 首先下载：$ wget http://tachyon-project.org/downloads/tachyon-0.3.0-bin.tar.gz$ tar xvfz tachyon-0.3.0-bin.tar.gz编辑文件tachyon-env.sh   设置TACHYON_UNDERFS_ADDRESS=hdfs://HDFS_HOSTN

在部署之前，先说明一下secondarynamenode 是由 master 配置决定 也就是我们在配置文件master 中填写的机器namenode  是由core-site.xml中的fs.default.name这个参数 决定。因此我们开始吧！主机 ：x001slave:x002、x0031. 停止hadoopstop-all.sh

转载一篇文章，作为记录，有时间去看一遍～为了方便大家从理论到实践，从入门到精通，循序渐进系统地理解和掌握推荐系统相关知识。特做了个读物清单。大家可以按此表阅读，也欢迎提出意见和指出未标明的经典文献以丰富各学科需求（为避免初学者疲于奔命，每个方向只推荐几篇经典文献）。1. 中文综述(了解概念-入门篇)a) 个性化推荐系统的研究进展b) 个性化推荐系统评价方法综述2. 英文综述

在对hive 进行 select 查询的时候 我们可以编写 python 、php 、c++等脚本来进行相应的数据处理，我们要用到hive  的 TRANSFORM  和  using 看例子：add file /www/FCCS_Data/ComETL/hive/sql_map/demo.py ; from access_fccs select TRANSFORM (t

添加节点1.修改host   和普通的datanode一样。添加namenode的ip 2.修改namenode的配置文件conf/slaves   添加新增节点的ip或host 3.在新节点的机器上，启动服务 [root@slave-004 hadoop]# ./bin/hadoop-daemon.sh start datanode[root@

方法也是借鉴各种谷歌和实际实验经验整理的，希望能帮到需要的朋友map task 的数量即mapred.map.tasks的参数值，用户不能直接设置这个参数。 由Input Split的大小决定，我们可以通过设置 dfs.block.size的值来调整 默认是（64M）如果我们分析的文件是 大文件 建议将该参数调大点，注意每次修改都要重新格式化才能生效，但这样会导致所有数据丢失

获取默认配置配置hadoop，主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件，默认下来，这些配置文件都是空的，所以很难知道这些配置文件有哪些配置可以生效，上网找的配置可能因为各个hadoop版本不同，导致无法生效。浏览更多的配置，有两个方法:1.选择相应版本的hadoop,下载解压后，搜索*.xml,找到core-default

架构图作业提交流程术语：•job：用户的每一个计算请求，就称为一个作业。•JobTracker：用户提交作业的服务器，同时，它还负责各个作业任务的分配，管理所有的任务服务器。•TaskTracker：任劳任怨的工蜂，负责执行具体的任务。•Task：每一个作业，都需要拆分开了，交由多个服务器来完成，拆分出来的执行单位，就称为任务

默认端口                            设置位置                                    描述信息8020        namenode RPC交互端口8021        JT RPC交互端口50030       mapred.job.tracker.http.address        JobTracker

也是初识，陆续的看了几篇文档懵懵懂懂的做了个实验一共三台机器 一台master 两台slavehive 安装在master 上（安装方法待整理）同时也需要安装mysql修改hive的conf目录下的hive-site.xml增加hive.aux.jars.pathfile:///opt/hive/lib/hive-contrib-0.10.0.jarf

错误：Error in sasl_client_start (-4) SASL(-4): no mechanism available: No worthy mechs found解决方法：yum install cyrus-sasl-plain  cyrus-sasl-devel  cyrus-sasl-gssapi