强者的博客

原创 Hadoop警告：WARN util.NativeCodeLoader

目录 一、原因分析二、解决办法一、原因分析当hadoop配置完成运行类似  bin/hdfs dfs ....之类的命令时，有时候会出现以下警告：WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes w...

原创 本地编译Hadoop2.9.1源码总结

目录 一、文档编写的目的二、编译要求三、软件安装3.1 安装JDK3.2 安装各种库3.3 安装maven3.4 安装protocolBuffer3.5 安装findbugs四、开始编译五、编译中可能遇到的问题一、文档编写的目的当在Windows平台安装hadoop时，或者添加Hadoop一些额外功能时，需要对Hadoop源码进行编译，本文以Ha...

原创 Hapood端口及配置说明

目录 一、文档编写的目的二、获取默认配置三、常用的端口配置3.1 HDFS端口3.2 MR端口3.3 其他端口 一、文档编写的目的hadoop主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件，默认下来，这些配置文件都是空的，所以很难知道这些配置文件有哪些配置可以生效，上网找的配置可能因为各个hadoop...

原创 CM5.12.1离线安装spark2.2

在CDH集群中spark1和Spark2版本可以共存，为了更好的体验及使用Spark新版本的API或修改已知旧版本的bug，现需要将CDH集群中安装Spark2.2，本节主要介绍如何通过Cloudera Manager离线安装Spark2.2。

原创 CM5.12.1将 jdk1.7升级到1.8

CDH安装时默认安装的JDK版本为jdk1.7.0_67，如需要开发环境为JDK8版本，本节讲述如何将CDH集群的JAVA版本升级至JDK8。

原创 Centos6.9离线安装CM5.12.1操作流程

花了几天时间编写了一份CM安装的文档，本篇文档记录的自认为比较详细，从环境准备到CM安装再到CDH安装，都做了详细的操作记录，本篇文档也比较长，在word文档中有五六十页，对初学者帮助可能大一些，因为基本每一步都配有截图，希望对用到的朋友有所帮助，望共勉。

原创 Centos6.9安装Zabbix操作流程

 目录 一、概述1.1 简介1.2 Zabbix结构1.3 安装规划二、Zabbix Server安装2.1 禁用SELinux​2.2 关闭防火墙2.3 引导zabbix3.4的yum源2.4 安装mysql5.62.5 创建zabbix数据库并把导入一些sql表2.6 安装php5.6和Apache服务2.7 创建zabbix用户和组...

原创 VMware14安装Centos6.9操作流程

工欲善其事必先利其器，要想学习linux，就必须在linux系统上去尝试，而对于学习而言，如何简单方便搭建一套linux学习环境，本文将介绍如何利用VMware 14搭建centos 6.9的流程，其余版本大同小异，望对需要的朋友有所帮助。

原创 Pycharm 2017.3.3永久破解

工欲善其事，必先利其器，本文将记录Pycharme2017.3.3永久破解的方法

原创 javac编译时编码错误

目录一、文档编写目的二、场景还原三、原因分析一、文档编写目的昨天在群里看到一个刚学java的朋友碰到一个问题，他用文本编辑器写了一个java类，这大概就是所有java初学者刚开始都要经历的阶段吧，然后使用javac编译，在用java运行，出现了一个错误，在这里进行总结一下，希望对大家和我都有点帮助。二、场景还原java代码如下public class Byte {...

转载 nodeJS实现方法的同步效果（去异步）

转载至:http://www.jianshu.com/p/43fc67a0e526nodeJS实现方法的同步效果（去异步）前言：nodeJS最大的特点就是其异步操作，其后边方法的执行不会等到前边方法执行完才去运行，而是同时执行好几个方法，这种方式在给我们提高效率的同时也给开发多多少少带来了不便，有时候我们不要求有这种效果的出现，这时候就需要进行去异步操作。node的去异步方

原创 配置sudo

1.切换至root用户# visudo2.在一般模式下/root ------> 回车 -------> n (3次)添加: tom ALL=(root) NOPASSWD:ALL3.保存退出

原创 linux Shell

详情请参考:http://www.runoob.com/linux/linux-shell-basic-operators.htmlShell:Shell 是一个用 C 语言编写的程序，它是用户使用 Linux 的桥梁。Shell 既是一种命令语言，又是一种程序设计语言。Shell 是指一种应用程序，这个应用程序提供了一个界面，用户通过这个界面访问操作系统内核的服务。

原创 Shell基础编程

执行脚本的三种方式:输出变量的三种方式:位置参量表:Shell中的数组:Shell中的date和calShell 中的判断与判断表达式Shell中的循环:

原创 Linux系统管理命令

Linux 系统下磁盘命令,内存查看命令[whj@Linux-whj ~]$ unameLinux[whj@Linux-whj ~]$ uname -r2.6.32-431.el6.x86_64Linux系统下软

原创 linux中的文件

>>>>>>>>文件在Linux系统下,文件的类型(常见的三种类型)*文件-*目录(类似于win7系统下的文件夹)d*连接(类似于win7系统下的快捷方式)l文件的权限*可读r*可写w*可执行(脚本,比如shell的脚本)x特殊字符-表示没有任何权限权限的数字表示方式rw-二进制数字之和的方式R W X2^

原创 远程连接工具

远程连接工具:辅助我们进行使用系统,方便操作远程连接四要素:*Ip地址*用户名*密码*协议 ssh四大远程连接工具:*远程命令行SecureCRT注意事项:当第一次远程连接到linux系统时,进入当前用户的主目录*远程FTP:远程传输协议File Transfer ProtocolFileZilla*远程编辑工具Notepad++Ul

原创 hue与oozie集成

hue与oozie集成1、修改hue的oozie模块[liboozie]# The URL where the Oozie service runs on. This is required in order for# users to submit jobs. Empty value disables the config check.oozie_url=

原创 Hue与RDBMS关系型数据库的集成

Hue与RDBMS关系型数据库的集成[[[mysql]]] //534行，将模块注释打开(注意,要打开注释)# Name to show in the UI.nice_name="My SQL DB"# For MySQL and PostgreSQL, name is the name of the database.# For Oracle, Name is

原创 hue与hive集成

hue与hive集成1、启动hiveserver2服务$ bin/hiveserver2 &2、配置metastore并启动metastore服务当mysql数据库配置在远程端时，本地集群需要启动一个hive的metastore服务进程与远程端的mysql进行通信获取mysql的元数据信息$ vi hive-site.xml

原创 hue与Hadoop的集成

hue与Hadoop的集成1、修改Hadoop相关配置文件hdfs-site.xmldfs.webhdfs.enabled -》默认是开启，所以不再配置dfs.permissions.enabledfalsecore-site.xml 配置hue的访问hdfs的权限 （oozie）hadoop.proxyu

原创 hue的安装部署（编译安装）

一、Hue的架构组件hue-webUI操作界面hue server 进程服务器，与其他的框架进行信息交互通信hue需要一个数据库的支持二、hue的安装部署（编译安装）1、安装编译需要的依赖包，需要链接外网# yum -y install ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi gcc

原创 hue 大数据的web工具

hue 大数据的web工具cloudera公司开源，用途是为了集成大数据生态系统的其他框架大数据的web工具，提供了一个统一的友好的web交互操作界面集成hive编辑并提交一个hql查询一个hql的执行计划查询hive的元数据信息对hive的查询结果可以提供可视化图标…………hdfs对hdfs上的文件或目录在线进行增删改查（底层调用对应api）yar...

原创 linux中的文件

>>>>>>>>文件在Linux系统下,文件的类型(常见的三种类型)*文件-*目录(类似于win7系统下的文件夹)d*连接(类似于win7系统下的快捷方式)l文件的权限*可读r*可写w*可执行(脚本,比如shell的脚本)x特殊字符-表示没有任何权限权限的数字表示方式rw-二进制数字之和的方式R W X2^

原创 一张图看懂hadoop

原创 Shuffer过程

map ----> partition(分区默认,可修改) ----> sort(排序默认,可修改) -----> combiner(map阶段排序,可选) -----> spill (溢写,默认不可改) -----> meger(合并文件,默认,不可改) -----> compress(压缩,可选) -----> reduce======================Shuff

原创 Linux命令

[whj@localhost Desktop]$用户名 主机名 目录名$ : 普通用户# : root用户 对系统进行管理时需要用root用户在Linux 系统下,查看Ip地址命令ifconfig类似于在window系统下的ipconfiginet addr:192.168.106.129 Bcast:192.168.106.255 Mask:255.2

转载 ElasticSearch 5.X安装部署常见错误以及解决办法

ElasticSearch 5.X安装部署常见错误以及解决办法问题一：[2012-02-08T16:27:21,712][WARN ][o.e.b.JNANatives ] unable to install syscall filter: Java.lang.UnsupportedOperationException: seccomp unavailable: requires ke

转载 FileWritter写入文件

一，FileWritter写入文件FileWritter, 字符流写入字符到文件。默认情况下，它会使用新的内容取代所有现有的内容，然而，当指定一个true （布尔）值作为FileWritter构造函数的第二个参数，它会保留现有的内容，并追加新内容在文件的末尾。1. 替换所有现有的内容与新的内容。new FileWriter(file);2. 保留现有的内容和附加在该文件的末

原创 WebPvMapReduce

###WebPvMapReduce 1package com.myblue.myhdfs;import java.io.IOException;import org.apache.commons.lang.StringUtils;import org.apache.hadoop.conf.Configuration;import org.apache.hadoo

原创 DataTotalMapReduce (流量统计)

######流量统计package com.myblue.myhdfs;import java.io.IOException;public class DataTotalMapReduce extends Configured implements Tool {public static class DataTotalMapper extends

原创 WordCountMapReduce 代码

###WordCountMapReduce 1package com.myblue.myhdfs;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoo

原创 MapReduce 典型代码

####### MyHDFS 1package com.myblue.myhdfs;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataInputStream;import org.apache.hadoo

原创 hadoop Shuffer过程

map ----> partition(分区默认,可修改) ----> sort(排序默认,可修改) -----> combiner(map阶段排序,可选) -----> spill (溢写,默认不可改) -----> meger(合并文件,默认,不可改) -----> compress(压缩,可选) -----> reduce======================Shuff

原创 hadoop HA(热备)

冷备：实时或者周期性从业务服务器备份重要数据，当该业务服务器宕机时，手动启动备份服务器** 业务切换间隔时间比较长热备：实时备份业务服务器备份重要数据，当该业务服务器宕机时，集群会自动切换业务服务器,从而替换掉宕机的服务器** 业务切换间隔时间比较短（秒级）==================NameNode HA========================

原创 MapReduce代码示例

Google三篇论文 HadoopGFS --> HDFSmapreduce --> Mapreducebigtable --> HBaseHadoop** common** HDFS** mapreduce** YARNmapreduce** 分布式离线计算模型** 周期性(每天、每周、每月)分析历史数据** Mapreduce

原创 eclipse集成maven

1、安装maven[tom@blue01 modules]$ tar zxvf /opt/softwares/apache-maven-3.0.5-bin.tar.gz配置MAVEN_HOME：# vi /etc/profile (root用户)MAVEN_HOME=/opt/modules/apache-maven-3.0.5export PATH=$PATH:$MAVE

原创 HDFS结构介绍

HDFS(Hadoop Distributed File System)** block:（见图）** HDFS把文件划分成block存储在不同节点上--默认128M（以前是64M，今后可能会变为256M）--dfs.blocksize属性(hdfs-site.xml)--该属性应该由文件大小的数值分布来决定，比如80%的文件大小为200M左右，那么该值设定为256

原创 eclipse连接hadoop

为了方便管理,工作空间配置到/opt/tools/workspace为了启动快速:设置快捷键:配置maven:设置字体:设置xml字体:创建maven:加载java:将安装目录下的core-site.xml 和 hdfs

原创 centos 相关命令

ifconfig : 查看ipifup eth0 : 重启网卡service network restart : 重启network服务service iptables status : 查看防火墙状态service iptables stop : 关闭防火墙服务service iptables off : 设置防火墙为开机不启动chkconfig