feinifi的博客

flume启动时，如果没有通过参数(--name 或者 - n)指定代理，那么默认使用tier1作为代理名称，启动成功后，不会报错，但是可能会提示如题警告。flume.conf配置文件默认就是用tier1作为代理名称。如下所示。这个实例是网上一个正好使用了默认tier1作为agent，但是启动时却使用了"agent"作为agent,有点多余。再联系本文，不难推测这里启动时应该指定-n tier1。...

Hue是cloudera提供的hadoop ui,利用它可以很直观的操作和查看hadoop生态应用。一般安装cloudera manager之后会自动带有hue管理界面，通过http://hueserver:8888即可访问。另外，hue也可以单独安装，无须借助cloudera manager。这里介绍如何单独安装hue。环境要求:centos7,jdk8,maven3。1、安装依赖包。yum i...

spark作为一个内存mapreduce框架，速度是hadoop的10倍甚至100倍。windows下可以通过简单设置，搭建本地运行环境。1、下载spark预编译版本，spark运行环境依赖jdk,scala，这里下载的最新spark版本是2.3，对应jdk1.8+scala2.11.8。java -versionjava version "1.8.0_151"Java(TM) SE Runt...

spark由scala语言编写，开发spark程序，自然也少不了scala环境，这里介绍如何利用Intellij IDEA开发spark。1、环境准备。jdk,scala,idea这些对于本文来说都已经默认安装。2、idea中安装scala language插件。File->Settings->Plugins->Browse Repositories，搜索scala。选中Scal...

这次尝试了一下源码编译最新的hadoop3.0.1，发现了几个和原来不太一样的地方。记录下来：1、需要的jdk不再是原来的1.7，直接jdk1.8就编译通过了；2、以前安装需要安装编译依赖cmake,这次是需要cmake3，redhat7默认没有cmake3的package，需要先安装epel-release,然后安装cmake3,最后将cmake3做一个软链cmake；yum install e...

hadoop-3.0.1编译上和原来有不同的地方，部署时，也有一些需要注意的地方。安装部署过程一笔带过：a)设置免秘钥登录。b)设置jdk环境变量。c)配置编译好的hadoop环境变量，HADOOP_HOME,YARN_HOME,HADOOP_CONF_DIR,LD_LIBRARY_PATH,YARN_CONF_DIR。d)配置core-site.xml,hdfs-site.xml,mapred-...

一、前提条件安装了Hadoop2.6.0，并且配置了相关环境变量。jdk安装，免密登录设置，环境变量设置。JAVA_HOME JRE_HOME CLASSPATH PATH二、安装配置1、下载hive apache-hive-2.0.0-bin.tar.gz2、解压缩并修改配置文件tar -xzvf apache-hive-2.0.0-bin.tar.gzmv apache-hive-2.0

Hadoop作为分布式大数据处理框架在数据处理应用中有广泛的应用，本文介绍在Linux环境下搭建hadoop伪分布式集群，记录下自己的学习过程。

Hive自定义函数(UDF)，可以帮助用户轻松实现在hql语句中展现自定义查询结果。这里以一个简单的连接函数来实现用户自定义函数，假设表结构如下：表中只有两个简单的字段，id和name。这里实现一个将id和name用"-"连接的函数，最后输出结果。第一步、书写StringJoin类，继承UDF，实现名称为evaluate的方法；书写完成之后打包stringjoin.jar

先介绍一些基本的命令：1、进入hive命令行，这种方式进入之后，执行操作为带有执行mapreduce的调试信息；hive --service cli --等同于直接输入hive2、进入hive命令行静默模式,不输出调试信息；hive -S --静默模式3、查看表信息，查看函数信息，查看表子段信息,每一条hiveql语句后面都要跟分号(;)结尾show tab

hive作为基于hdfs的数据仓库，在构建表的时候，会有内部表和外部表，这里介绍两者的异同点。

hive创建表和导入数据都没有问题，在删除表，做drop table 时报如题所示的错误。              有的文章说修改元数据库字符集为latin1,但是元数据库字符集默认创建就是latin1,修改字符集无法解决该问题。               通过更换mysql驱动jar包解决问题，我的原始jar包是mysql-connector-java-5.1.18.jar,更换为mysql...

环境准备spark是scala语言写的，scala运行需要jdk,如果通过maven编译，还需要maven环境，因此spark源码编译需要安装jdk,scala,apache-maven这三样环境。这里选择的是spark1.6.0，他需要的scala是2.10+,jdk7+，我的环境配置如下：验证环境：相关文件地址：链接: http://pan.baidu.com/s/1eS1j07S 密码: c...

        以前在32位linux机器上编译过hadoop2.6.0,这次在redhat7 64bit上再次编译hadoop2.6.0，除必须的jdk,maven,protobuf需要安装之外，还需要安装系统依赖库gcc,gcc-c++,ncurses-devel,openssl-devel,cmake,这些依赖库的安装可以直接通过yum命令一下安装: yum install -y gcc g...

kafka+flume+hdfs搭建实时日志流系统

一、机器及环境准备。1、jdk安装不用多说，安装完成配置环境变量即可。export JAVA_HOME=/usr/java/latestexport JRE_HOME=$JAVA_HOME/jreexport CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jarexport PATH=$JAVA_HOME/bin:$PATH运行...

apache flink作为第四代mapreduce计算框架，已经得到越来越多的应用，这里介绍如何快速入门，以及记录一个内存错误的问题。1、安装jdk2、下载flink,并解压。wget https://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.3.2/flink-1.3.2-bin-hadoop27-scala_2.11.tgz3、运行报...