小明

chunjun是以前flinkx项目，现在改名chunjun，具体见 chunjun官网 最近在项目中遇到同步两个CDH数据文件的需求，调研了一圈，发现datax不支持两个cdh同时进行kerberos认证，因此切换到chunjun，chunjun在kerberos认证的配置这块，官网也没有详细的介绍案例，在查看源代码后，确定了配置项及各配置项的值，供大家参考...

一、集群规划二、基本配置 修改静态IP、修改主机名、配置主机名与-P映射，关闭防火墙，安装JDK并配置环境变量，这些操作相对不易出错且已有很多成熟安装笔记，不再赘述三、ssh免密登录配置 参考我另一篇博客 《ssh免密配置》四、安装zookeeper 安装相对简单，有很多成熟资料可供参考，不再赘述 五、安装Hadoop 1. 解压并配置HADOOP_HOME环境变量 2. 修改h

一、FTP服务器安装以及基本操作安装 yum -y install vsftpd启动 service vsftpd star设置开机启动 chkconfig vsftpd on启动ftp服务 service vsftpd start查看ftp服务状态 service vsftpd status 重启ftp服务 service vsftpd restart关闭ftp服务 service

一、 概述 关于Hbase的工作原理网上已经有很多详细介绍，就不在这里赘述了，我们直接研究代码作为Hbase最新stable版，Hbase内部引入的部分hadoop2.5系列的jar包，这里且暂不去理会它，但是Java环境必须要8以上，我的正确运行环境为： Centos-6.5 hadoop-2.6.5 Hbase-1.2.4 jdk1.8 二、代码设计package com.unisk

一、概述 程序运行环境很重要，本次测试基于： hadoop-2.6.5 spark-1.6.2 hbase-1.2.4 zookeeper-3.4.6 jdk-1.8 废话不多说了，直接上需求 Andy column=baseINFO:age, value=21 Andy column=baseINFO:gender, value=0 Andy column=baseINFO:t

进入hbase命令行 ./hbase shell显示hbase中的表 list创建user表，包含info、data两个列族 create ‘users’, ‘info’, ‘data’ //you can also use this command: // create ‘users’, {NAME => ‘info’, VERSIONS => ‘3’}向表中插入信息，row key为r

一、概述 spark 2.0做出的改变大家可以参考官网以及其他资料，这里不再赘述 由于spark1.x的sqlContext在spark2.0中被整合到sparkSession，故而利用spark-shell客户端操作会有些许不同，具体如下文所述二、spark额外配置 1. 正常配置不再赘述，这里如果需要读取MySQL数据，则需要在当前用户下的环境变量里额外加上JDBC的驱动j

一、安装条件 Hadoop、 hive 、hbase 、zookeeper、必须已安装完毕并可正确运行 二、开始配置 1. 下载解压（注意与hbase的版本适配） 2. 配置KYLIN_HOME 3. 进入KYLIN_HOMEvim bin/kylin.sh export KYLIN_HOME=/wxm/sorftware/kylin/ apache

yum -y install mysql-server启动mysql数据库service mysqld start初始化mysql数据库（默认root的密码为空，按提示一步步完成）/usr/bin/mysql_secure_installation将mysql加入开机启动chkconfig mysqld on允许远程登录mysql 首先登录mysql数据，然后执行下面两行语句：GRANT ALL

一、环境准备 jdk 1.8+ hadoop 2.x mysql 5.x 安装之前请确保以上环境已准备完毕 二、安装 1. 下载并解压 进入解压之后的目录，使用当前路径配置HIVE_HOME 2. 进入安装目录下conf目录 vim hive-site.xml 加入以下配置<?xml

Hbase作为典型的nosql数据库，依托于HDFS可实现海量数据秒级查询，这里在Hadoop集群搭建完善的情况下搭建完全分布式的Hbase集群 1. 修改conf/hbase-env.sh修改JAVA_HOME export JAVA_HOME=xxxx 2. 修改hbase-site.xml，配置开启完全分布式模式 配置hbase.cluster.distributed