iris95-优快云博客

原创 3.cdh搭建-mysq安装

CDH集群安装Cloudera Manager 使用数据库来存储cm配置信息、系统健康和任务进度快捷地、可以在cm安装过程中，安装嵌入的postgresql作为数据库另外也可以使用自己安装的postgresql、mysql、mariadb或者oracle版本选择选择 CDH5.12 + mysql5.7mysql版本支持列表 mysql 安装# 卸载原

2018-01-17 17:05:59 298

原创 2.cdh搭建-Java环境准备

CDH集群搭建java环境配置 cdh 只支持64位的oracle版本的jdk 5.x.x 支持jdk7 5.3.x 支持jdk8 Only 64 bit JDKs from Oracle are supported. Oracle JDK 7 is supported across all versions of Cloudera Manager 5

2018-01-17 16:56:33 441

原创 1.cdh搭建-网络环境准备

CDH集群搭建基本环境系统: centos 74个节点： master 192.168.1.31 8g 2*4核 60g硬盘 ghome安装 slave1 192.168.1.41 4g 2*2核 40g硬盘计算节点安装 slave2 192.168.1.42 4g 2*2核 40g硬盘计算节点安装 slave3 192.

2018-01-17 16:55:05 561

原创 0.cdh集群安装

CDH的生产部署：要求为cloudera manager服务器和hive metastore 先自行安装和配置生产环境的数据库提供两种安装方式：使用ClouderaManager Paracles 或者 Packages 安装：要求安装 oracle jdk,在CM服务器上有CM Packages的资源库（yum本地源）可以手动或者使用cm安装

2018-01-17 16:51:47 412

原创内网穿透新利器-网络通

程序员一枚，家里放了一台dell r720 server 想在公司远程访问，真是操碎了心。。。发现一款新软件: 网络通网络通永久免费内网端口映射,内网穿透软件，可轻松访问连接内网，100%穿透内网，不需设置路由器，不需公网ip,不需固定ip,不需动态域名，用户可免费添加多个映射,适合在公司，小区宽带，出租屋，校园网，网吧，教育网，等网络结构复杂，限制严格的环境中使用。下载

2018-01-17 15:57:45 920

原创百度网盘-破除限速

背景百度网盘时常50kb/s的速度实在感人（纵然有100M家庭电信宽带）绿色安全版加速下载软件等你来取

2017-08-15 23:16:54 6085

原创 php中文乱码解决

初学php，写了个简单页面，发现中文乱码而html的头中已经指定了字符集为gb2312开始怀疑是配置的问题，采用的是apache+php首先，判断是否是apache配置的问题，如果任何网页页面发布到apache后都会中文乱码，那就要改动apache的配置文件 apache/conf/httpd.conf判断方法：另建一个纯html文件 test.html

2016-03-26 11:09:33 456

转载 Flume详解

一、Flume介绍Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。设计目标：(1) 可靠性当节点出现故障时，日志能够被传送到其他节点上而不会丢失。Flume提供了三种级别的可靠性保障，从强到弱依次分别为：end-to-end（收到数

2016-02-15 16:12:50 592

原创 Flume原理

Flume介绍Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能。Flume采用了分层架构：分别为agent，collector和storage。其中，agent和collector均由两部分组成：source和sink，sou

2016-02-15 16:06:23 931

转载 HIVE和HBASE区别

HIVE和HBASE区别1. 两者分别是什么？ Apache Hive是一个构建在Hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言，这种语言最终被转化为Map/Reduce. 虽然Hive提供了SQL查询功能，但是Hive不能够进行交互查询--因为它只能够在Haoop上批量的执行Hadoop。

2016-02-15 15:01:49 454

转载 zookeeper基本原理及适用场景

1.1 zookeeper简介 Zookeeper 是 Hadoop 生态系统中的协同实现，是Hadoop集群管理的一个必不可少的模块，它主要来控制集群中的数据，如它管理Hadoop集群中的NameNode，还有Hbase中Master Election、Server之间状态同步等。Zookeeper 实际上是 Google 的 Chubby 一个开源的实现。Zookeep

2016-02-15 11:27:18 580

转载 pig hive hbase之间的关系和差异

Pig一种操作hadoop的轻量级脚本语言，最初又雅虎公司推出，不过现在正在走下坡路了。当初雅虎自己慢慢退出pig的维护之后将它开源贡献到开源社区由所有爱好者来维护。）Pig是一种数据流语言，用来快速轻松的处理巨大的数据。Pig包含两个部分：Pig Interface,Pig Latin。Pig可以非常方便的处理HDFS和HBase的数据，和Hive一样,Pig可以

2016-02-13 16:09:56 709

转载对于hadoop生态圈的理解

大数据，首先你要能存的下大数据。传统的文件系统是单机的，不能横跨不同的机器。HDFS（Hadoop Distributed FileSystem）的设计本质上是为了大量的数据能横跨成百上千台机器，但是你看到的是一个文件系统而不是很多文件系统。比如你说我要获取/hdfs/tmp/file1的数据，你引用的是一个文件路径，但是实际的数据存放在很多不同的机器上。你作为用户，不需要知道这些，就好比

2016-02-13 16:08:42 3132

原创 pig: ERROR 1070

如图，对上方形如 ( 139250057413,{(139250057413,69,63,11058,48243)}) 的分过组的数据进行统计，使用命令 D = FOREACH C GENERATE group，sum（B.t6).......出现错误：　ERROR org.apache.pig.tools.grunt.Grunt - ERROR 1070: Could

2016-02-13 10:56:47 639

原创 pig实战演练：手机流量统计

•pig是一种操作hadoop的轻量级脚本语言，是基于hadoop的数据处理框架•Pig包括两部分：用于描述数据流的语言，称为PigLatin。用于执行PigLatin程序的执行环境，当前有两个环境：单JVM中的本地执行环境和 Hadoop集群上的分布式执行环境。• Pig和mapReduce的区别： mr是基于java的，代码冗长复杂 P

2016-02-13 10:47:05 603

原创 hive实战演练：手机流量统计

hive 本质上是一个 sql 解析引擎，提供了一种类sql语言 hql 以便于使用，将我们熟悉的sql语言转换成了一个个map-reduce进程需求　：　统计如下文件中　每个手机号使用流量的情况　待处理文件：http.dat1363157985066 1372623050300-FD-07-A4-72-B8:CMCC 120.196.100.82i02.c.al

2016-02-05 11:34:57 1029

原创 linux下启动、登陆 mysql 出现ERROR 2002(HY000):can't connect to local mysql server

linux下启动、登陆 mysql 时出现ERROR 2002(HY000):can't connect to local mysql server through socket ‘/var/lib/mysql/mysql.sock'今天登陆mysql -u -p 时，突然出现了如上错误，原因应该是因为有多个mysql进程在运行发生了冲突解决方法：首先命令 /

2016-02-05 10:09:29 6727 2

转载 rpm安装的mysql 如何卸载干净

rpm方式安装的mysql首次查看系统中是否以rpm包安装的mysql：[root@localhost opt]# rpm -qa | grep -i mysqlMySQL-server-5.6.17-1.el6.i686MySQL-client-5.6.17-1.el6.i686然后卸载mysql[root@localhost l

2016-02-04 16:02:05 529

原创 hive show databases 报错 ERROR in metadata : metadata Exception

使用hive时出现如上错误FAILED : Error in metadata : MetaException(message :Got exception : java.net.Connect Exception Call to hadoop/192.168.56.100:9000 failed on connection exception: java.net.ConnectExcepti

2016-02-04 15:09:57 1404

原创 sqoop import ERROR sqoop.Sqoop: Got exception running Sqoop: java.lang.RuntimeExceptrion

使用sqoop 将mysql中的表上传到hdfs中时出现error sqoop.Sqoop: Got exception running Sqoop: java.lang.RuntimeExceptrion解决方法：把mysql-connector-java 的jar包复制到 /sqoop/lib 的目录下jar包下载地址： http://download.youkuaiyun.com/d

2016-02-04 11:42:00 13699 4

转载 HIVE与mysql

hive是一个基于Hadoop的数据仓库平台

2016-02-03 16:54:06 1078

原创 linux下安装mysql的详细教程

首先将mysql-client mysql-server mysql-connector 复制到linux 的/usr/local 目录下mysql下载地址：mysql-clientmysql-server mysql-connector然后

2016-02-03 10:50:59 421

原创 hive 安装和配置详细教程

首先使用工具winscp 或共享文件夹将hive-0.9.0.tar.gz 复制到/usr/local 路径下（winscp 下载路径：http://download.youkuaiyun.com/detail/xq_iris/9413944 hive下载路径：http://download.youkuaiyun.com/detail/xq_iris/9425489 )然后输入命令 tar -

2016-02-02 16:34:36 1209

原创 pig安装和配置详细教程

首先，通过winscp工具或者共享文件夹把pig-0.11.1.tar.gz 复制到 /usr/local目录下（winscp下载地址： http://download.youkuaiyun.com/detail/xq_iris/9413944 ） ( pig 下载地址： http://download.youkuaiyun.com/detail/xq_iris/9425711）

2016-02-02 15:44:23 2180

原创 pig Error 1066：unable to open iterator for alias A

在学习pig 的时候做以下操作： dump A;出现错误：Error 1066：unable to open iterator for alias A解决方法：发现虽然启动了hadoop 但是jobtracker的进程没有开启重新启动一次hadoop ： start-all.sh再次尝试成功！

2016-01-29 17:38:32 2090

原创 linux下Hadoop安装

首先将安装包复制到 /usr/local 路径下（虚拟机用户可以使用工具winScp）winScp下载：进入安装包所在路径：cd /usr/local解压安装包： -xzvf hadoop-1.0.4.tar.gz重命名： mv hadoop-1.0.4 hadoop设置环境变量： vi /etc/profile插入：　　　　ｉ添

2016-01-22 11:14:17 532

原创 linux下安装jdk6步骤详解

首先将jdk复制到linux 的文件夹中（可以使用winscp这个软件）我把他放到了/usr/local 下：然后打开命令行，进入此目录 cd /usr/local输入命令 ls 查看是否有此文件输入命令 ./jdk-6u24-linux-i586.bin（如果访问被拒绝，是因为没有赋予权限）解压完成后，可以将文件重命名一下，方便使用输入命令

2016-01-21 10:31:47 1161

原创从本地安装svn插件的方法

因为有的时候 eclipse直接下载安装svn会非常的缓慢所以下载好插件保存在本地直接从本地安装svn会快的多下载路径： http://download.youkuaiyun.com/detail/xq_iris/9224297安装方法：解压下载的压缩包找到里面的features 和 plugins 把它们复制到 eclipse 或者myEclips

2015-10-29 17:06:35 446

原创 sqlDeveloper打不开找不到适配的jdk

最近在学oracle自然又是各种工具环境服务。。。终于把数据库装好之后，又要装管理工具也就是sqlDeveloper.然而跟着教程一步步做下好后，配置好jdk路径，却是这样一个场景：这是我的 jdk 路径（大家应该改成自己的）此刻的内心是有写小崩溃的。。。最后发现应该是所下载sqldeveloper 版本的问题在官网看到较新版本

2015-10-24 11:29:45 11672 1