hua的博客-优快云博客

原创 Docker入门实战-SSH连接docker容器

什么是DockerDocker 是一个开源项目，诞生于 2013 年初，最初是 dotCloud 公司内部的一个业余项目。它基于 Google 公司推出的 Go 语言实现。项目后来加入了 Linux 基金会，遵从了 Apache 2.0 协议，项目代码在 GitHub 上进行维护。Docker 自开源后受到广泛的关注和讨论，以至于 dotCloud 公司后来都改名为 Docker Inc。

2016-01-12 20:48:53 37606

转载 Hive学习笔记以及语法

1. HIVE结构 Hive 是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言，称为 QL，它允许熟悉 SQL 的用户查询数据。同时，这个语言也允许熟悉 MapReduce 开发者的开发自定义的

2014-12-10 15:17:00 4160

转载 Hive函数大全

一、关系运算： 1. 等值比较: = 语法：A=B 操作类型：所有基本类型描述: 如果表达式A与表达式B相等，则为TRUE；否则为FALSE 举例： hive>select 1 from lxw_dual where 1=1;

2014-12-10 15:12:42 653

原创 MySql安装用户权限设置以及增量备份

基于redhat6.4版本安装，由于这个版本系统自带mysql所有先卸载后安装 mysql卸载使用root用户登陆机器执行以下命令，使用的mysql安装文件为提供的MySQL-server-5.5.28-1.linux2.6.x86_64.rpm，MySQL-client-5.5.28-1.linux2.6.x86_64.rpm

2014-12-10 14:57:24 711

原创 Hive使用JDBC连接

使用Hive连接JDBC，需要确认Hive的版本号。低版本HiveServer为（Hive1 Server）高版本的HiveServer为（Hive2 Server）,以下提供这两种的连接方法。 1、Hive1 Server使用以下代码： Class.forName("org.apache.hadoop.hive.jdbc.HiveDriver"); Connection conn = Dri

2014-12-10 14:48:31 1087

原创 oozie常见问题

通过异常信息，可以猜测应该是在执行任务时，配置没有读到，所以使用了默认的0.0.0.0:8030地址。为了验证是否是这个原因造成的，我们可以修改oozie/conf目录下的log4j的日志级别为调试。然后通过查看和跟踪hadoop的源代码，验证了猜想的正确性，由于oozie在提交job的时候，会读取oozie/conf/hadop-conf/core-site.xml中的配置，异常我们

2014-12-10 14:41:27 4157 1

原创 oozie客户端常用命令

1.提交作业，作业进入PREP状态 oozie job -oozie http://localhost:11000/oozie -config job.properties -submit job: 14-20090525161321-oozie-joe 2.执行已提交的作业 oozie job -oozie http://localhos

2014-12-10 14:33:40 699

转载 oozie4.0 hadoop2.3编译

1：下载地址：http://mirror.bit.edu.cn/apache/oozie/ 2：ext2.2.zip下载地址：http://oozie.apache.org/docs/4.0.1/DG_QuickStart.html oozie的quick start页面，往下面看就能找到直接下载链接，不用去ext官网找了哦~~

2014-12-10 14:26:05 773

转载 hive0.14-insert、update、delete操作测试

首先用最普通的建表语句建一个表： hive>create table test(id int,name string)row format delimited fields terminated by ','; 测试insert： insert into table test values (1,'row1'),(2,'row2');结果报错： java.io.FileNotFo

2014-12-10 13:48:27 1441

原创 Eclipse远程调试Spark

背景在安装好spark的前提下，我们写的代码需要进行远程调试怎么办？看了网上很多文档发现每一个是正确的，今天特分享分享。修改配置文件修改${spark_home}/bin/spark-class文件，找到JAVA_OPTS：参数说明： -Xdebug 启用调试特性 -Xrunjdwp 启用JDWP实现，包含若干子选项： transport=dt_socket

2014-12-01 19:32:55 3944

hua的专栏