- 博客(61)
- 收藏
- 关注
RSS订阅原创 创建分区表t
CREATE TABLE t(id int,name string,age int) PARTITIONED BY (Year INT, Month INT) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' ;
2017-07-08 22:13:58
398
原创 hive基本操作
hive命令行操作 ------------------------ 1.创建hive的数据库 $hive>hive --version // $hive>hive --help // $hive>create database mydb2 ; // $hive>show databases ; $hive>use mydb2 ; $hiv
2017-07-08 22:05:44
1503
原创 hive-site.xml
Licensed to the Apache Software Foundation (ASF) under one or more contributor license agreements. See the NOTICE file distributed with this work for additional information regarding copyrigh
2017-07-08 14:14:34
1285
原创 配置hbase本地模式，伪分布模式和完全分布式
1.配jdk环境变量 2.有hadoop集群 3.tar 开hbase压缩包 4.配置hbase环境变量 5.验证安装是否成功 $>hbase version 配置hbase模式 5.1)本地模式 [hbase/conf/hbase-env.sh] EXPORT JAVA_HOME=/soft/jdk [hbase/co
2017-03-27 23:41:03
2118
原创 配置resourcemanager的HA自动容灾
1.配置yarn-site.xml yarn.resourcemanager.ha.enabled true yarn.resourcemanager.cluster-id cluster1 yarn.resourcemanager.ha.rm-ids rm1,rm2 yarn.reso
2017-03-27 23:34:54
794
原创 从0开始部署hadoop HDFS的HA集群，使用zk实现自动容灾
我有6台虚拟机s201~s206 其中namenode是s201和s206 1.停掉hadoop的所有进程 2.删除所有节点的日志和本地数据. xcall.sh "rm -rf /soft/hadoop/logs/*" xcall.sh "rm -rf /home/centos/hadoop/*"(查看删干净没有xcall.sh "ls
2017-03-27 23:33:16
1692
原创 hive启动问题解决方法
Exception in thread "main" java.lang.RuntimeException: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.StandbyException): Operation category READ is not supported in state standby 解决方
2017-03-23 21:21:56
628
原创 定义Nvl函数
import org.apache.hadoop.hive.ql.exec.UDFArgumentException; import org.apache.hadoop.hive.ql.exec.UDFArgumentLengthException; import org.apache.hadoop.hive.ql.exec.UDFArgumentTypeException; impo
2017-03-22 15:17:47
1564
原创 hive自定义函数
1.创建类，继承UDF package com.hivedemo.udf; import org.apache.hadoop.hive.ql.exec.Description; import org.apache.hadoop.hive.ql.exec.UDF; /** * 自定义hive函数 */ @Description(name = "myadd
2017-03-22 15:16:58
273
原创 hive调优
1.explain 使用explain查看查询计划 hive>explain [extended] select count(*) from customers ; hive>explain select t.name , count(*) from (select a.name ,b.id,b.orderno from customers a ,orders b where a
2017-03-22 15:15:37
419
原创 hive命令
//创建表,external 外部表 $hive>CREATE external TABLE IF NOT EXISTS t2(id int,name string,age int) COMMENT 'xx' ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE ; //查看表数据 $hive>desc t
2017-03-22 15:08:26
585
原创 mysql的连接查询
1.准备表[mysql.sql] drop table if exists customers; -- 删除表 drop table if exists orders ; -- 删除表 create table customers(id int primary key auto_increment , name varchar(20) , age int); -- 创建cust
2017-03-22 15:05:02
384
原创 mysql的隔离级别和出现的问题
隔离级别 ---------------- 为了避免出现哪种并发现象的。 1 //read uncommitted ,读未提交 2 //read committed ,读已提交 4 //repeatable read ,可以重复读 8 //serializable ,串行化(悲观锁) 演示mysql事务隔离级别 ---------------------
2017-03-22 15:03:12
602
原创 join操作
数据 ------------ [customers.txt] 1,tom,12 2,tom,13 3,tom,14 4,tom,15 [orders.txt] 1,no001,12.23,1 2,no001,12.23,1 3,no001,12.23,2 4,no001,12.23,2 5,no001,12.23,2 6,no001,12.
2017-03-22 14:58:08
258
原创 HA高可用
1.NFS 网络共享存储设备。 2.QJM Quorum Journal Manager 3.两个名称节点 active //激活 standby //待命 active //激活 deactive //钝化 SPOF ---------------- single point of failure,单点故障。 事务是个特性 ---
2017-03-22 14:52:43
422
原创 自定义机架感知(优化hadoop集群一种方式)
1.自定义实现类 package com.it18zhang.hdfs.rackaware; import org.apache.hadoop.net.DNSToSwitchMapping; import java.util.ArrayList; import java.util.List; /** *机架感知类 */ public class
2017-03-22 14:50:16
847
原创 使用DBWritable完成同mysql交互
1.准备数据库 create database big4 ; use big4 ; create table words(id int primary key auto_increment , name varchar(20) , txt varchar(255)); insert into words(name,txt) values('tomas','hello
2017-03-22 14:47:01
1136
原创 二次排序的实现代码
Key是可以排序的。 需要对value排序。 1.自定义key import org.apache.hadoop.io.WritableComparable; import java.io.DataInput; import java.io.DataOutput; import java.io.IOException; /** * 自定义组合ke
2017-03-22 14:43:29
765
原创 全排序的实现方法
有三种方法： 1.定义1个reduce 2.自定义分区函数. 自行设置分解区间。 3.使用hadoop采样机制。 通过采样器生成分区文件，结合hadoop的TotalOrderPartitioner进行分区划分。 TotalOrderPartitioner //全排序分区类,读取外部生成的分区文件确定区间。 使用时采样代码在最
2017-03-22 14:40:04
426
原创 修改maven使用aliyun镜像
[maven/conf/settings.xml] //配置文件路径 xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/SETTINGS/1.0.0 http://maven.
2017-03-22 14:34:17
441
原创 压缩工具性能测试
1.Windows 源文件大小:82.8k 源文件类型:txt 压缩性能比较 | DeflateCodec GzipCodec BZip2Codec Lz4Codec SnappyCodec |结论 ------------|----------------------------------------------------------
2017-03-22 14:30:03
1320
原创 hdfs的安全模式
$>hdfs dfsadmin -safemode enter //进入 $>hdfs dfsadmin -safemode get //查看 $>hdfs dfsadmin -safemode leave //退出 $>hdfs dfsadmin -safemode wait //等待
2017-03-22 14:23:27
673
原创 JVM调优
-Xms //堆初始值 1/64( -Xmx //堆最大值 1/4 ( -Xmn //年轻代(eden + s0 + s1),-Xmn150M -XX:NewSize //for 1.3/1.4/1.8,设置年轻带大小 //-XX:NewSize=150m //优先级 > NewRatio.
2017-03-22 14:17:19
911
原创 TCP协议建立连接的三次握手
1.A发送syn信号x给B. 2.B接受A的syn信号x,构造一个ack信号(x+1) , 准备自己的syn信号y. 3.B向A发送x + 1 和y信号. 4.A接受B的ack + syn信号，对B的身份进行认证，同时构造 ack(y + 1). 5.A 发送ack(y + 1)发送B 6.B可以认证A的身份。
2017-03-22 14:14:10
492
原创 JDBC
Jdbc介绍 快速入门 Jdbc api详情 Sql注入 PreparedStatement JDBC处理大数据 JDBC批处理 JDBC介绍 dbc是什么? JDBC（Java Data Base Connectivity,java数据库连接) 简单说:就是可以直接通过java语言，去操作数据库。 jdbc是一套标准,它是由一些接口与类组成的。 学习
2017-02-02 20:58:57
398
原创 多表查询
多表设计——外键约束 作用：保证数据的完整性 创建完语句后，可以直接使用修改语句定义 alter table 表名 add foreign key 当前表名 (字段名) references 目标表名 (目标表的主键); 分析： 有一个部门的表，还有一个员工表， create database day16; use day16; create table
2017-01-25 12:00:14
416
原创 字符流
import java.util.Arrays; /* * 计算机是如何识别什么时候该把两个字节转换为一个中文呢? * 在计算机中中文的存储分两个字节： * 第一个字节肯定是负数。 * 第二个字节常见的是负数，可能有正数。但是没影响。 */ public class StringDemo { public static void main(String[] arg
2017-01-14 23:07:27
241
原创 多线程讲解
多线程概述 多线程引入 把备注部分的代码通过画图解释一下调用流程。这个程序只有一个执行流程，所以这样的程序就是单线程程序。 假如一个程序有多条执行流程，那么，该程序就是多线程程序。 接下来我们来看看到底什么是多线程 多线程的和进程的介绍 1:要想了解多线程，必须先了解线程，而要想了解线程，必须先了解进程，因为线程是依赖于进程而存在。 2:什么是进程?
2017-01-14 23:05:02
1459
原创 分割
import java.util.Scanner; /* * 分割功能 * String类的public String[] split(String regex) * 根据给定正则表达式的匹配拆分此字符串。 * * 举例： * 百合网，世纪佳缘,珍爱网,QQ * 搜索好友 * 性别：女 * 范围："18-24" * * age>=18 &&
2017-01-06 22:42:51
299
原创 正则表达式的组成规则
规则字符在java.util.regex Pattern类中 A:字符 x 字符 x。举例：'a'表示字符a \\ 反斜线字符。 \n 新行（换行）符 ('\u000A') \r 回车符 ('\u000D') B:字符类 [abc] a、b 或 c（简单类） [^abc] 任何字符，除了 a、b 或 c（否定） [a-zA-Z] a到 z 或 A到 Z，两头的字母包括在
2017-01-06 22:40:24
314
原创 校验qq号码
import java.util.Scanner; /* * 校验qq号码. * 1:要求必须是5-15位数字 * 2:0不能开头 * * 分析： * A:键盘录入一个QQ号码 * B:写一个功能实现校验 * C:调用功能，输出结果。 */ public class RegexDemo { public static void main(Stri
2017-01-06 22:39:00
1130
原创 Character类概述及其构造方法
Character类概述 Character 类在对象中包装一个基本类型 char 的值 此外，该类提供了几种方法，以确定字符的类别（小写字母，数字，等等），并将字符从大写转换成小写，反之亦然 构造方法 public Character(char value) package cn.it18zhang_01; /* * Character 类在对象中包装一个
2017-01-06 22:34:51
1797
转载 i注释
用于注解说明解释程序的文字就是注释。 提高了代码的阅读性；调试程序的重要方法。 Java中的注释类型： 单行注释 // -- 多行注释 文档注释（java特有） 注释是一个程序员必须要具有的良好编程习惯。 将自己的思想通过注释先整理出来，再用代码去体现 单行注释 格式： //注释文字 多行注释 格式： /* 注释文字 */ 注： 对于单行和多行注释
2017-01-02 20:15:39
433
转载 成员变量和局部变量的区别
在类中的位置不同 成员变量 类中方法外 局部变量 方法内或者方法声明上 在内存中的位置不同 成员变量 堆内存 局部变量 栈内 生命周期不同 成员变量 随着对象的存在而存在，随着对象的消失而消失 局部变量 随着方法的调用而存在，随着方法的调用完毕而消失 初始化值不同 成员变量 有默认的初始化值 局部变量 没有默认的初始化值，必须先定义，赋值，才能使用。
2016-12-29 22:41:08
277
转载 静态变量和成员变量的区别
所属不同 静态变量属于类，所以也称为为类变量 成员变量属于对象，所以也称为实例变量(对象变量) 内存中位置不同 静态变量存储于方法区的静态区 成员变量存储于堆内存 内存出现时间不同 静态变量随着类的加载而加载，随着类的消失而消失 成员变量随着对象的创建而存在，随着对象的消失而消失 调用不同 静态变量可以通过类名调用，也可以
2016-12-29 22:39:36
179
转载 接口特点
接口用关键字interface表示 格式：interface 接口名 {} 类实现接口用implements表示 格式：class 类名 implements 接口名 {} 接口不能实例化 那么，接口如何实例化呢? 按照多态的方式，由具体的子类实例化。其实这也是多态的一种，接口多态。 接口的子类 要么是抽象类 要么重写接口中的所有抽象方
2016-12-29 22:34:40
530
转载 接口成员特点
成员变量 只能是常量 默认修饰符 public static final 构造方法 没有，因为接口主要是扩展功能的，而没有具体存在 成员方法 只能是抽象方法 默认修饰符 public abstract
2016-12-29 22:33:12
274
转载 类与类,类与接口以及接口与接口的关系
类与类 继承关系，只能单继承，但是可以多层继承 类与接口 实现关系，可以单实现，也可以多实现。还可以在继承一个类的同时实现多个接口 接口与接口 继承关系，可以单继承，也可以多继承
2016-12-29 22:32:23
605
转载 抽象类和接口的区别
成员区别 抽象类 变量,常量;有抽象方法;抽象方法,非抽象方法 接口 常量;抽象方法 关系区别 类与类 继承，单继承 类与接口 实现，单实现，多实现 接口与接口 继承，单继承，多继承 设计理念区别 抽象类 被继承体现的是：”is a”的关系。共性功能 接口 被实现体现的是：”like a”的关系。扩展功能
2016-12-29 22:30:59
243
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人