在路上的博客

原创 DSL场景题

1.1.2 开窗 开窗的意义数 据 ： userid,month,visits A,2015-01,5A,2015-01,15B,2015-01,5A,2015-01,8B,2015-01,25A,2015-01,5A,2015-02,4A,2015-02,6B,2015-02,10B,2015-02,5A,2015-03,16A,2015-03,22B,2015-03,...

原创 工作小知识

WPS插入的图片总是显示不全可以清楚段落布局 来解决

原创 经典50题 26~50题答案

25、查询各科成绩前三名的记录三个语句select s.* from (select s_id,coure_id,score,rank()over(partition by coure_id order by score desc) a,row_number()over(partition by coure_id order by score desc) b,dense_rank()ov...

原创 IDEA快捷键 使用小知识

常用快捷键Ctrl+Alt+L，格式化代码Ctrl+R，替换文本Ctrl+F，查找文本Ctrl+Shift+Space，自动补全代码Ctrl+空格，代码提示（与系统输入法快捷键冲突）Tab，代码标签输入完成后，按 Tab，生成代码Ctrl+X，删除行Ctrl+D，复制行Ctrl+/或Ctrl+Shift+/，注释（//或者/**/）Ctrl+J，自动代码（例如：serr）Al...

原创 Flume的关闭，重启，开启的脚本

#!/bin/bash#使用方法:#./execflume.sh start flume_cmbc.conf(配置文件，自己修改) Cobub（代理名称，自己修改）#./execflume.sh stop#./execflume.sh restart flume_cmbc.conf(配置文件，自己修改) Cobub（代理名称，自己修改）path=$(cd dirname $0; pwd)...

原创 HIVE ERROR总结

第一 Caused by: java.lang.OutOfMemoryError: Java heap spaceDiagnostic Messages for this Task:Error: java.io.IOException: java.lang.reflect.InvocationTargetExceptionat org.apache.hadoop.hive.io.HiveIO...

原创 Eclipse&MyEClipse软件使用小知识

在线安装插件help --> install new software切换控制台反编译jar包引用jar包引用jar包 就是不用把jar包全部复制进来了 比导入jar包方便 直接build导入jar包导出jar包如果选next可以设置这个maven自动下载源码第一种需要自己设置第二种自己下载源码12 自己下载 http://marketp...

原创 HIVE场景题之交差并集

1.4.1使用hive求出两个数据集的差集数据t1表： id name1zs2lst2表： id name1 zs3 ww结果如下：id name2 ls3 wwcreate table diff_t1( id string,name string)row format delimited fields terminated by ’ ’;load data lo...

原创 HIVE场景题之时间函数五

1.3时间函数1.3.1常见的时间函数from_unixtime(bigint unixtime,[string format]): 时 间 戳 转 日 期 函 数 ， unix_timestamp([string date]): 转换成时间戳，然后转换格式为“yyyy-MM-dd HH:mm:ss“的日期到UNIX时间戳。如果转化失败，则返回0，返回bigint类型to_date(stri...

原创 HIVE场景题之合并切割四

1.2.3 切分字符串编写sql实现如下：uid tags1 1,2,32 2,33 1,2编写sql实现如下结果：uid tag1 11 21 32 22 33 13 2create table t1( uid int,tags string)row format delimited fields terminated by ‘\t’;load data ...

原创 HIVE场景题之窗口函数三

1.1.12使用hive的hql实现男女各自第一名及其它create table score_s( id int,sex int, chinese_s int, math_s int)row format delimited fields terminated by ‘\t’;load data local inpath ‘/hivedata/score_s.txt’ overwri...

原创 HIVE场景题之窗口函数二

1.1.5你知道的排名函数有哪些？说一说它们之间的区别？排名函数：row_number() over() : 排名函数，没有并列名次，名次连续，如:1,2,3. 适合于生成主键或者不并列排名,rank() over() : 排名函数，有并列名次，名次不连续。如:1,1,3. dense_rank() over() : 排名函数，有并列名次，名次连续。如：1,1,2.区别：1、(共同点)三...

原创 HIVE场景题之窗口函数一

1.1hive窗口函数1.1.1了解哪些窗口函数，都是什么功能？找一个在某个业务中的应用？sum(col) over() : 分组对col累计求和，over() 中的语法如下count(col) over() : 分组对col累计，over() 中的语法如下min(col) over() : 分组对col求最小max(col) over() : 分组求col的最大值avg(col) ove...

原创 HADOOP异常报错总结

在core-site.xml中增加属性：<property> <name>ipc.client.connect.max.retries</name> <value>100</value></property><property> <name>ipc.client.conne...

原创 从sqoop到hive没报错 但是找不到表

导入语句sqoop import–connect jdbc:mysql://zjy:3306/company–username root–password zjy123zjy --table staff1–split-by id–hive-import–create-hive-table–hive-table staff_hive;然后出现下面的场景没报错 以为成功了 就去...

原创 MySQL远程登录权限问题以及字符集设置

Linux mysql字符集配置查看字符集show variables like ‘%char%’让mysql默认支持utf8find / -name my.cnf 添加[mysql]default-character-set=utf8[mysqld]character-set-server=utf8权限物理机ip 192.168.43.101 给物理机放开权限 才能连接l...

原创 MySQL HIVE经典50题 21~25题

– 21、查询不同老师所教不同课程平均分从高到低显示13个jobselect distinct * from(select t.tid,sc.cid,avg(sc.score)over(partition by t.tid,sc.cid) avgfrom teacher t,course c,scwhere t.tid=c.tid and c.cid=sc.cid order by a...

原创 oozie的web配置

oozie的概念：hadoop的工作流系统。三类job：workflow —> coodr —> bundle可以整合的作业：hive、shell、java、mr、spark、pig等。workflow最少需要两个文件：workflow.xml 、 job.propertiesworkflow是所有的action构成的一个有向无环图(DAG)。一个wf中需要一个start、e...

原创 MySQL HIVE经典50题11~15题

初步考虑优化 优化job的数量 数量越少越好– 11、查询没有学全所有课程的同学的信息1子查询 6个jobselect s.* fromstudent s,(select sid from(select count(cid) cid from course)b1,(select count(cid) cid,sid from sc group by sid)b2where b...

原创 hive的查询语法 和执行顺序

原创 Mysql 场景题一 完整版

题目一小美是一所中学的信息科技老师，她有一张 seat 座位表，平时用来储存学生名字和与他们相对应的座位 id。其中纵列的 id 是连续递增的小美想改变相邻俩学生的座位。你能不能帮她写一个 SQL query 来输出小美想要的结果呢？示例：±--------±--------+| id | student |±--------±--------+| 1 | Abbot || 2...

原创 MySQL HIVE经典50题 完整版 标准答案

数据准备01 赵雷 1990-01-01 男02 钱电 1990-12-21 男03 孙风 1990-05-20 男04 李云 1990-08-06 男05 周梅 1991-12-01 女06 吴兰 1992-03-01 女07 郑竹 1989-07-01 女08 王菊 1990-01-20 女01 语文 0202 数学 0103 英语 0301 张三02 李四03 王...

原创 数据库 数据仓库 大数据

数据库数据库是用来存储数据的东西，通常表现为一种软件系统，面向事务，以处理日常工作为主要目的。数据仓库数据仓库的基础是数据库，面向分析，面向主题。可以这样理解，在处理日常工作时用数据 库获取的（或者说临时存储在数据库中的）数据都是杂乱无章的，不利于分析，不利于挖掘 的，那么就需要对其进行处理，比如去燥、归类等，处理完了之后我们就把他转移到（定期） 另外一个专门存储这类“好的”数据的地方，我...

原创 Mysql HIVE场景题 3~4题

题目三表 point_2d 保存了所有点（多于 2 个点）的坐标 (x,y) ，这些点在平面上两两不重合。写一个查询语句找到两点之间的最近距离，保留 2 位小数。xy-1-100-1-2最近距离在点 (-1,-1) 和(-1,2) 之间，距离为 1.00 。所以输出应该为：shortest1.00注意：任意点之间的最远距离...

原创 MySQL HIVE经典50题 6~10题

– 6、查询"李"姓老师的数量select count(1) from teacher where tname like ‘李%’;#还需要去重select count(distinct(tname)) from teacher where tname like ‘李%’;– 7、查询学过"张三"老师授课的同学的信息1select s.* from student s join(s...

原创 linux nginx监控

nginx安装保证虚拟机能上网：1、root用户登录2、查看nginx安装信息：yum info nginx3、如果找不到nginx信息，则执行如下：rpm -ivh http://nginx.org/packages/centos/6/noarch/RPMS/nginx-release-centos-6-0.el6.ngx.noarch.rpm4、再查看nginx的安装信息5、有咯...

原创 Mysql HIVE场景题 1~2题

1小美是一所中学的信息科技老师，她有一张 seat 座位表，平时用来储存学生名字和与他们相对应的座位 id。其中纵列的 id 是连续递增的小美想改变相邻俩学生的座位。你能不能帮她写一个 SQL query 来输出小美想要的结果呢？示例：±--------±--------+| id | student |±--------±--------+1 Doris2 Abbot3 G...

原创 MySQL HIVE经典50题 1~5题

准备我使用hive建的表 之后也是在hive上的查询create table student(sid string,sname string,birth string,sex string)row format delimited fields terminated by ‘ ’;load data local inpath ‘/opt/datalx/hivedata/fifty...

原创 linux网络配置 联网

查ip在cmd中 敲ipconfig以太网 就是物理机（Windows）的ip以太网2 就是hostonly的ip以太网3 就是nat的iplinux中也可以查看三种模式的配置配置静态ip地址1.NAT模式下配置静态IP就是配置NAT网卡的ip 网关 DNS1首先确定VMnet8网卡的信息及其连接方式NAT在物理机上cmd 输入ipconfig在VMware的编辑–...

原创 xshell SecureCRT MobaXterm三款软件使用感受

MobaXterm1 这个软件有个非常棒的功能：可以同时控制所有窗口 执行同一个命令然后直接输入 jps 按回车 窗口会同时执行jps如果不想哪个窗口执行 可以打上对勾(Disable this terminal from “MultExec” mode) 这个窗口会脱离控制2 可以直接与Windows进行上传和下载3 还有小游戏等等还有很多功能 目前我知道的只有这些...

原创 java 网络通信笔记

网络通信/* * 网络通信:三大要素:IP,端口号,协议 * 1.IP:可以在网络中唯一的标记一台主机 127.0.0.1(本地地址/本机地址/保留地址) java中将IP面向对象了--InetAddress * 2.端口:用来区分一台主机上的多个服务器(不可以重复) 取值范围:(0,65535) 注意点:在通信时两边的端口号要一致 * 3.网络协议:相...

原创 java NIO笔记

NIO/**从JDK1.4开始,Java提供了一些改进输入/输出处理的新功能,这些新功能被统称为新IO(New IO 简称NIO),新增了许多用于处理输入/输出的类,这些类都被放在java.nio包以及子包下,并对原java.io中的很多类都以NIO为基础进行改写,新增了满足NIO的功能Java NIO 由以下几个核心部分组成Channels：通道 Buffer：缓冲区 ...

原创 java测试

测试软件测试: 这是软件生命周期中的一部分.—>好的软件都不是开发出来的,都是测试出来的.黑盒测试： 软件测试工程师. 黑盒测试也称功能测试，它是通过测试来检测每个功能是否都能正常使用。 在测试中，把程序看作一个不能打开的黑盒子，在完全不考虑程序内部结构和内部特性的情况下，在程序接口进行测试，它只检查程序功能是否按照需求规格说明书的规定正常使用，程序是否能适当地接收输入数据而产生正确的输...

原创 java注解

注解Java5开始 Java支持对元数据的支持, 就是是Annotation(注解)元数据: metadata描述数据的数据 注解:标签 Annotation 所有的Annotation都是java.Lang.annotation.Annotation接口的子接口 所有Annotation是一种特殊的接口回顾注解: @Override -->重写 @Deprecated --> ...

原创 java习题4 反射

/*实例:人使用电脑使用鼠标使用键盘*/public class Demo {public static void main(String[] args) throws IOException, ClassNotFoundException, InstantiationException, IllegalAccessException {NoteBook noteBook = ...

原创 java习题3 合并和切割文件

合并文件public class Demo18 {/** 序列流:把多个输入流的内容一次性的打印(操作)—字节流*/public static void main(String[] args) throws IOException {//创建三个输入流FileInputStream fileInputStream1 = new FileInputStream(“src\com\qf\...

原创 java习题2 贪吃蛇

i jj UP -1 001234567890123456789012345678901 DOWN 1 0i 0-------------------------------- LEFT 0-11| O ...

原创 java习题1 验证码

用set实现public static void main(String[] args) {HashSet list=new HashSet();HashSet list1=suiJi(list);sop(list1);}public static HashSet suiJi(HashSet al) {Random rd=new Random();int m=0;String n...

原创 MySQL函数大全及用法示例

MySQL函数大全及用法示例1、字符串函数ascii(str)返回字符串str的第一个字符的ascii值(str是空串时返回0)mysql> select ascii(‘2’);　　-> 50mysql> select ascii(2);　　-> 50mysql> select ascii(‘dete’);　　-> 100ord(str)如...

原创 Hbase协调处理器二

Hbase协调处理器<二>设计一个表ns1:student1，f1:name f1:age f2:info使用协处理器BaseRegionObServer.当有数据 name:jack插入时， 向f2:info插入 'welcome to back’字样public class Observer extends BaseRegionObserver{//第一种/...