- 博客(18)
- 资源 (20)
- 收藏
- 关注
RSS订阅转载 【Java】SimpleDateFormat时间格式化存在线程安全问题
https://blog.youkuaiyun.com/kisscatforever/article/details/89147979
2019-08-19 16:16:20
241
原创 mvn命令package和install的区别？？？？
package是把jar打到本项目的target下，而install时把target下的jar安装到本地仓库，供其他项目使用。 当其他项目需要依靠该项目编译是，使用install。
2019-02-19 09:41:20
2999
转载 图解SQL的inner join、left join、right join、full outer join、union、union all的区别
对于SQL的Join，在学习起来可能是比较乱的。我们知道，SQL的Join语法有很多inner的，有outer的，有left的，有时候，对于Select出来的结果集是什么样子有点不是很清楚。Coding Horror上有一篇文章,通过文氏图 Venn diagrams 解释了SQL的Join。我觉得清楚易懂，转过来。假设我们有两张表。Table A 是左边的表。Table B 是右边的表。其各...
2019-02-18 14:53:03
218
原创 IEDA运行项目关于log4j问题log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.li)。。
最近从eclipse转到IDEA编写代码，运行项目出现log4j警告，总结就是缺少log4j配置文件。下载下面文件并将其copy到src的main目录下，如图链接：https://pan.baidu.com/s/1dIb55YduxD1nzllx60GIqg 提取码：nqx6 copy完后，还需要在代码main函数中 添加如下一行代码（注意eclipse中不需要添加下面...
2018-11-17 17:31:19
5684
3
原创 maven出现No plugin found for prefix 'help' in the current project and in the plugin groups [org.ap...
控制台输入 mvn help:system 下载相应包时 出现如下问题：No plugin found for prefix 'help' in the current project and in the plugin groups [org.apache.maven.plugins, org.codehaus.mojo] available from the repositories...
2018-09-15 22:28:34
9802
7
原创 yarn开启日志聚集服务
问题描述：如果在查看日志信息出现如下问题：即日志聚集是不可用的情况时，说明我们没有正确配置日志聚集服务。只需要参照下面的步骤配置启动日志聚集服务即可。1、 日志聚集介绍MapReduce 是在各个机器上运行的， 在运行过程中产生的日志存在于各个机器上，为了能够统一查看各个机器的运行日志，将日志集中存放在 HDFS 上， 这个过程就是日志聚集。2、 开启日志聚集可以关闭集群，也可...
2018-09-14 11:34:00
3335
原创 hive显示当前使用的数据库，并打印表头等相关信息
进入hive会话界面操作的时候，有时会遇到如下问题： 1.不知道当前使用的数据库名称 2.打印信息时不清楚对应字段的相关信息解决方法如下：1.进入hive安装目录的bin目录下，创建如下 .hiverc 隐藏文件。2.编辑 .hiverc文件，输入如下命令：重新启动 hive会话界面即可显示使用数据库名称 ，打...
2018-09-12 09:01:29
1810
原创 使用Sqoop实现HIve分析结果数据入mysql库
1.将hive作业中的结果，使用sqoop 导入mysql数据库。 创建stock表并导入数据 创建stock_result表来存放stock的查询结果 自定义jar包并创建相应的函数（这一步走可以省略，可以使用hive自带的函数） 将查询结果导入stoc...
2018-09-11 19:14:45
1175
原创 sqoop连接mysql出现com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failure
ERROR manager.CatalogQueryManager: Failed to list databasescom.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failureThe last packet sent successfully to the server was 0...
2018-09-11 17:34:25
7007
转载 Hive和HBase有哪些区别与联系及适用场景？？？
首先还要从两者的概念入手。Hive是运行在Hadoop上的一个工具，准确地讲是一个搜索工具。当对海量数据进行搜索时，Hadoop的计算引擎是MapReduce。但是对MapReduce的操作和编程是非常复杂的。于是Hive的存在就让复杂的编程过程简化成了用SQL语言对海量数据的操作。这大大减轻了程序员的工作量。可以说，Hive的存在让海量数据的增删改查更加方便。其实从Hive的logo就可以看出H...
2018-09-09 15:38:56
631
原创 CentOS虚拟机的克隆
虚拟机的克隆：（1）在你要选择克隆的虚拟机上“右键”——>“管理”——>“克隆”,如下图（2）在弹出的对话框中点击“下一步”,如下图：（3）选择“虚拟机中的当前状态”，然后点击“下一步”，注意：首先要把你要克隆的这台虚拟机切换到你要克隆的那个状态，可能之前你做过很多的快照，每个快照的状态是不一样的。（4）选择“创建完整克隆”，然后点击“下一步”。（5...
2018-09-01 15:08:57
1037
原创 MapReduce自定义输入格式 完成统计任务并输出多个文件
/*通过五大视频网站数据，分析统计节目受欢迎度注意：1-5数字和5大视频的关系：1优酷2搜狐3土豆4爱奇艺5迅雷看看*/ 第一步：定义一个电视剧热度数据的tvPlayWritable.java。package com.hadoop.MapReduce;import java.io.DataInput;import java.io.DataOutput;import...
2018-08-27 20:23:58
479
转载 正则表达式表
元字符 描述 \ 将下一个字符标记符、或一个向后引用、或一个八进制转义符。例如，“\\n”匹配\n。“\n”匹配换行符。序列“\\”匹配“\”而“\(”则匹配“(”。即相当于多种编程语言中都有的“转义字符”的概念。 ^ 匹配输入字行首。如果设置了RegExp对象的Multiline属性...
2018-08-25 10:43:28
494
原创 HDFS 文件合并及上传至服务器
/* * 合并多个小文件，并传至服务器 为什么要合并？ 从存储角度：小文件占用太多NameNode元数据信息资源，NN资源利用率不高效；合并后占用NN的内存小了，NN就有更多的内存去管理更大规模的集群 从计算资源的角度：一个小文件占用一个block，一个block被一个map处理，计算资源消耗太多。合并后多个小文件占用一个block，占用的map资源少，减...
2018-08-25 10:39:27
1326
原创 HDFS 使用文件模式，实现多文件上传至HDFS
/** * 我们利用通配符和PathFilter 对象，将本地多种格式的文件上传至 HDFS文件系统，并过滤掉 txt文本格式以外的文件。 */import java.io.IOException;importjava.net.URI;importjava.net.URISyntaxException;import org.apache.hadoop.conf.Config...
2018-08-25 10:37:20
1236
原创 HDFS相关java API的操作
import java.io.IOException;import java.net.URI;import java.net.URISyntaxException; import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.BlockLocation;import org.apache.h...
2018-08-25 10:35:53
223
原创 Pots-简单的BFS问题
描述You are given two pots, having the volume of A and B liters respectively. The following operations can be performed:FILL(i) fill the pot i (1 ≤ i ≤ 2) from the tap;DROP(i) empty the pot ...
2018-06-03 16:06:47
247
原创 简单迷宫问题的求解-BFS
描述定义一个二维数组：int maze[5][5] = { 0, 1, 0, 0, 0, 0, 1, 0, 1, 0, 0, 0, 0, 0, 0, ...
2018-06-02 16:47:08
595
圣诞快乐树-程序员的浪漫，windows电脑可直接执行哦~
2023-12-21
flink学习视频.txt
2019-12-16
用mockplus制作的一款趣味app-乐趣
2018-06-25
wex5设计的一款娱乐app，mockplus为模板
2018-06-25
用wex5做一款智能家居app
2018-06-25
Qt编写的Leds以及蜂鸣器奏乐
2018-05-31
linux应用程序开发-C语言基础学习
2018-05-21
安卓联系人app
2018-01-09
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人