- 博客(212)
- 资源 (9)
- 收藏
- 关注
RSS订阅原创 idea Error running ‘Application‘
找到 .idea/libraies/workspace.xml 中的 PropertiesComponent 属性，添加如下即可。
2024-06-28 15:18:24
435
原创 512、java-求最大子数组
求最大子数组方式一：穷举出所有子数组 public static void main(String[] args) { int[] arr = new int[]{1,2,-4,5,-3,5,3,-9,3}; querySubArr(arr); querySubArrExhaustively(arr); } /** * @description: 穷举的方式，罗列出所有子数组 * @param ${tags}
2022-03-22 16:38:02
1239
原创 十、zookeeper 重点知识
来源：https://mp.weixin.qq.com/s/KyDmcyi6bALQg-W6F-VuUgzookeeper 重点知识1、Zookeeper 的理解1.1集群环境下1.2数据节点 Znode：1.3 会话 Session1.4 事件监听器1.5 ACL 权限的控制，2、zk 有哪些应用场景？2.1命名服务2.3集群管理2.4 Master 选举2.5分布式锁3、Wather 监听机制和它的原理3.1监听原理3.2监听的特征4、zk是如何保证数据一致性的4.1 广播、两阶段提交4.2写入数据流
2021-05-16 19:14:04
613
2
原创 四、kafka消费偏移量
https://blog.youkuaiyun.com/qq_21383435/article/details/1093474291、查看消费组[root@hadoop102 kafka_2.11-0.11.0.2]# bin/kafka-consumer-groups.sh --bootstrap-server hadoop102:9092 --listNote: This will only show information about consumers that use the Java consumer
2021-03-18 17:38:42
984
原创 hadoop 配置snappy压缩
snappy压缩插件：链接：https://pan.baidu.com/s/1z19IIJ_odoY-6ogSN6OfFw 提取码：enny 1、没有snappy时 native下有什么[root@hadoop102 native]# ll总用量 4372-rw-r--r-- 1 root root 1122774 5月 22 2017 libhadoop.a-rw-r--r-- 1 root root 1487268 5月 22 2017 libhadooppipes.alrwxrw
2021-03-15 15:45:53
696
原创 java-生成手机号
public static int getNum(int start,int end) { return (int)(Math.random()*(end-start+1)+start); } /** * 返回手机号码 */ private static String[] telFirst="134,135,136,137,138,139,150,151,152,157,158,159,130,131,132,155,156,133,153".split(",")..
2020-11-18 09:44:52
1763
原创 kfk问题记录
1、kafka连接生产者报错Connection to node -1 could not be established. Broker may not be available.
2020-09-16 17:23:52
2027
原创 三、windows 环境下单机zk与kafka安装
测试运行环境Win 7kafka_2.11-0.11.0.2zookeeper-3.4.10下载地址zk： http://mirror.bit.edu.cn/apache/zookeeper/kfk： http://kafka.apache.org/downloads.html1、zk安装1) 解压文件2）修改dataDir和dataLogDir保存路径dataDir=C:\\dev\\zookeeper-3.4.10\\zkDatadataLogDir=C:\\dev\\zo
2020-09-16 17:23:06
299
原创 AES前后台做加密
使用场景：登录密码在请求后台接口过程中加密传输1、前台vue中前台使用aes：https://www.cnblogs.com/libo0125ok/p/9224121.htmlhtml中使用demo：https://download.youkuaiyun.com/download/qq_35241080/128509132、后台 加解密工具类import java.math.BigInteger;import javax.crypto.Cipher;import javax.crypto.KeyGene
2020-09-16 16:47:23
646
原创 ssm+vue 登录验证码功能
遇到问题前后端分离跨域问题https://blog.youkuaiyun.com/qq_35241080/article/details/108624884验证码生成代码：https://blog.youkuaiyun.com/qq_20610631/article/details/81303592这篇博客中使用的Servlet，改为springmvc访问路径即可前台：页面显示验证码图片容器1、验证码图片容器 <span @click="_change()"> //点击更换图片
2020-09-16 16:31:06
995
原创 vue+ssm前后端分离session跨域问题
1、vue工程前端在vue的main文件全局添加一下代码：import axios from 'axios';axios.defaults.withCredentials=true;也可以借鉴此博客自己编写过滤器https://blog.youkuaiyun.com/weixin_42309402/article/details/1056029262、后台添加cors-filter 配置https://blog.youkuaiyun.com/M100782530qrcord/article/details/7995
2020-09-16 16:30:19
647
原创 Flink1.10 异常记录
1、应用提交控制台异常信息：Could not build the program from JAR file.这个问题的迷惑性较大，很多时候并非指定运行的 JAR 文件问题，而是提交过程中发生了异常，需要根据日志信息进一步排查。最常见原因是未将依赖的 Hadoop JAR 文件加到 CLASSPATH，找不到依赖类（例如：ClassNotFoundException: org.apache.hadoop.yarn.exceptions.YarnException）导致加载客户端入口类（FlinkYarn
2020-08-31 15:52:20
1994
原创 nc在centos7上的安装和简单使用
一、在线安装yum install -y nc二、离线安装rpm1、下载安装包官网：http://rpmfind.net/linux/rpm2html/search.php?query=nc百度云链接：https://pan.baidu.com/s/1rr_2n7-yAbhtLucFhkIf3w提取码：2g252、安装命令[root@hadoop203 ~] rpm -iUv nc-1.84-24.el6.x86_64.rpm [root@hadoop203 ~]# nc -helpus
2020-08-28 10:19:13
9627
1
原创 spark 异常记录
spark启动异常：Caused by: java.net.NoRouteToHostException: No route to host (Host unreachable)Caused by: java.net.NoRouteToHostException: No route to host (Host unreachable) at java.net.PlainSocketImpl.socketConnect(Native Method) at java.net.A
2020-07-27 16:48:01
520
原创 java.lang.ClassCastException: java.math.BigInteger cannot be cast to java.lang.Long
数据库版本与mysql连接驱动问题；我这里是因为数据库是mysql8，用的mysql连接驱动5.xx所以出现此问题，更换为 <dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> <version>8.0.15</version>
2020-07-21 11:01:57
781
原创 关于配置idea中Maven报错Unable to import maven project: See logs for details问题的解决方法
解决：发现是idea 2019版本和maven 3.6.2版本的兼容性问题。在更改为maven 3.3.9版本后问题解决，能成功下载jar包到本地仓库中。https://blog.youkuaiyun.com/qq_42282321/article/details/100886494
2020-07-14 22:31:12
395
原创 704、scala-处理字符串算式，使用栈来实现计算器-自定义优先级[priority]
需求：31+2*(4+15-45+4/2)-1 ，处理此字符串，完成使用栈实现计算功能思路： * 计算式：31+2*(4+1*5-4*5+4/2)-1 * * 处理难点： 1.数字多位 * 2.操作符优先级设置 * 3.括号操作符处理 * * 解决：使用两个栈来存放计算式的操作符与数字 * * 思路：1.因为数字可能是多位字符串，则需要一个变量记录每次数字截取开始坐标 * 2.处理如上计算式为一个字符串，从前到
2020-07-10 15:44:00
337
原创 703、scala单向循环列表解决-Josephu （雅瑟夫）问题
Josephu 问题为： 设编号为 1，2，… n 的 n 个人围坐一圈，约定编号为 k（1<=k<=n）的人从 1 开始报数，数到 m 的那个人出列，它的下一位又从 1 开始报数，数到 m 的那个人又出列，依次类推，直到所有人出列为止，由此产生一个出队编号的序列。提示： 用一个不带头结点的循环链表来处理 Josephu 问题：先构成一个有 n 个结点的单循环链表，然后由 k 结点起从 1 开始计数，计到 m 时，对应结点从链表中删除，然后再从被删除结点的下一个结点又从 1 开始
2020-07-06 13:02:42
213
原创 103、scala-链表之单向双向
一、什么是链表链表是有序的列表，但是它在内存中是存储如下：总结：链表是一个有序列表链表的数据，在内存空间不一定是连续分布的链表又分单向、双向或者循环区别：1、单向链表2、双向链表3、循环链表(单向循环，双向循环)如下图使用场景及优缺点：单向链表：1、单向链表需要实现队列，建设头结点是尾部，入队速度快，但是每次出队需要遍历到最后一个节点2、实现栈则比较完美3、链表移除数据需要临时节点来记录待删除节点的前一个节点双向链表：1、头尾节点都有并且是双向，则实现队列不用遍
2020-07-06 12:52:25
302
原创 102、scala-数组实现队列
一、队列实现的方式数组存储队列方式：1、指定队列大小不重复使用，相当于一次性使用2、每次出队一个元素，数组整体向前移动一步；入队根据坐标，快，出队需要迁移，慢3、循环队列，空间多次复用，使用队列时不能将队列填满，需要空出一个位置（推荐）链表实现队列： 链表实现队列，出队快，入队慢1、单向队列：移除节点需要临时节点2、双向队列：移除节点不需要临时节点3、循环对了：特殊场景使用，如约瑟夫问题：数数退二、数组与链表实现区别数组优点：数组实现方式数据入队快，因为根据索引数组缺点：数据扩容时的数
2020-07-01 23:41:58
324
原创 002、scala跳出嵌套循环
def main(args: Array[String]): Unit = { val out = new Breaks val inner = new Breaks out.breakable { for (i <- 1 to 10) { inner.breakable { for (j <- 1 to 10) { if(j == 4) { inner.break()
2020-07-01 20:27:35
364
原创 702、scala-五子棋游戏，控制台输入棋子坐标
启动main函数控制台输入棋子坐标-----------------欢迎进入五子棋界面----------------- 1 双人对战 5 退 出请选择(1-5)：1----------欢迎进入棋盘页面----------0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
2020-07-01 20:12:29
515
原创 701、scala-五子棋算法简单实现
如上图是一个五子棋游戏图。输赢计算算法： 方式一：没落下一枚棋子从首行首列开始遍历每个棋子，如发现棋手赢棋则结束游戏。 方式二：每落下一枚棋子，从此棋子开始判断其，纵-横-左斜-右斜 四个大方向计算棋手输赢两种方式区别： 方式一：因为是遍历所有棋子.
2020-07-01 20:03:02
404
原创 101、scala-稀疏数组介绍
什么是稀疏数组当一个数组中的数据大部分都是默认数据，此时数组数据需要存盘的情况下，大量默认数据也会占用存储空间。稀疏数组正是用于解决此类问题，稀疏数组只存在数据在原始数组中的位置及值，在存盘时只报存稀疏数组中的数据即可；当读取文件时根据稀疏数组来还原 原始数组。作用：减少存储空间，起到类似数据压缩的作用。下面就来使用一个简单案例介绍一下稀疏数组的使用问题引出：下面介绍一个游戏-五子棋，大家都知道棋盘是一个纵横交错的线划分而成的，其实转变一下就变成了编程中的二维数组，每个点都是数组中的一个坐标，下就
2020-07-01 17:03:33
270
原创 003、scala写入读取本地文件操作
def write(fileName: String)(datas: Array[String]): Unit = { val writer = new PrintWriter(new File(fileName)) println("--------数据写入--------") for (s <- datas) {// println(s) writer.write(s + "\n") } writer.close() }..
2020-07-01 16:30:53
1361
原创 510、java-改变一个给定的二维数组（3x3）转置
改变一个给定的二维数组（3x3）转置，如下效果代码实现//java 实现public static void main(String[] args) { //初始化数据 int[][] ar = new int[3][3]; ar[0][0]=1; ar[0][1]=2; ar[0][2]=3; ar[1][0]=4; ar[1][1]=5; ar[1][2]=6; ar[2][0]=7; ar[2][1]=8;
2020-06-18 15:53:18
410
原创 二、Hbase客户端shell操作
HBase Shell操作一、基本操作1、进入HBase客户端命令行[root@hadoop102 hbase]$ bin/hbase shell2、查看帮助命令hbase(main):001:0> help3、查看当前数据库中有哪些表hbase(main):002:0> list二、表的相关操作1．创建表getgethbase(main):002:0> create 'student','info'2．插入数据到表hbase(main):003:0>
2020-06-03 22:15:05
344
原创 一、HBase集群安装
一、环境介绍hbase数据存储在hadoop所以需要在hadoop集群上运行，同时需要zookeeper选举mater，存放元数据以及监控HRegionServer节点，所以安装hbase前需要先安装hadoop与zkhadoop集群搭建：https://blog.youkuaiyun.com/qq_35241080/article/details/105850607zk集群搭建：https://blog.youkuaiyun.com/qq_35241080/article/details/105988912这里搭建三台h
2020-06-03 21:53:56
438
原创 一、sqoop从mysql导入导出数据到hdfs、hive、hbase
一、sqoop介绍Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。sqoop原理将导入或导出命令翻译成mapreduce程序来实现。在翻译出的mapreduce中主要是对inputformat和outputformat进行定制。sqoop安装1、下
2020-06-02 20:58:35
758
原创 二、Kafka命令行操作
一、基本shell操作1）查看当前服务器中的所有topic[root@hadoop102 kafka]$ bin/kafka-topics.sh --zookeeper hadoop102:2181 --list2）创建topic[root@hadoop102 kafka]$ bin/kafka-topics.sh --zookeeper hadoop102:2181 \--create --replication-factor 3 --partitions 1 --topic first选
2020-06-02 16:00:57
304
原创 一、kafka集群搭建
1、集群配置102103104zkzkzkkfkkfkkfk2、下载地址http://kafka.apache.org/downloads.html3、集群部署1）解压安装包[root@hadoop102 software]$ tar -zxvf kafka_2.11-0.11.0.0.tgz -C /opt/module/2）修改解压后的文件名称[root@hadoop102 module]$ mv kafka_2.11-0.11.0.0/ kaf
2020-06-02 15:55:45
182
原创 十六、hive sql求连续三天购买指定需求
在实际开发中经常会有一些求连续类型指标，如系统连续几天登录、商城连续几天下单客户，等等关于连续时间类型的指标问题需求：下面会做一个求连续三天下单的客户1、测试数据001 zs p001 2020-02-04002 zs p005 2020-03-05003 zs p006 2020-03-06004 zs p002 2020-03-07005 zs p001 2020-03-19006 ls p002 2020-03-04007 ls p001 2020-03-05008 ww p002
2020-05-27 21:22:47
1504
2
原创 十五、hive-自定义udf、udtf函数
一、系统内置函数查看1．查看系统自带的函数hive> show functions;2．显示自带的函数的用法hive> desc function upper;3．详细显示自带的函数的用法hive> desc function extended upper;二、自定义函数介绍1、Hive 自带了一些函数，比如：max/min等，但是数量有限，自己可以通过自定义UDF来方便的扩展。2、当Hive提供的内置函数无法满足你的业务处理需要时，此时就可以考虑使用用户自定义函数（U
2020-05-27 17:56:24
848
原创 十四、getjson、split、substring等函数使用
1、substringhive (default)> select substring('abcde',1);OK_c0abcdeTime taken: 1.661 seconds, Fetched: 1 row(s)hive (default)> select substring('abcde',1,5);OK_c0abcdeTime taken: 0.101 seconds, Fetched: 1 row(s)hive (default)> select su
2020-05-27 12:43:57
528
原创 十三、Hive中日期操作总结
1、获取当前时间hive (default)> select current_date;2020-05-26hive (default)> select current_timestamp ;2020-05-26 16:03:09.0122、date_format函数-日期格式化hive (default)> select current_date,date_format(current_date,'yyyy/MM');2020-05-26 2020/053
2020-05-26 16:23:41
208
原创 十二、over开窗行数，rank排序函数介绍
一、函数介绍1、OVER()：指定分析函数工作的数据窗口大小，这个数据窗口大小可能会随着行的变而变化，例如分区排序；over函数相关参数：partition by：分区，窗口大小为分区order by：一般与分区相结合使用，窗口大小为排序后的数据起点到当前行CURRENT ROW：当前行n PRECEDING：往前n行数据n FOLLOWING：往后n行数据UNBOUNDED：起点，UNBOUNDED PRECEDING 表示从前面的起点， UNBOUNDED FOLLOWING表示到后面
2020-05-26 15:35:38
956
原创 十一、行转列、列转行函数
一、行转列1、相关行数CONCAT(string A/col, string B/col…)：返回输入字符串连接后的结果，支持任意个输入字符串;CONCAT_WS(separator, str1, str2,…)：它是一个特殊形式的 CONCAT()。第一个参数剩余参数间的分隔符。分隔符可以是与剩余参数一样的字符串。如果分隔符是 NULL，返回值也将为 NULL。这个函数会跳过分隔符参数后的任何 NULL 和空字符串。分隔符将被加到被连接的字符串之间;COLLECT_SET(col)：函数只接受基本
2020-05-26 11:18:25
5206
原创 十、hive异常记录
1、TezSession has already shutdownCaused by: org.apache.tez.dag.api.SessionNotRunning: TezSession has already shutdown. Application application_1546781144082_0005 failed 2 times due to AM Container for appattempt_1546781144082_0005_000002 exited with exit
2020-05-26 10:11:41
2358
原创 九、Hive--Tez安装
28 rows selected (33.484 seconds)0: jdbc:hive2://hadoop202:10000> select * from emp order by sal desc;Time taken: 15.572 seconds, Fetched: 28 row(s)Caused by: java.lang.ClassNotFoundException: org.apache.tez.dag.api.SessionNotRunningCaused by:
2020-05-26 10:04:42
295
原创 Hadoop之LZO压缩配置
一、下载地址1、先下载lzo的jar项目https://github.com/twitter/hadoop-lzo/archive/master.zip2、下载后的文件名是hadoop-lzo-master，它是一个zip格式的压缩包，先进行解压，然后用maven编译。生成hadoop-lzo-0.4.20.jar。二、配置lzo1、将编译好后的hadoop-lzo-0.4.20.jar放入hadoop-2.7.2/share/hadoop/common/[root@hadoop102 com
2020-05-26 09:46:45
637
mysql5.6.34rpm安装包64位
2019-05-23
json-lib-2.3-jdk13.jar与相关5个jar包
2019-01-03
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人