- 博客(18)
- 收藏
- 关注
RSS订阅
原创 Unable to open debugger port (127.0.0.1:60128)（Java Web项目编译时端口被占用）
**解决方案：**1、打开Tomcat换一个空闲端口。2、 删除Tomcat服务器，重新加载一个。（edit Configutations）。3、运行 开始-cmd-netsh winsock reset-回车-解决纠结了一天的问题 一句话解决了 后来搜了下 这个Windows 命令winsock是Windows网络编程接口，winsock工作在应用层，它提供与底层传输协议无关的高层数...
2020-02-21 21:07:51
1018
原创 用Shell取IP地址
注意用cut 取IP地址时候可能会出现为空想象，那么我就需要对前面为空的字符取空awk '$1=$1’操作，然后利用cut再一次切分得到结果。三、用sort 命令来对数据进行排序**-k:是对切分后第几个字符做排序。**一、用 awk 命令来实现。二、用 cut 命令来实现**-r:是对文本排序做反转即倒序。-k : 是字符串间隔符。-n: 是用数字排序。
2022-11-23 15:26:25
1549
1
原创 Error: Error compiling the sbt component ‘compiler-interface-2.11.8-55.0‘ sbt.internal.inc.CompileFa
spark编译报错 Error: Error compiling the sbt component 'compiler-interface-2.11.8-55.0'
2022-08-29 20:31:15
786
原创 Hive调优
1、使用explain 和 explain extended对sql语句进行执行逻辑进行查看，为后续优化做思路支持。2、join3、 limit的优化4、本地模式：5、并行执行：6、 mapper和reducer的个数：7、配置jvm重用：8、数据倾斜：9、索引是一种hive的优化10、 分区本身就是hive的一种优化11、job的数量：...
2022-07-06 22:41:28
247
原创 【无标题】
**hive配置压缩的方式1. 开启map端的压缩方式:1.1）开启hive中间传输数据压缩功能 hive (default)>set hive.exec.compress.intermediate=true;1.2）开启mapreduce中map输出压缩功能 hive (default)>set mapreduce.map.output.compress=true;1.3）设置mapreduce中map输出数据的压缩方式 hive (default)>set mapred
2022-05-19 14:23:27
119
原创 windos中mysql数据导入ES中报错Exception: LogStash::PluginLoadingError
在这里插入代码片```Error: unable to load D:\work\elasticsearch-7.13.1-windows-x86_64\elasticsearch-7.13.2\logstash-7.13.1-windows-x86_64\logstash-7.13.1\bin\mysql-connector-java-8.0.25\mysql-connector-java-8.0.20.jar from :jdbc_driver_library, file not readable (
2021-06-29 10:58:44
1020
原创 Spark有几种部署方式？请分别简要论述！！！
这Spark有几种部署方式？请分别简要论述！！！里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑
2021-03-10 21:09:38
586
原创 大数据学习中的---------搭建全分布式集群
一、搭建全分布式集群首先规划集群的节点数在服务器上面的分配比如我们可以规划为：(1) hadoop0001 4G namenode resourcemanager (2) datanode nodemanager(3) hadoop0002 1G datanode nodemanager secondarynamenodehadoop0003 1G datanode...
2020-02-28 22:14:45
237
原创 大数据学习中在虚拟机中的----------hadoop单例安装
1、下载H加粗样式adoop先对应的版本号（我这里用到的是hadoop -2.7.1.tar.gz）2、上传Hadoop文件并解压文件。tar -zxvf hadoop-2.7.1.tar.gz -C /opt/apps3、解压到相对应的文件夹下面，我们可以看到hadoop的root权限是一组数字，此时我们要添加组用户的权限。chown -R root:root hadoop-2.7.1...
2020-02-27 22:37:23
318
原创 Shell编程的学习以及基本命令学习
2.1.32 shell介绍Shell是命令解释器(command interpreter)，是Unix操作系统的用户接口，程序从用户接口得到输入信息，shell将用户程序及其输入翻译成操作系统内核（kernel）能够识别的指令，并且操作系统内核执行完将返回的输出通过shell再呈现给用户，下图所示用户、shell和操作系统的关系：[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来...
2020-02-26 20:09:08
567
原创 对于rpm,yum,克隆，scp命令的使用以及对于免密登陆的解读
2.1.22 软件安装介绍学软件开发，各种台的软件熟练安装是必须要熟练掌握。大家都知道，Windows下安装软件时，只需用鼠标双击软件的安装程序，或者用Zip等解压缩软件解压缩即可安装；在android或者apple中安装软件时，只需要在手机应用商店点击安装即可。而在Linux下安装软件难度高于Windows、Android、ios和windows phone下软件安装。下面我就详细讲解Linu...
2020-02-26 20:06:36
693
原创 Linux---------安装以及基本语法知识
Linux简介2.1.1.1 UNIX与Linux发展史Unix在1969年，美国贝尔实验室的肯汤普森在DEC PDP-7机器上开发出了UNIX系统。Linux出现于1991年，是由芬兰赫尔辛基大学学生李纳斯·托瓦兹（Linus Torvalds）和后来加入的众多爱好者共同开发完成 。2.1.1.2 Linux介绍Linux是一种自由和开放源码的操作系统，存在着许多不同的Linux发行版...
2020-02-26 20:03:10
1618
原创 java ----流程控制语句
在这里插入代码片2、流程控制2.1、什么是流程控制2.1.1、程序的执行结构顺序结构：代码从上往下，依次执行。是程序执行的基本结构。分支结构：程序运行到某一个节点，出现了多种继续执行的可能性。通过指定的条件，来决定程序往哪一个方向执行。循环结构某一段代码需要被重复执行多次。[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img...
2020-02-26 19:59:40
327
原创 java语法基础
1、Java语法基础1.1、Java简介1.1.1、编程简介其实所谓编程，就是操作计算机来实现我们的需求。计算机只是一个工具，是为了辅助我们实现我们的需求。而在编程的过程中，其实就是我们人类和计算机之间进行沟通的过程。由于计算机和人类之间语言不通，因此无法直接进行沟通，因此需要一个翻译存在。但是，很不幸，没有任何的一个翻译既懂机器语言，也懂人类的语言。因此，我们要学习的是翻译会的另外一种语...
2020-02-26 19:57:29
429
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人