- 博客(49)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 Spring boot框架的核心思想
Spring:全家桶 Spring、springMvc、Spring boot、Spring cloud历史：出现在2002左右，解决企业开发的难度。减轻项目模块之间的管理，类和类之间的管理，帮助开发人员创建对象，管理对象之间的关系核心技术：Ioc、aop。能实现模块之间，类之间的解耦合（淡化类关系）。管理依赖：classA中使用了classB的属性或者方法，叫做classA依赖classB此次学习使用模块：Spring Frameworkspring框架优点轻量：核心功能jar总共在3M
2020-12-08 10:04:46
4197
原创 大数据【内核】---MapReduce的详细执行流程（三）
文章目录一、MR的整体执行流程图二、MR的整体执行流程：（Yarn模式）map task逻辑运算过程shuffle过程reduce task 逻辑运算过程一、MR的整体执行流程图二、MR的整体执行流程：（Yarn模式）client申请作业，Yarn系统返回一个jobid客户端程序在**submit()**方法执行前，获取待处理的数据信息，然后根据集群中的参数的配置形成一个任务分配规划（jar包、Configuration信息、InputSplit分片信息），客户端上传任务分配规划，到相应的HDF
2020-09-25 18:14:54
341
原创 大数据【任督二脉】--从HDFS读写数据流程开始打通（二）
写在前面：可先去看这篇文章《Hadoop生态剥茧抽丝（一），【中枢神经】Yarn的job流程》文章目录一、hdfs写数据流程简化流程流程图二、hdfs读数据流程简化流程：读数据流程图三、名词NameNode(Master)在HDFS中：DataNode(slave)：实际存储数据块的节点，执行数据库的读写操作SecondaryNameNode作用：四、常见问题① NameNode的启动过程？第一阶段：NameNode启动第二阶段：Secondary NameNode工作② 集群的安全模式？：只支持访问元数
2020-09-22 17:57:07
714
原创 大数据【根】，【中枢神经】Yarn的job流程（一）
简述Yarn的诞生背景MapReduce第一个版本的功能随着技术的更迭，逐渐不能满足大型集群对于稳定性和高可用性的要求，缺点具体表现为：当集群包含的节点超过 4,000 个时（其中每个节点可能是多核的），就会表现出一定的不可预测性。其中一个最大的问题是级联故障，由于要尝试复制数据和重载活动的节点，所以一个故障会通过网络泛洪形式导致整个集群严重恶化....
2020-09-05 15:51:33
1031
原创 spark Streaming作为consumer使用kafka的正确姿势
spark Streaming -> kafkacreateDirectStream()方法传参有三种ssc，是一个StreamingContext对象LocationStrategies位置策略：控制特定的主题分区是在哪个执行器上消费的，在executor针对主题分区如何对消费者进行调度，位置策略有如下三种1、PreferBrokers首选Kafka服务器，只有在kafka服务器和executor位于同一主机，可以使用改策略2、PreferConsistent:首选一致性
2020-12-14 23:09:15
845
原创 Hive调优的总结
文章目录hive的优势Hive的优化1、数据倾斜情况下的Hive优化2、从map reduce的Task数量考虑2.1 map阶段优化2.1.1 调整分块大小2.2 reduce阶段优化2.3 小文件合并优化（合并map的输出文件，reduce的结果文件）3 、SQL优化3.1 列裁剪3.2 分区裁剪3.2利用Hive对Union all优化的特性3.3解决Hive对Union all优化的短板3.3 优化in/exists语句3.4 排序选择4、其他4.1 模式选择5、JVM重用6、推测执行hive的优
2020-12-08 20:08:19
555
原创 大数据【粮仓】分布式列式数据库：Hbase原理、结构
文章目录HBase的基本架构一、HBASE架构及其基本组件图解二、主要组件：rowkey的设计原理：三、物理模型：四、物理存储：五、Hbase 读写原理Hbase的读流程：读流程图解过程：Hbase的写流程：图解过程HBase的基本架构一、HBASE架构及其基本组件图解先上大图：后面说明二、主要组件：① RowKey:是一个字节数组(byte array)，是表中每条记录的‘主键’，方便快熟查找rowkey的设计原理：1、长度原理：a. rowkey是一个二进制码流，可以是任意字符串，最
2020-10-24 11:34:21
993
原创 scala程序打jar包，spark终端下执行jar包（ spark-submit 提交的几种模式））
运行环境工具：idea2019条件：maven管理j依赖jar包，建立的是quickstart工程jar包核心代码object MySpark { def main(args: Array[String]): Unit = {// val conf = new SparkConf().setMaster("local[*]").setAppName("myjob")// val sc = new SparkContext(conf)// //使用空格分离，words与数字
2020-09-23 17:22:11
1919
原创 大数据【筑基】---Spark【初窥门径】
一、Spark简介诞生：诞生于加州大学伯克利分校AMP实验室，一个基于内存的分布式计算框架发展历程：2009年诞生于加州大学伯克利分校AMP实验室2010年正式开源2013年6月正式成为Apache孵化项目2014年2月成为Apache顶级项目2014年5月正式发布Spark 1.0版本2014年10月Spark打破MapReduce保持的排序记录2015年发布了1.3、1.4、1.5版本2016年发布了1.6、2.x版本使用Spark的缘由由于Mapreduce编程模型的一下局
2020-09-23 15:22:02
538
原创 【常用】HDFS的Shell(命令行客户端)操作
文章目录1、Hadoop集群管理脚本① 作用：② 使用范式：hadoop [-config confdir] COMMAND2、常用命令① hdfs创建目录\复制目录② hdfs上传文件（-put）和下载(-get/-copyToLocal)，剪切（-moveFromLocal从本地剪切文件到HDFS\-moveToLocal 从HDFS剪切文件到本地）③ 追加append\合并下载-getmerge④ hdfs查看文件内容（cat）⑤ hdfs查看目录及目录下的文件⑥ hdfs删除文件/目录⑦ 获取更多
2020-09-22 00:05:24
543
原创 Scala--OOP高级特性
一、类Class1.特点类通过class关键字定义类通过new关键字创建实例类拥有 成为变量和办法类的成员默认为public,也支持private、protected </font color>类中无法定义静态成员变量和方法类无需明确定义构造方法，通过构造参数列表声明为类的一部分2. 权限修饰符3. 类的定义① 构造器：主构造器② 辅助构造器：关键字this()③ 定义成员变量与方法④ 类的实例化代码例子：//主构造器执行类定义中的所有语句class Cla
2020-09-19 14:15:05
1349
2
原创 HIVE的四种排序：Sort By,Order By,Cluster By,Distrbute By的作用和区别
文章目录HIVE的四种排序一、order by二、sort by三、distribute by 和 sort by 一起使用四、cluster byHIVE的四种排序一、order byhive中的order by 跟传统的sql语言中的order by 作用是一样的，会对查询的结果做一次全局排序。所以说，只有Hive的sql中制定了order by 所有的数据都会到同一个reduce中进行处理（不管有多少个map,也不论文件分成了多少block,有且仅有一个reduce,这是order by在处特
2020-09-19 14:13:22
1728
原创 【使用案例齐全】Scala数组方法大全
Scala数组作用：存储固定大小的元素特点：索引从0开始声明和赋值：var k = Array(1,2,3);//或者rvar arr = Array[Int](1,2,3,4,5)数组方法1. ++并集作用：求数组并集k++arr//或k.++(arr)//输出res46: Array[Int] = Array(1, 2, 3, 1, 2, 3, 4, 5)2. ++: ，并集：根据冒号右边类型确定返回类型val ff = Seq(2,3,4,5);scala>
2020-09-12 03:47:44
3888
原创 Spark-【坚实地基】Scala入门详解
变量//变量的声明//var变量、val常量val x:String = "11234" //声明数据类型var x = xxx //自动判断数据类型基础技能1.字符串S插值器val name = "Bob"println(s"Hello,${name}")//输出结果：Hello,Bob2.三元运算符三元运算符统一用if…elseval x = 30;val y = if(x==20) x else 20+xprint(y)//输出：503.循环控制① whil
2020-09-08 19:18:46
525
原创 【精品整理】hive函数之日期函数大全
文章目录日期函数1. UNIX时间戳转日期函数:from_unixtime2. 获取当前UNIX时间戳函数:unix_timestamp3. 日期转UNIX时间戳函数:unix_timestamp4. 指定格式日期转UNIX时间戳函数:unix_timestamp5. 日期时间转日期函数:to_date6. 日期转年函数: year7. 日期转月函数: month8. 日期转天函数: day9. 日期转小时函数: hour10. 日期转分钟函数: minute11. 日期转秒函数: second12. 日期
2020-08-31 09:24:24
767
原创 Xftp上传虚拟机文件超级慢（400kb/s）的解决办法
问题场景和描述：最近豌豆由于需要往虚拟机中传大量大文档，以前使用的Xftp上传文件就显得超级慢，只有300-600kb/s,如下图原因分析：上csdn上面找遍了，发现全是要我整网卡的，我全整了，速度还下降不少，以前我是由1Mb/s左右的上传速度的；后来我仔细自己分析了一哈，可能是豌豆不是付费用户吧！说白了就是我不配┭┮﹏┭┮（所有这里是灰色的）解决方案：由于豌豆某些不知名的原因，只想baipiao，所以只能另辟蹊径，思来想去好几天了，终于有一天：我使用了利用scp在linux集群之间远程传输文件
2020-08-26 10:04:10
19055
18
原创 一键虚拟机关机/重启---远离重复---Shell小脚本
项目场景：解决了每次虚拟机关机或重启都需要手动一个个关机或重启的烦恼！问题描述：每天的学习工作结束，当需要关闭虚拟机时，VMware的一键关机或者重启无法起作用，于是写了个小脚本实现改功能解决方案（脚本代码）：使用说明：总共有两个脚本文件shut.sh，down.sh，使用时./shut.sh 1:关机，./shut.sh 2:重启文件1：shut.sh:唯一注意事项：ES_HNS=这里放入除本机的所有需要操作的虚拟机hostname，本机hostname不许放入！#!/bin/bash
2020-08-24 20:05:16
1023
1
转载 包装类的理解【常用】
一、什么是包装类二、包装类的用途三、包装类的实际使用（以int和integer为例）1.int和integer类之间的转换2、Integer类内部的常用方法3.包装类的缓存值特别注意：对于float和double没有缓存。四、常见的面试题1.Java中Int与Integer的区别？2.示例：判断下面程序片段输出的结果：
2020-08-24 01:05:12
837
原创 明晰----＜泛型＞---在Java程序中的作用
文章目录前言一、泛型是什么？二、使用步骤（代码）代码运行结果前言明晰Java泛型作用！一、泛型是什么？泛型：是JDK5.0后推出的新特性，主要目的是统一集合中存储的元素类型，解决了引用对象使用子类方法大量向下转型的问题。特点：在程序编译阶段起作用缺点：因为泛型确定了存储类型，集合中就只能存储泛型所声明的类型，所以泛型导致集合中存储的元素缺乏多样性（不过无伤大雅，在工作中一般情况下，集合中存储的类型都是统一的）二、使用步骤（代码）public class Test01 { publi
2020-08-23 14:44:30
231
原创 记录一下某天早上起来：“VMWare启动虚拟机出现错误“该虚拟机似乎正在使用中...”问题
问题发生背景某天的晚上，电脑设置了自动关机，导致虚拟机未正常关机，第二天虚拟机出现“VMWare启动虚拟机出现错误“该虚拟机似乎正在使用中…”问题，打不开虚拟机。环境笔记本：惠普锐龙战66三代，window10虚拟机管理软件：VMWare虚拟机镜像：CentOS-7-x86_64-DVD-1908.iso问题截图解决方式到虚拟机存放的目录下删除所有后缀为.lck的文件夹注：若担心出错，可先备份文件夹解决后情景又可以愉快的启动虚拟机了...
2020-08-18 09:28:11
274
1
原创 简单实现免交互-免密登录脚本（公钥推送）-------Shell编程expect（Linux）
Linux一步步的免密登录让人心生烦恼，于是写出此脚本：脚本功能：实现一台主机免密登录其他所有主机的公钥推送缺点：不能实现所有虚拟机的交互免密登录的公钥推送，有待完善
2020-08-16 02:49:04
705
原创 简述线程入门基础（上）
1、对于java程序来说，启动一个java程序之后至少有两个线程垃圾回收线程执行main方法的主线程线程内存共享原则同进程中的线程堆内存和方法区内存共享栈内存不共享（可能会有多个分支栈） 多线程并发对于多核cpu:可以同时处理对于单核cpu：实际上是一件件的处理，只是处理速度快，给我们造成了多线程的错觉实现线程的方式第一种：编写一个类，直接继承java.lang.Thread,重写run方法创建一个赋值线程对象：MyThread myThread = new MyThre
2020-08-15 22:20:43
688
1
原创 匿名内部类加深理解
内部类内部类定义:在类的内部又定义了一个新的类，被成为内部类分类静态内部类：类似于静态变量实例内部类：类似于实例变量3.匿名内部类 局部内部类（）：类似于局部变量缺点：① 类没有名字，不可重用；② 代码可读性差，能不用就不用
2020-08-10 00:53:20
229
1
原创 虚拟机网络服务启动失败Failed to start LSB 解决方法
场景：克隆了一个虚拟机后不能重启它的网络服务编辑IP配置文件:vi /etc/sysconfig/network-scripts/ifcfg-ens33重新修改了ip后，发现还是报错如下错误信息：Failed to start LSB 网络服务启动失败解决办法：systemctl stop NetworkManagersystemctl disable NetworkManagersystemctl restart network查看网络服务：systemctl status netwo
2020-08-04 20:15:59
6243
5
原创 关键字final/static/this/super
final关键字被final关键字修饰的变量及其方法特点：被final修饰的类无法被继承被final修饰的方法无法被重写被final修饰的变量(包括引用和实例变量)只能赋值一次，且无法被改变static关键字一个类中，一个static变量只会有一个内存空间，虽然有多个类实例，但这些类实例中的这个static变量会共享同一个内存空间。static的变量是在类装载的时候就会被初始化，即，只要类被装载，不管是否使用了static变量，都会被初始化。 static的基本规则·一个类的静态方
2020-07-31 23:26:35
185
原创 简述java垃圾回收器GC原理
垃圾回收器GC机制基本规则主要针对: 堆内存的垃圾数据回收规则：堆内存中的对象，在没有任何引用指向该对象的情况下，被GC判定为垃圾数据，此时会被GC回收；
2020-07-30 15:37:44
648
1
原创 简述JavaSE、JavaME、JavaEE
1、Java SE(Java Platform,Standard Edition):Java平台标准版:Java SE 以前称为 J2SE，它允许开发和部署在桌面、服务器、嵌入式环境和实时环境中使用的 Java 应用程序，Java SE包含了支持 Java Web 服务开发的类，并为Java EE提供基础。2、Java EE(Java Platform,Enterprise Edition):Java平台企业版Java EE 以前称为 J2EE，是在 Java SE 的基础上构建的
2020-07-29 22:35:47
473
原创 利用JSP&JDBC创建数据查询页面---思路框架
日常踩坑，我总结了一下思路，希望对正在学习这部分的同志们有帮助，当然思路不止于此，如果有错误，恳求斧正！
2020-07-22 18:51:49
235
1
原创 栈的数据结构特点（小白基础）
栈（Stack）数据结构：1、先进后出、后进先出2、栈帧永远指向的是顶部的数据结构3、处于栈顶的原数具备活跃权相关名词：1、栈顶：在栈的最顶部元素2、栈底：在栈的最底部元素相关动作：1、进栈/入栈/压栈/push2、出栈/弹栈/pop图片联想...
2020-07-20 20:04:32
4002
原创 jdbc的坑，dao.java文件无传参，导致查询无数据异常No value specified for parameter 1
搞了半天，最后发现是这个（见唯一的注释），上吊的心都有！分享出来，希望能帮到正在踩坑的同志们 public SelRtn selPro(Product pro){ try { DaoParam dp = Parser.parseSel(pro); System.out.println(dp); List<Object> _params = new ArrayList<>();
2020-07-20 01:23:42
435
原创 只需5步骤使用JDBC玩转Mysql数据库（基本操作）
- 使用步骤装载驱动com.mysql.jdbc.driver获取连接connection执行操作(executeUpdate()/executeQuery())- 以反射的方式装载驱动:com.mysql.jdbc.driver-Class.forName("com.mysql.jdbc.driver");- 获取连接对象connectionConnection con = DriverManage.getConnection(URL,USERNAME,PASSWORD);S
2020-07-11 18:25:24
181
原创 算法入门----快速排序（Quicksort）
快速排序（Quicksort）：是对冒泡排序的一种改进。基本思想是：通过一趟排序将要排序的数据分割成独立的两部分，其中一部分的所有数据都比另外一部分的所有数据都要小，然后再按此方法对这两部分数据分别进行快速排序，整个排序过程可以递归进行，以此达到整个数据变成有序序列。今天豌豆来实现一下快速排序：package sort;import java.util.Random;public class Quicksort { public static void main(String[] .
2020-07-05 18:16:45
342
原创 LinkedList源码分析之addAll----Day3
Hello,今天我们来进行我们的第三次LinkedList源码分析，不清楚Linkedlist结构的小伙伴可以去看鄙人这篇文章（看完还不懂你打我(●’◡’●)）：《小白入门数据结构(链表)–LinkedList特点分析–超详细方法源码解读-Day1》此次分析的是addAll(int index, Collection<? extends E> c):将指定集合（Collection c）中的所有元素插入到此列表中，从指定的位置（index）开始。不说废话，直接上码分析： pub
2020-07-05 15:06:39
613
原创 关于缓存读取流的心得
流的概念：一组有序的数据序列流的分类：输入流：XxxInputStream/XxxReader输入流：XxxOutputStream/XxxWriter这里我们讨论的是关于怎么用缓存从本地读取数据中：a. 首先将数据读取（输入）到磁盘空间中(一般使用字节流读取)：FileInputStream fis = new FileInputStream(String/File src);如果src（文件路径）不存在则报：java.io.FileNotFoundExceptionb. 然..
2020-06-28 20:49:15
3208
原创 数据结构之LinkedList源码分析之插入（add(int Index,E e)）核心方法--Day2
hello 世界,偷懒的我来整理LinkList的add方法源码了，(●’◡’●)，不清楚Linklist结构的小伙伴可以去看鄙人这篇文章（看完还不懂你打我(●’◡’●)）：《小白入门数据结构(链表)–LinkedList特点分析–超详细方法源码解读-Day1》首先我们按照返回值来一项项整理Linklist的几种添加（add）的方法：(1)今天分析无返回值的（void）：add(int Index,E e) //作用：将给定的值插入到给定的位置index上源码分析：public void a
2020-06-26 17:29:36
594
原创 数据结构---HashMap结构特性分析
首先先把HashMap的一张结构图贴上:1、HashMap：由Entay的集合构成：(1) JDK1.7：Entray:其中的组成元素有hashcode(哈希值)、Node(key、value、next(直接后继) )(a、hashcode(哈希值)：特性：提前计算好，存储在虚拟机内存之中，类似数组的索引值作用：给Map提供索引的作用注：因为hashcode的特性，造成了HashMap索引快的特点b、Node(链表): 其中键值对（key、value）与next构成链表（node）节点k
2020-06-21 21:32:43
316
原创 程序员笔记本性能需求分析--2020年--极致性价比（真香定律）
最近由于本人电脑配置落后，码代码经常卡死。然后本人就重装系统了，但是由于我手残，一不小心把以前的一些重要的学习资料给删了，仔细想想都是电脑的锅！！于是我决定换电脑！4500一下价位配完电脑的我真香啊！下面是我对2020年需要配置电脑的程序猿们的建议，绝对干货，绝对真香！...
2020-06-14 01:15:11
9349
2
ssm整合案例，smvcstu.pdf
2020-08-07
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人