- 博客(128)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 大数据——SparkSQL学习笔记
Spark一、SparkSQL简介 Spark用来处理结构化数据的一个模块，它提供了两个编程抽象分别叫做DataFrame和DataSet，它们用于作为分布式SQL查询引擎（类似于Hive，为便于进行MapReduce操作而使用类SQL语句进行Spark操作）。➢ 数据兼容方面 SparkSQL 不但兼容 Hive，还可以从 RDD、parquet 文件、JSON 文件中获取数据，未来版本甚至支持获取 RDBMS 数据以及 cassandra 等 NOSQL 数据；➢ 性能优化方面 除了采取 In
2022-05-07 14:52:19
650
原创 大数据——SparkCore学习笔记
Spark一、Spark简介Spark 是一种由 Scala 语言开发的快速、通用、可扩展的大数据分析引擎Spark Core 中提供了 Spark 最基础与最核心的功能Spark SQL 是 Spark 用来操作结构化数据的组件。通过 Spark SQL，用户可以使用 SQL 或者 Apache Hive 版本的 SQL 方言（HQL）来查询数据。Spark Streaming 是 Spark 平台上针对实时数据进行流式计算的组件，提供了丰富的处理数据流的API。Spark 和Hadoop
2022-05-07 14:49:33
736
原创 大数据——Kafka学习笔记
具体代码可以参考：https://github.com/Ostrich5yw/java4BigData/tree/master/java4Kafka
2022-05-07 14:39:56
460
原创 arcgis js 4.x 地图中加入图片
arcgis js 4.x版本，如何加入图片问题：如何将自定义图片放入到arcgis的图层当中？本人在网上查找的方法中，发现大部分方法只适用于3.x版本，只有一种引入自定义BaseDynamicLayer的方法可用，然而按照这种方式，无法满足动态刷新图片的需求。解决方法step 1：还是使用BaseDynamicLayer引入图片var mainMap = new Map({ basemap:"satellite", ground: "world-e
2021-12-09 15:17:42
2056
原创 Go学习笔记—Channel通道
Go并发通信——Channel Go语言的并发模型是CSP（Communicating Sequential Processes），提倡通过通信共享内存而不是通过共享内存而实现通信。（DO NOT COMMUNICATE BY SHARING MEMORY; INSTEAD, SHARE MEMORY BY COMMUNICATING.） 如果说goroutine是Go程序并发的执行体，channel就是它们之间的连接。channel是可以让一个goroutine发送特定值到另一个gorouti
2021-12-01 11:40:48
604
原创 Go学习笔记—Go并发基础
Go并发基础并行：程序在任意时刻内都是同时运行的并发：程序在单位时间内都是同时运行的扇入：多条通道聚合到一条通道中（select聚合，加密解密服务）扇出：一条通道发散到多条通道中（goroutine实现并发，Web服务器并发处理用户请求） 在java/c++中我们要实现并发编程的时候，我们通常需要自己维护一个线程池，并且需要自己去包装一个又一个的任务，同时需要自己去调度线程执行任务并维护上下文切换。 Go语言中的goroutine就是这样一种机制，goroutine的概念类似于线程，
2021-12-01 11:38:54
349
原创 Go学习笔记—多线程
多线程编程 一个进程可以包含多个线程，这些线程运行的一定是同一个程序（进程==程序），且都由当前进程中已经存在的线程通过系统调用的方式创建出来。进程是资源分配的基本单位，线程是调度运行的基本单位，线程不可独立于进程存在。 所有线程都有自己的线程栈，以此存放自己的私有数据（包含在进程的虚拟内存地址中）。一个进程中的很多资源也会被线程所共享，包括在当前进程虚拟内存地址中存放的代码段、数据段、堆、信号处理函数、文件描述符（非负整数）。正因如此，创建一个线程时不会像创建一个进程时那
2021-12-01 10:31:52
7274
原创 Go学习笔记—基于Go的进程间通信
IPC（Inter-Process Communication 进程间通信）一般方法：(1) 半双工Unix管道 (2) FIFOs(命名管道) (3) 消息队列 (4) 信号量 (5) 共享内存 (6) 网络Socket (7) RPC(远程过程调用)
2021-12-01 10:20:42
9270
原创 SparkContext: Error initializing SparkContext解决方法
SparkContext: Error initializing SparkContext解决方法Spark在配置高可用集群中，出现报错ERROR SparkContext: Error initializing SparkContext. java.net.ConnectException: Call From hadoop102/192.168.10.102 to hadoop102:8020 failed on connection exception: java.net.ConnectExcep
2021-11-01 17:51:27
25758
2
原创 SQL三种连接：内连接、外连接、交叉连接
SQL三种连接：内连接、外连接、交叉连接一、交叉连接（CROSS JOIN）二、内连接（INNER JOIN）三、外连接（LEFT JOIN、RIGHT JOIN、FULL JOIN）1.左外连接2.右外连接3.完整外连接准备两张表并以PersonId相关联。一、交叉连接（CROSS JOIN）交叉连接返回被连接的两个表所有数据行的笛卡尔积。// 这两句sql完全等价select * from person CROSS JOIN addressselect * from person, add
2021-09-16 15:01:00
2986
原创 Aspose.Java实现word转pdf，添加水印等操作
Aspose.Java实现word转pdf，添加水印等操作一. word转pdf二. 文档插入水印Aspose是一款商用版控件，支持各类文档操作，这里主要介绍如何在Springboot项目中使用破解版。一. word转pdf在项目中导入aspose.word包 百度网盘下载 提取码：pokb新建一个asposeUtil类，类中建立如下静态方法 /** * @param wordPath 需要被转换的word全路径带文件名 * @param pdfPath 转换之
2021-08-10 11:37:07
1895
2
原创 解决Spring下无法实时访问本地静态资源
解决Springboot下浏览器无法实时访问本地静态资源场景1：原本地文件test.json中内容为 “1”。我们通过前后端交互操作，修改test.json的内容为 “2”。此时前端再次读取test.json，会发现内容依旧为 “1”，即前端并不会实时同步本地静态资源。场景2：如下代码我访问了一个还未创建的本地资源show.jpg，显然，浏览器会报404错误。因为图片不存在。然而当我立刻在如下目录创建一个show.jpg后，发现浏览器依旧报404错误，无法同步我们本地文件夹中图片。<html l
2021-06-08 18:10:16
366
原创 kubenetes中port、targetPort、nodePort、containerPort的区别与联系
kubenetes中port、targetPort、nodePort、containerPort的区别与联系首先给出一张kubenetes结构图：containerPortcontainerPort是在pod控制器中定义的、pod中的容器需要暴露的端口。Pod中容器暴露的端口targetPorttargetPort是pod上的端口，从port/nodePort下来的数据，经过kube-proxy流入到后端pod的targetPort上，最后进入容器。Pod暴露的端口port
2021-04-20 21:03:35
784
原创 什么是套接字？Socket基本介绍
什么是套接字？Socket基本介绍一、什么是套接字？二、套接字特性三、套接字缓冲区一、什么是套接字？套接字是一种通信机制（通信的两方的一种约定），socket屏蔽了各个协议的通信细节，提供了tcp/ip协议的抽象，对外提供了一套接口，同过这个接口就可以统一、方便的使用tcp/ip协议的功能。这使得程序员无需关注协议本身，直接使用socket提供的接口来进行互联的不同主机间的进程的通信。我们可以用套接字中的相关函数来完成通信过程。发送方的发送数据的处理流程大致为：用户空间 -> 内核 ->
2021-04-19 14:21:09
27658
1
原创 harbor安装时出现ERROR: An HTTP request took too long to complete. Retry with --verbose to obtain debug in
harbor安装时出现ERROR: An HTTP request took too long to complete. Retry with --verbose to obtain debug information.If you encounter this issue regularly because of slow network conditions, consider setting COMPOSE_HTTP_TIMEOUT to a higher value current value: 6
2021-04-16 15:34:38
3428
原创 kubeadm join时出现错误：[ERROR Port-10250]: Port 10250 is in use [ERROR FileAvailable--etc-kubernetes-pki
kubeadm join时出现错误：[ERROR Port-10250]: Port 10250 is in use；[ERROR FileAvailable--etc-kubernetes-pki-ca.crt]: /etc/kubernetes/pki/ca.crt already exists初次使用kubeadm构建k8s集群，所以对子节点加入管理节点的过程认识不足，导致我先对子节点进行了kubeadm init之后，才准备进行kubeadm join操作。结果出现了如下错误：[root@k8s
2021-04-15 17:35:56
9853
1
原创 kubectl get node运行时出现：Unable to connect to the server: x509: certificate signed by unknown authority
kubectl get nodes运行时出现：Unable to connect to the server: x509: certificate signed by unknown authority原因：我们在运行kubeadm reset时，没有删除原先的$HOME/.kube文件导致新建的kubelet报错。实际上在kubeadm reset执行后，系统已经提示我们需要手动删除这个配置文件。解决方法：在运行kubeadm reset之后，接着输入rm -rf $HOME/.kube删除原配置文
2021-04-15 16:06:13
1737
1
原创 VMware开启NAT模式/仅主机模式后主机ping不通虚拟机的问题
VMware开启NAT模式/仅主机模式后主机ping不通虚拟机的问题问题：VMware设置网络模式为NAT模式后，我们使用主机ping虚拟机无法联通，用虚拟机ping主机可以联通。原因：这是由于虚拟机的IP网段与主机的VMnet8网段不一致所造成的。解决方法：将VMnet8的IP修改为虚拟机的同一网段下(注意是同一网段下，而不是和虚拟机IP一致；否则会造成可以ping通，但是虚拟机无法正常联网)如下图，我们打开网络连接，将"自动获取IP地址"改为"使用下面的地址"，并将地址修改为虚拟机同一网段下
2021-04-09 20:45:22
4969
2
原创 SpringBoot生成日志文件---logback和log4j
SpringBoot生成日志文件---logback和log4j一、logbacklogback是SpringBoot自带的日志文件，默认会为控制台输出INFO级别的日志，并且不会将日志文件保存。如果我们只需要输出日志到文件，直接给application.yml中添加如下配置，对应日志将会输出到目录下。logging: pattern: file: src/main/输出目录 level: # 自定义需要输出的日志等级:DEBUG.INFO.ERROR.FATAL等
2021-04-08 16:34:46
856
原创 Spring security/Shiro ---登陆成功后返回登陆前界面＜页面重定向＞
Spring security ---登陆成功后返回登陆前界面<页面重定向>问题：在登陆/退出成功后，我们往往通过http.formLogin().successForwardUrl()和http.logout().logoutSuccessUrl()设定操作成功后的回跳页面。我们现在希望在任意界面跳转到登陆界面后，一旦登录成功便会返回登陆前的界面。解决方法：我们自定义一个过滤器，在Spring security将当前页面(假设为P)重定向到登录页面之前，先将当前页面P的url存入对应的Be
2021-04-08 13:42:49
1450
原创 Go出现警告struct doesn‘t have any exported fields, nor custom marshaling
Go出现警告struct doesn't have any exported fields, nor custom marshalingGo语言要求所有结构体成员变量的首字母需要大写,如果首字母小写的话，则该字段无法被外部包访问和解析，比如，json解析。type student struct { Id int Name string}所以修改成员变量首字母为大写即可...
2021-04-06 10:19:14
3544
原创 Docker Swarm建立服务器集群
Docker Swarm建立服务器集群一、Docker Swarm简介1. 集群模式2. 管理节点--Manager二、Docker Swarm的配置及使用三、Docker Service向集群中添加服务四、Docker Stack部署集群一、Docker Swarm简介1. 集群模式这是Docker官网给出的一张swarm原理图，即swarm就是一个或多个Docker Engine的集群，负责集群的管理和编排。Manager负责维持集群状态并进行调度服务。（基于Raft算法）Worker是Do
2021-03-31 10:50:42
498
原创 Linux、Windows、Mac下Docker的安装与使用
Linux、Windows、Mac下Docker的安装与使用一、Linux下的安装二、Windows与Mac下的安装三、Docker的使用一、Linux下的安装这里以Centos 7为例，首先，确保系统已经正确运行了Centos 7并已经联网。yum安装gcc环境yum -y install gccyum -y install gcc-c++删除旧版本dockersudo yum remove docker \ docker-client \
2021-03-28 13:03:04
250
原创 Docker-compose配置Mysql，Redis，MongoDB
Docker-compose下配置Mysql，Redis，MongoDB详解一、docker-compose简介二、构建一个实例项目1.前后端实现2.Dockerfile及docker-compose.yml3. 生成镜像三、实例程序源码一、docker-compose简介Compose是用于定义和运行多容器Docker应用程序的工具。通过Compose，您可以使用YAML文件来配置应用程序的服务。然后，使用一个命令，就可以从配置中创建并启动所有服务。使用Compose基本上是一个三步过程：使用D
2021-03-26 21:48:25
1028
原创 主机无法连接虚拟机中的redis服务
解决：主机<本地>无法连接虚拟机中的redis服务首先保证虚拟机网络已经和主机网络互通，即相互ping对方IP，能ping通但是仍然连不上redis服务，可能是以下问题。redis服务配置问题配置redis.conf如下 protected-mode no #关闭保护模式 requirepass 你的密码 # 设置连接密码 # bind 127.0.0.1 # 这个必须注释掉，它表示只允许本地访问redis服务在写好的redis.conf
2021-03-26 15:45:33
3436
2
原创 解决Docker构建时出现的 WARNING: Ignoring https://dl-cdn.alpinelinux.org/alpine/v3.13/main: Permission denied
解决Docker构建时出现的 WARNING: Ignoring https://dl-cdn.alpinelinux.org/alpine/v3.13/main: Permission denied在根据官网的Docker-compose构建示例项目时遇到的问题，原因是因为无法访问官网给出的外网镜像，可能还会出现WARNING: Ignoring https://dl-cdn.alpinelinux.org/alpine/v3.13/main: network error通过在Dockerfile中引
2021-03-23 20:43:15
6275
1
原创 Linux文件读写改权限详解
Linux文件权限详解文件的rwx权限[ r ][ w ][ x ]该文件可读(read)该文件可修改(write)该文件可执行(execute)注意：只有当该文件所在目录有写权限，并且该文件有[w]权限，才可以进行删除操作目录的rwx权限[ r ][ w ][ x ]可查看目录内容(ls)该目录可进行插入、修改、删除可以进入该目录修改权限Linux/Unix 的文件调用权限分为三级 : 文件所有者（Owner）、用户组（Group
2021-03-23 10:32:00
1205
原创 WireShark详解
WireShark介绍及使用Wireshark介绍Wireshark使用一、基础数据说明二、指定数据包过滤Wireshark安装Wireshark介绍Wireshark是一款可以运行在多平台的网络抓包工具，可以嗅探通过本机网卡的各类网络包，并对它们的协议，源、目标地址等多种数据进行解析。Wireshark使用一、基础数据说明下图为Wireshark中一个普通数据包的显示内容数据包显示五层信息（1）Frame: 物理层的数据帧概况（2）Ethernet II: 数据链路层以太网帧头部
2021-03-19 14:22:29
1152
原创 Springfox-swagger使用详解
Springfox-swagger使用方法什么是Swagger？Swagger的具体使用一、导入依赖二、建立Swagger配置类三、通过Swagger测试接口引用什么是Swagger？是一个开源的API Doc的框架可以将我们的Controller中的API方法以文档的形式展现，并支持为其添加注释并实时与后端代码同步我们可以通过Swagger测试后端接口的运行情况，这就使得前端人员可以实时看到最新API，与后端进行集成联调，避免集成问题集中爆发。Swagger的具体使用一、导入依赖&l
2021-03-19 13:45:58
1209
原创 Docker知识点总结及其命令的使用
DockerDocker简介Docker与Tomcat有什么区别？Docker与虚拟机有什么区别？Docker的基本组成Docker的联合文件系统Docker基本命令Docker中的几个重要组件一、容器数据卷二、Dockerfile三、Docker网络虚拟机共享网络的三种方式Docker共享网络的四种方式Docker中建立一个虚拟网络Docker应用：建立一个redis集群Docker简介Docker 是一个开源的应用容器引擎，Docker 可以让开发者打包他们的应用以及依赖包到一个轻量级、可移植的容器
2021-03-19 12:00:32
726
原创 基于Layui实现的树形菜单页面
基于Layui实现的树形菜单页面具体方法实现方法一：针对Layui模板的前后端统一更新1. 删除2. 添加3. 后端方法二：基于Dtree实现的纯前端树形增删改文中的组件地址具体方法实现实现树形菜单，本文将给出两种实现方式。针对Layui前端模板EasyWeb iframe未实现的添加\修改\删除节点的功能，这里给出与后端实时同步的前端页面刷新方式实现节点的增删改。基于Layui扩展的Dtree包，直接实现不依赖于后端的节点增删改，即只是前端样式更改，不会更改后端存放的.json数据。方法一：
2021-03-19 10:25:10
3322
原创 LeetCode—美团2021秋招 006、007、008、009
题目描述：小团深谙保密工作的重要性，因此在某些明文的传输中会使用一种加密策略，小团如果需要传输一个字符串 S ，则他会为这个字符串添加一个头部字符串和一个尾部字符串。头部字符串满足至少包含一个 “MT” 子序列，且以 T 结尾。尾部字符串需要满足至少包含一个 “MT” 子序列，且以 M 开头。例如 AAAMT 和 MAAAT 都是一个合法的头部字符串，而 MTAAA 就不是合法的头部字符串。很显然这样的头尾字符串并不一定是唯一的，因此我们还有一个约束，就是 S 是满足头尾字符串合法的情况下的最长的字符串
2022-07-11 08:59:00
773
原创 LeetCode—美团2021秋招 001、002、003、004
题目描述：小美是美团的前端工程师，为了防止系统被恶意攻击，小美必须要在用户输入用户名之前做一个合法性检查，一个合法的用户名必须满足以下几个要求：用户名的首字符必须是大写或者小写字母。用户名只能包含大小写字母，数字。用户名需要包含至少一个字母和一个数字。如果用户名合法，请输出 “Accept”，反之输出 “Wrong”。小美是美团仓库的管理员，她会根据单据的要求按顺序取出仓库中的货物，每取出一件货物后会把剩余货物重新堆放，使得自己方便查找。已知货物入库的时候是按顺序堆放在一起的。如果小美取出其中
2022-07-08 10:41:42
640
1
原创 LeetCode—剑指 Offer 51. 数组中的逆序对
题目描述：在数组中的两个数字，如果前面一个数字大于后面的数字，则这两个数字组成一个逆序对。输入一个数组，求出这个数组中的逆序对的总数。考察重点：第51题归并排序实现。在排序过程中，比较左右两数组元素大小时，计算逆序对个数。...
2022-06-25 09:49:02
345
原创 LeetCode—＜动态规划专项＞剑指 Offer 19、49、60
题目描述：请实现一个函数用来匹配包含’. ‘和’‘的正则表达式。模式中的字符’.‘表示任意一个字符，而’'表示它前面的字符可以出现任意次（含0次）。在本题中，匹配是指字符串的所有字符匹配整个模式。例如，字符串"aaa"与模式"a.a"和"abaca"匹配，但与"aa.a"和"ab*a"均不匹配。我们把只包含质因子 2、3 和 5 的数称作丑数（Ugly Number）。求按从小到大的顺序的第 n 个丑数。把n个骰子扔在地上，所有骰子朝上一面的点数之和为s。输入n，打印出s的所有可能的值出现的概率
2022-06-24 09:56:53
222
原创 LeetCode—剑指 Offer 37、38
题目描述：请实现两个函数，分别用来序列化和反序列化二叉树。你需要设计一个算法来实现二叉树的序列化与反序列化。这里不限定你的序列 / 反序列化算法执行逻辑，你只需要保证一个二叉树可以被序列化为一个字符串并且将这个字符串反序列化为原始的树结构。提示：输入输出格式与 LeetCode 目前使用的方式一致，详情请参阅 LeetCode 序列化二叉树的格式。你并非必须采取这种方式，你也可以采用其他的方法解决这个问题。输入一个字符串，打印出该字符串中字符的所有排列。你可以以任意顺序返回这个字符串数组，但里面不能
2022-06-23 15:28:39
249
原创 LeetCode—剑指 Offer 59 - I、59 - II
题目描述：给定一个数组 nums 和滑动窗口的大小 k，请找出所有滑动窗口里的最大值。请定义一个队列并实现函数 max_value 得到队列里的最大值，要求函数max_value、push_back 和 pop_front 的均摊时间复杂度都是O(1)。若队列为空，pop_front 和 max_value 需要返回 -1考察重点：第59 - I题使用优先队列(堆)实现窗口内元素排序，循环遍历模拟窗口滑动第59 - II题使用一个单调队列进行辅助，保存队列元素大小关系。......
2022-06-22 10:05:59
110
原创 LeetCode—＜数学专项＞剑指 Offer 20、29、31、67
题目描述：请实现一个函数用来判断字符串是否表示数值（包括整数和小数）。数值（按顺序）可以分成以下几个部分：若干空格一个 小数 或者 整数（可选）一个 ‘e’ 或 ‘E’ ，后面跟着一个 整数若干空格小数（按顺序）可以分成以下几个部分：（可选）一个符号字符（‘+’ 或 ‘-’）下述格式之一：至少一位数字，后面跟着一个点 ‘.’至少一位数字，后面跟着一个点 ‘.’ ，后面再跟着至少一位数字一个点 ‘.’ ，后面跟着至少一位数字整数（按顺序）可以分成以下几个部分：（可选）一个符号字符（‘+’
2022-06-21 17:35:36
125
原创 LeetCode—＜数学专项＞剑指 Offer 14 - I、39、57 - II、62、66
题目描述：给你一根长度为 n 的绳子，请把绳子剪成整数长度的 m 段（m、n都是整数，n>1并且m>1），每段绳子的长度记为 k[0],k[1]…k[m-1] 。请问 k[0]k[1]…*k[m-1] 可能的最大乘积是多少？例如，当绳子的长度是8时，我们把它剪成长度分别为2、3、3的三段，此时得到的最大乘积是18。数组中有一个数字出现的次数超过数组长度的一半，请找出这个数字。你可以假设数组是非空的，并且给定的数组总是存在多数元素。输入一个正整数 target ，输出所有和为 target 的连续
2022-06-18 09:04:36
258
原创 LeetCode—＜位运算专项＞剑指 Offer 15、56 - I、56 - II、65
题目描述：编写一个函数，输入是一个无符号整数（以二进制串的形式），返回其二进制表达式中数字位数为 ‘1’ 的个数（也被称为 汉明重量).）。提示：在某些语言（如 Java）中，没有无符号整数类型。在这种情况下，输入和输出都将被指定为有符号整数类型，并且不应影响您的实现，因为无论整数是有符号的还是无符号的，其内部的二进制表示形式都是相同的。在 Java 中，编译器使用 二进制补码 记法来表示有符号整数。因此，在上面的 示例 3 中，输入表示有符号整数 -3。一个整型数组 nums 里除两个数字之外
2022-06-17 09:19:01
119
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人