- 博客(164)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 linux同步执行命令脚本 (xcall)
当通过 SSH 直接执行命令时，不会加载用户的 ~/.bashrc 或 ~/.profile 文件，这可能导致环境变量不生效。所以脚本中ssh之后显示执行了 source /etc/profile。
2024-11-03 17:38:35
451
原创 HIVE beeline连接报错Operation category READ is not supported in state standby
这个可能是因为hive配置的hdfs连接地址指定的是具体的namenode地址，但是hadoop集群配置的是HA,所以会发生主备切换，那么我们hive元数据配置就需要使用NameNode的逻辑名称而不是具体的主机名。Hive的元数据存储在MySQL数据库中，可以直接使用SQL命令来更新LOCATION字段。
2024-10-12 22:41:16
531
原创 Linux Centos7 修改为静态iP后重启网络服务遇到的问题
7.查看/etc/sysconfig/network-scripts下，将其余无关的网卡位置文件全删掉，避免不必要的影响，即只留一个以ifcfg开头的文件（我的就是这个原因，rm /etc/sysconfig/network-scripts/ifcfg-ensXXX,删除其它用不上的，只留有和网卡一致的即可）查看 cat /etc/sysconfig/network-scripts目录下的ifcfg-xxx（每台机器可能不一样，我的是ens33）是否有错误，确认你修改为静态IP时，没有因为疏忽出现的错误。
2024-09-07 18:15:30
1193
原创 手动修改zk类型的kafka offset
查找并修改ae_spark这个topic的消费者组的offset值。对于每个分区（0、1、2），需要分别查看和修改offset值。这个命令会返回当前的offset值。查看和修改分区0的offset值。连接到ZooKeeper。
2024-08-19 14:50:38
391
1
原创 阻断血缘关系以及checkpoint文件清理
2.2 可以通过getCheckpointDir.get方式读取到checkpoint的文件地址。2.1 更改配置文件开启checkpoint文件清理。
2023-12-24 23:04:57
833
原创 Mac node使用nvm进行版本管理
nvm是node版本管理工具，为解决node各版本不兼容问题，nvm是让你在同一台机器上安装和切换不同版本的node。
2023-03-28 16:09:33
451
原创 Mac node使用nvm进行版本管理
nvm是node版本管理工具，为解决node各版本不兼容问题，nvm是让你在同一台机器上安装和切换不同版本的node
2023-03-28 15:58:25
736
原创 mac安装HomeBrew就一个命令就够了，感谢大佬
/bin/zsh -c “$(curl -fsSL https://gitee.com/cunkai/HomebrewCN/raw/master/Homebrew.sh)”感谢大佬 https://zhuanlan.zhihu.com/p/111014448
2023-03-28 15:47:27
175
原创 SimpleDateFormat类的parse和format方法的线程安全问题
SimpleDateFormat类的parse和format方法的线程安全问题
2022-10-27 15:27:44
655
原创 mysql 8.0 安装记录
mysql 8.0 安装记录mysql 安装信息：用root 安装依赖yum -y install libaio libaio-devel下载mysql安装包nohup wget https://cdn.mysql.com//Downloads/MySQL-8.0/mysql-8.0.26-linux-glibc2.12-x86_64.tar.xz &解压到/home/hadoop 目录中tar -xvf mysql-8.0.26-linux-glibc2.12-x86_64.tar
2022-03-19 21:10:18
1830
转载 记录一个分发脚本
=================================================================#!/bin/bash#1 获取输入参数个数，如果没有参数，直接退出pcount=$#if ((pcount==0)); thenecho no args;exit;fi#2 获取文件名称p1=$1fname=`basename $p1`echo fname=$fname#3 获取上级目录到绝对路径pdir=`cd -P $(dirname $p1)
2022-03-08 16:59:00
120
原创 maven使用本地仓库作为远程仓库使用
maven使用本地仓库作为远程仓库使用说明：在内网环境，没有搭建私服。将本地的maven库作为远程仓库使用，即强制使用本地仓库1.查看现有的本地仓库的依赖包的下载来源的镜像id查看本地maven库中下载的jar，同级目录的_remote.repositories 文件，此文件中有仓库id，注意如果在你的settings.xml中配置了多个mirror，那这个镜像id就有多个。2. 配置自己内网环境中的maven的settings.xml文件注意：如果查看到的镜像Id有多个，这里的mirror也要
2022-03-02 10:52:25
7253
原创 Go 简介、应用场景
Go 简介、应用场景一. go语言的优势1.并发性能好基于goroutine(协程) 的并发，可以将 goroutine 理解为一种虚拟线程。Go 语言运行时会参与调度 goroutine，并将 goroutine 合理地分配到每个 CPU 中，最大限度地使用CPU性能。开启一个goroutine的消耗非常小（大约2KB的内存），你可以轻松创建数百万个goroutine。goroutine的特点：goroutine具有可增长的分段堆栈。这意味着它们只在需要时才会使用更多内存。goroutine
2021-08-05 20:45:54
4171
原创 GO 基于module管理依赖
GO 基于module管理依赖1. 基础配置1.配置环境变量（1.13以后不需要设置） GO111MODULE=off禁用模块支持，编译时会从GOPATH和vendor文件夹中查找包。 GO111MODULE=on启用模块支持，编译时会忽略GOPATH和vendor文件夹，只根据 go.mod下载依赖。 GO111MODULE=auto，当项目在$GOPATH/src外且项目根目录有go.mod文件时，开启模块支持。简单来说，设置GO111MODULE=on之后就可以使用go module了，
2021-08-05 20:32:28
201
原创 Docker 镜像原理
Docker 镜像原理文章目录Docker 镜像原理一. Linux操作系统组成1. 一些名词2. Linux启动二. UnionFs（联合文件系统）三. 镜像加载原理四. 特点镜像是一种轻量级、可执行的独立软件包，用来打包软件运行环境和基于运行环境开发的软件，它包含运行某个软件所需的所有内容，包括代码、运行时、库、环境变量和配置文件一. Linux操作系统组成1. 一些名词Kernel：内核，核心，内核空间bootloader：加载器，主要是引导加载kernelbootfs：linux最底
2021-06-03 18:39:02
336
1
原创 Docker实践
Docker实践文章目录Docker实践一. Portainer 可视化面板安装二. 安装nginx三. 安装tomcat问题：四. 安装部署elasticsearch+kibana知识点：一. Portainer 可视化面板安装docker run -d -p 8080:9000 \--restart=always -v /var/run/docker.sock:/var/run/docker.sock --privileged=true portainer/portainer二. 安装ngi
2021-05-31 10:40:18
131
原创 Docker 命令行
Docker 命令行帮助文档地址：https://docs.docker.com/engine/reference/commandline/dockerd/命令说明容器生命周期管理run创建一个新容器并运行start开启一个容器并使其在后台运行stop停止一个容器restart重启一个容器kill杀掉一个容器进程rm删除容器pause暂停容器unpause恢复暂停容器create从镜像中创建一个容器exec对一个容器执行shell命令 容器操作ps列出容器inspect获取容器或镜像的元数据top查看正
2021-05-25 23:06:13
1288
8
原创 Docker 概念、原理、安装部署
Docker 概念、原理、安装部署Docker 是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的Linux机器上,也可以实现虚拟化,容器是完全使用沙箱机制,相互之间不会有任何接口docker是一种技术，能使得应用在任何环境都能用的打包技术。打包出的东西叫镜像。镜像运行时（有对外提供服务能力）叫容器[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传DevOps（开发即运维）应用更快速的交付和部署更便捷的升级和扩容更简单的系
2021-05-25 15:53:28
250
原创 自动查券机器人资料
自动查券机器人资料1、自动查券机器人是什么？有什么价值？简单的说，查券机器人它通过帮助用户查询商品的优惠券来获得官方联盟（一般指阿里妈妈、京东联盟、多多进宝等）的佣金。2、公众号查券机器人系统免费版：公众号淘客机器人自助搭建教程3、微信订阅号可以接入吗？可以，系统支持订阅号的的淘客机器人系统，不管是订阅号还是服务号，只要是微信公众号一律通吃。4、淘客机器人后台登陆地址http://wxmp.sharepay.xyz/目前已集成sso单点登录系统，登录地址会被拦截到sso登录页5、免费通用
2021-03-22 17:57:39
668
原创 CentOs7 部署tomcat遇到的一些坑
CentOs7 部署tomcat遇到的一些坑文章目录CentOs7 部署tomcat遇到的一些坑1.CentOS7无法关闭、无法开启、黑屏2.CentOs中部署好tomcat，开启之后，本机浏览器无法访问3.Tomcat端口改为80后访问页面出错1.CentOS7无法关闭、无法开启、黑屏任务管理器杀进程之后，重启计算机;删除.log文件 .lck文件 以及564d8dc7-71b7-c6f4-db57-a2bb4f136a37.vmem文件;以管理员方式打开CMD窗口，输入netsh win
2020-11-03 15:16:53
465
原创 GC回收算法、堆参数调优
GC回收算法、堆参数调优文章目录GC回收算法、堆参数调优一.GC回收算法1.引用计数法2.复制算法3.标记清除算法4.标记整理算法二.总结三.堆参数调优1.堆空间调整参数2.获取堆内存信息3.调整堆参数3.1 将默认内存和最大内存都调整为4/13.2 非堆内存调整3.3 JVM内存限制(最大值)4.三种内存溢出异常介绍5.查看GC日志JVM在进行GC时，并非每次都对上面三个内存区域一起回收的，大部分时候回收的都是指新生代。因此GC按照回收的区域又分了两种类型，一种是普通GC（minor GC），一种是
2020-09-23 22:52:44
250
原创 JVM体系结构
文章目录JVM体系结构一.类加载器 ClassLoader1.类加载的过程2.加载类的几种方式3.三种类加载器1.Bootstrp loader（启动类加载器）2.Extension loader（扩展类加载器）3.AppClassLoader（应用程序类加载器）4.双亲委派5.沙箱安全二.执行引擎 Execution Engine三.PC寄存器（程序计数器）四.本地方法接口 Native Interface五.本地方法栈 Native Method Stack六.方法区 Method Area七.java
2020-09-23 20:16:35
285
原创 并发环境下的常用容器类
并发环境下的常用容器类文章目录并发环境下的常用容器类一：常用七大并发容器类二：并发环境中List接口下容器的替代容器1.ArrayList1). 出现异常：2). 解决方法：2.1 使用Vector2.2 使用使用容器工具类下 Collections.synchronizedList(new ArrayList<>())/Collections.synchronizedSet(new HashSet<>())2.3 使用写时复制 new CopyOnWriteArrayList(
2020-09-14 17:40:34
286
原创 关于ConcurrentHashMap和ConcurrentSkipListMap
关于ConcurrentHashMap和ConcurrentSkipListMap文章目录关于ConcurrentHashMap和ConcurrentSkipListMap一：ConcurrentHashMap1.为什么HashMap不安全？2.HashTable解决了线程安全的问题，为什么不用？3.ConcurrentHashMap /jdk 1.74.ConcurrentHashMap /jdk 1.81.Node数组初始化2.put实现二：ConcurrentSkipListMap1.继承关系2
2020-09-14 16:14:09
1482
原创 java8 容器类Optional学习笔记
java8 容器类Optional学习笔记文章目录java8 容器类Optional学习笔记Option提供的方法ofofNullableisPresentgetifPresentorElseorElseGetorElseThrowmapflatMapfilterjava8引入入了·一个1容器类Optional，解决了空指针异常不容易查找的痛点问题。java8 DOC中介绍：这是一个可以为null的容器对象。如果值存在则isPresent()方法会返回true，调用get()方法会返回该对象。O
2020-09-12 12:06:00
209
原创 Java Fork/Join框架 任务拆分 并行执行
Java Fork/Join框架 任务拆分 并行执行文章目录Java Fork/Join框架 任务拆分 并行执行一. 概述二. 关于工作窃取模式1. 执行过程2. 优缺点三. Fork/Join框架实现原理1.ForkJoinTask2.ForkJoinPool3.Fork/Join框架的实现原理3.1 ForkJointTask中的fork()方法3.1 ForkJointTask中的join()方法3.3 ForkJoinWorkerThread 工作线程四.其他1.使用Fork/join框架处理
2020-09-09 17:19:35
686
2
原创 强大的Stream API--总结
强大的Stream API–总结文章目录强大的Stream API--总结一.概述和特点概述：特点：流的构成：二.常用生成流的方式1.使用Collection下的 stream() 和 parallelStream() 方法2.使用Arrays 中的 stream() 方法，将数组转成流3.使用Stream中的静态方法：of()、iterate()、generate()4.使用 BufferedReader.lines() 方法，将每行内容转成流5.使用 Pattern.splitAsStream() 方
2020-09-08 21:21:20
338
原创 Lambda--方法引用、构造器引用、数组引用
Lambda–方法引用、构造器引用、数组引用文章目录Lambda--方法引用、构造器引用、数组引用一.方法引用1.使用限制2.语法格式2.1 实例对象::实例方法名2.2 类名::静态方法名2.3 类名::实例方法名（特殊限制）二.构造器引用三.数组引用一.方法引用Lambda已经极大地简化代码，方法引用是Lambda的另一种表现形式。Lambda方法体如果以及被实现了，我们可以直接去引用这个方法，不需要重复去写。1.使用限制方法引用引用的方法的参数列表和返回值类型，必须和函数式接口中抽象方法的参
2020-09-07 12:56:51
307
原创 jdk8内置四大核心内置函数式接口
jdk8内置四大核心内置函数式接口一. 四大核心内置函数式接口Consumer< T > 消费性接口 (有来无回)，即有参数没有返回值 调用方法：void accept(T t)public static void con(double money,Consumer consumer){ consumer.accept(money);}con(20,(e)-> System.out.println("我有"+e+"块钱！"));Predicate&l
2020-09-05 20:18:41
621
原创 Lambda表达式语法以及示例
Lambda表达式总结文章目录Lambda表达式总结一. Lambda简介与用途二. 函数式接口三. Lambda基础语法四. Lambda重要特性五. Lambda表达式使用实例1 . 常规做法是2. 策略模式做法3. 内置函数式接口Predicate4. 调用Stream API5. 注意几点六. 匿名内部类或Lambda使用局部变量一. Lambda简介与用途Lambda 表达式，也可称为闭包，它是推动 Java 8 发布的最重要新特性。Lambda 允许把函数作为一个方法的参数（函数作为参数传
2020-09-05 16:56:30
357
原创 DHCP协议的原理以及实现过程
DHCP协议的原理以及实现过程文章目录DHCP协议的原理以及实现过程1. 简介2. DHCP的功能3. DHCP请求过程以及原理1. 简介DHCP是一个动态主机配置协议，前身是BOOTP协议，是一个局域网的网络协议 。在DHCP实现过程中有两个对象，一个是DHCP client，一个是DHCP server，DHCP使用UDP协议工作，server使用67端口，client使用68端口。DHCP通常被用于局域网环境，主要作用是集中的管理、分配IP地址，使client动态的获得IP地址、Gateway
2020-09-03 09:41:57
1012
原创 js拼写sql条件，between and，日期左闭右开的问题
js拼写sql条件，between and，日期左闭右开的问题短日期类型默认Time为00:00:00，所以当使用between作限制条件时，就相当于 between ‘2020-8-10 00:00:00’ and ‘2020-8-10 00:00:00’，因此就查不出数据。提供一种解决思路：补全...
2020-08-20 12:23:46
1358
原创 在Vue中推荐一款做轮播图的插件 -- Swiper
在Vue中推荐一款做轮播图的插件 – Swiper文章目录在Vue中推荐一款做轮播图的插件 -- Swiper一：如何使用1.下载依赖2.在main.js中全局引用加载3.使用(注意看下自己Swaper的版本，6.X以上版本引用css文件方式不一样)4. 示例代码二：可能出现的问题1. 给每个滑块绑定的click点击方法不生效三：官方参考首先上效果：一：如何使用1.下载依赖npm install swiper vue-awesome-swiper --save# oryarn add sw
2020-08-16 20:01:37
1005
原创 使用iterator迭代器遇到的问题
使用iterator迭代器遇到的问题出现的问题Set<String> all = Set.of("Hello", "world","sina","sohu"); Iterator<String> iter = all.iterator(); while (iter.hasNext()) { String string = iter.next(); String string1 = iter.next(
2020-07-10 09:54:37
610
原创 ETL -- Kettle
ETL – Kettle文章目录ETL -- Kettle1.什么是kettle2. Kettle核心知识点1.1Kettle工程存储方式1.2 Kettle的两种设计1.3 Kettle的组成3. kettle的安装4. 实践中遇到的问题1.HDFS作为数据输出的位置，因为用户没有写入没有权限报错？2. 使用hive数据源，要开始hiveserver2，但是无法连接？5. kettle的优化...
2020-04-28 16:07:12
301
原创 SaprkSql数据源以及Hive使用
SaprkSql数据源文章目录SaprkSql数据源1. 通用数据保存方式2. json文件3. Parquest文件4. JDBC5. Hive 数据库1. 内嵌Hive应用2. 外部Hive应用3. 运行Spark SQL CLI4. 代码中使用Hive1. 通用数据保存方式Spark SQL的DataFrame接口支持多种数据源的操作。一个DataFrame可以进行RDDs方式的操作，...
2020-04-24 14:44:50
373
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人