weixin_42448883的博客

原创 探索JVM类的装载过程

带你探索JVM底层之类加载Klass模型类加载加载验证准备解析初始化Klass模型Java的每个类，在JVM中，都有一个对应的Klass类实例与之对应，存储类的元信息如：常量池、属性信息、方法信息等等klass模型类的继承结构：下面展示一些 内联代码片。从继承关系上也能看出来，类的元信息是存储在原空间的普通的Java类在JVM中对应的是instanceKlass类的实例，再来说下它的三个字类1. InstanceMirrorKlass：用于表示java.lang.Class，Java代码中获

原创 证明栈上分配的存在

栈上分配栈上分配如何证明栈上分配栈上分配是java虚拟机提供的一项优化技术，他的基本思想是，对应哪些线程私有的对象（不可能被其他线程访问的对象），可以将他们打散分配在栈上，而不是分配在堆上。分配在栈上的好处是可以在方法调用结束后自行销毁，而不需要垃圾回收器的介入，从而提高系统的性能栈上分配的一个技术基础是进行逃逸分析。逃逸分析的目的是判断对象的作用域是否可能逃逸出方法体。如下代码展示了一个逃逸的对象public class DemoTest { private static Person p

原创 canal介绍及环境搭建：单机版、HA版

canal介绍及环境搭建canal介绍canal简介mysql的BinLog二级目录二级目录canal环境搭建单机版二级目录二级目录canal介绍canal简介笔者最近在研究大数据方面的技术，用到了canal这个组件，研究心得写篇博客记录如下：什么是canal？canal能干什么？canal工作原理？canal主要组成部分？如何搭建cananl环境？1、什么是canal？根据官网介绍，canal译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费。基于

原创 Spark集群搭建

Spark（spark-2.4.6）集群安装环境Scala安装（3个节点都需要安装）Spark安装（3个节点都需要安装）启动Spark集群访问Spark集群URL：http://master:8080/运行spark提供的实例环境操作系统：Centos7Spark集群依赖：JDK、Hadoop、Scala、Spark版本：JDK：jdk1.8.0_201Hadoop：hadoop-3.1.1Scala：scala-2.12.11Spark：spark-2.4.6-bin-hadoop2.7

原创 Kafka系列之--kafka日志存储

kafka日志存储⽂件⽬录⽂件滚动⽇志格式⽇志索引⽇志清理磁盘存储⽂件⽬录1、存储结构：当Log(日志)文件达到一定阈值的时候，会分成多个LogSegment(日志分段文件)2、目录结构：⽂件滚动✓ 默认情况下，每个⽚段包含1G或7天的数据，以较⼩的值为准；如果达到⽚段上限，就关闭当前⽂件，并打开⼀个新⽂件⽇志格式⽇志索引在Kafka文件存储中，同一个topic下有多个不同的partition，每个partiton为一个目录，partition的名称规则为topic名称+有序序号，第

原创 Kafka系列之--kafka在zookeeper中的存储

原创 Kafka系列之--Kafka中的术语理解

Kafka中的术语1　概述2　broker3　Topic3　Partition4　Producer5　Consumer6　Consumer Group7　Leader8　Follower1　概述创建一个主题为topic_0618：分区数为5，副本数2[root@master kafka_2.11-2.4.1]# bin/kafka-topics.sh --create --zookeeper master:2181/kafka --replication-factor 2 --partitions 5

原创 Hbase集群，启动后Hmaster节点自动消失问题

搭建HBase 集群，执行启动命令后，住HMaster 进程自动消失：具体异常日志如下。// An highlighted block2020-06-09 16:45:04,436 ERROR [master/master:16000:becomeActiveMaster] master.HMaster: Failed to become active masterjava.lang.IllegalStateException: The procedure WAL relies on the abil

原创 hadoop3.1.1上运行WordCount步骤总结

hadoop3.1.1上运行WordCount步骤总结1、首先搭建好Hadoop集群集群搭建：详见2、下面展示一些操作步骤hdfs 常用命令: 详见 hdfs常用命令说明[root@master hadoop-3.1.1]# hdfs dfs -mkdir rootDir[root@master hadoop-3.1.1]# hdfs dfs -ls -R /drwx------ ...

原创 Hadoop----hdfs dfs常用命令

-mkdir 创建目录　　hdfs dfs -mkdir [-p] < paths>-ls　　查看目录下内容，包括文件名，权限，所有者，大小和修改时间　　hdfs dfs -ls [-R] < args>-put　 将本地文件或目录上传到HDFS中的路径　　hdfs dfs -put < localsrc> … < dst>-get　 将...

原创 redis的持久化机制

redis的持久化机制说白了，就是在指定的时间间隔内，将内存当中的数据集快照写入磁盘，它恢复时是将快照文件直接读到内存什么意思呢？我们都知道，内存当中的数据，如果我们一断电，那么数据必然会丢失，但是玩过redis的同学应该都知道，我们一关机之后再启动的时候数据是还在的，所以它必然是在redis启动的时候重新去加载了持久化的文件redis提供两种方式进行持久化，一种是RDB持久化默认，另外...

原创 RPC框架

RPC调用的变与不变由于服务部署在不同机器，想要进行服务间的调用必须进行网络通信，那服务消费方每调用一个服务都要写一大堆网络通信的东西，不仅复杂而且极易出错。「良好的RPC调用是面向服务的封装，针对的是服务的可用性和效率，减轻网络服务开发和调用的复杂性」不可能变的角色的定义（发起调用的是客户端，接受调用的是服务端）通信的机制（网络IO，序列化，传输协议，同步异步）真正变的是这些都是你...

原创 初识HDFS

Hadoop 读写文件流程

原创 接口可能存在性能问题

最常见的有：1、慢 SQL 会是性能瓶颈，主要原因是没有命中索引。2、发送远程数据请求（RPC 远程调用、HTTP 远程调用）。3、I/O 操作等