weixin_40578689的博客

1.Spark master使用zookeeper进行HA的,有哪些元素据,有哪些元素据保存在zookeeper? 答:spark通过这个参数spark.deploy.zookeeper.dir指定master元素据在zookeeper中保存的位置,包括worker/Driver和Application以及Executors.standby节点要从zk中,获取元数据信息,恢复集群运行状态,才能对...

一，先看一下反射的概念：  主要是指程序可以访问，检测和修改它本身状态或行为的一种能力，并能根据自身行为的状态和结果，调整或修改应用所描述行为的状态和相关的语义。  反射是java中一种强大的工具，能够使我们很方便的创建灵活的代码，这些代码可以再运行时装配，无需在组件之间进行源代码链接。但是反射使用不当会成本很高！  看概念很晕的，继续往下看。 二，反射机制的作用：   1，反编译：.c...

java动态代理（JDK和cglib） JAVA的动态代理 代理模式 代理模式是常用的java设计模式，他的特征是代理类与委托类有同样的接口，代理类主要负责为委托类预处理消息、过滤消息、把消息转发给委托类，以及事后处理消息等。代理类与委托类之间通常会存在关联关系，一个代理类的对象与一个委托类的对象关联，代理类的对象本身并不真正实现服务，而是通过调用委托类的对象的相关方法，来提供特定的服务。 按照...

JVM调优总结(1)：基本垃圾回收算法 数据类型   Java虚拟机中，数据类型可以分为两类：基本类型和引用类型。基本类型的变量保存原始值，即：他代表的值就是数值本身；而引用类型的变量保存引用值。“引用值”代表了某个对象的引用，而不是对象本身，对象本身存放在这个引用值所表示的地址的位置。 　　基本类型包括：byte,short,int,long,char,float,double,Bool...

一、性能调优分类： 1.常规性能调优： 分配资源，并行度。。等。 2.JVM调优：JVM相关的参数。 通常情况下，如果你的硬件配置，基础的JVM的配置，都ok的话，JVM通常不会造成太严重的性能问题，反而更多的是， 在troubleshooting中，JVM占了很重要的位置！！ JVM造成 线上的spark作业运行报错，甚至失败（比如OOM） 3.shuffle 调优: spark 在执...

一：Java技术体系模块图 二：JVM内存区域模型 1.方法区 也称"永久代” 、“非堆”，  它用于存储虚拟机加载的类信息、常量、静态变量、是各个线程共享的内存区域。默认最小值为16MB，最大值为64MB，可以通过-XX:PermSize 和 -XX:MaxPermSize 参数限制方法区的大小。 运行时常量池：是方法区的一部分，Class文件中除了有类的版本、字段、方法、接口等描述...

关于JVM垃圾回收种类 Minor GC 从年轻代空间（包括 Eden 和 Survivor 区域）回收内存被称为 Minor GC。这一定义既清晰又易于理解。但是，当发生Minor GC事件的时候，有一些有趣的地方需要注意到： 当 JVM 无法为一个新的对象分配空间时会触发 Minor GC，比如当 Eden 区满了。所以分配率越高，越频繁执行 Minor GC。 内存池被填满的时候，其中的内...

JVM GC回收哪个区域内的垃圾？ JVM GC（垃圾回收机制） 在学习Java GC 之前，我们需要记住一个单词：stop-the-world 。它会在任何一种GC算法中发生。stop-the-world 意味着JVM因为需要执行GC而停止了应用程序的执行。当stop-the-world 发生时，除GC所需的线程外，所有的线程都进入等待状态，直到GC任务完成。GC优化很多时候就是减少stop...

概念特性: hbase是一个数据库(vs hive?) ----可以提供数据的实时随机读写 hbase写mysql.oracle.db2.sqlserver等关系型数据库不同,它是一个NoSQl数据库(非关系型数据库) hbase 的表模型与关系型数据库的表模型不同; hbase 的表没有固定的字段定义; hbase 的表中每行存储的都是一些key-value对; hbase 的...

读写锁：分为读锁和写锁，多个读锁不互斥，读锁与写锁互斥，这是由jvm自己控制的，你只要上好相应的锁即可。如果你的代码只读数据，可以很多人同时读，但不能同时写，那就上读锁；如果你的代码修改数据，只能有一个人在写，且不能同时读取，那就上写锁。总之，读的时候上读锁，写的时候上写锁！ 三个线程读数据，三个线程写数据示例： 可以同时读，读的时候不能写，不能同时写，写的时候不能读。 读的时候上读锁，读完解锁...