深入JVM内核-原理，诊断和优化

JVM初识

  • JVM,是Java Virtul Machine的简称，称为Java虚拟机
  • Java中比较重要的两个规范
    • JAVA语言规范：定义了什么是JAVA语言
    • JVM规范：主要定义JVM的内部实现，二进制class文件和JVM指令集等

JVM的运行机制

1.JVM的启动流程
[外链图片转存失败(img-Yuh4yqOu-1563543065680)(https://raw.githubusercontent.com/WaldeinCheng/ImgRepo/master/JVM启动流程图.png)]

2.JVM基本结构
[外链图片转存失败(img-4k9eAe6h-1563543065682)(https://raw.githubusercontent.com/WaldeinCheng/ImgRepo/master/JVM基本结构.png)]

  • PC寄存器(程序计数器)：线程私有,每一个线程拥有一个PC寄存器，指向下一条指令的地址
    • 字节码解释器通过改变PC寄存器的值，来实现代码的流程控制：顺序执行，选择，循环，异常处理
    • 多线程时，PC寄存器记录当前线程执行的位置，用于线程切换回来时能够知道线程上次执行的位置
  • 方法区：所有线程共享，用于存储被虚拟机加载的类信息、常量、静态变量、即时编译器编译后的代码等数据。被称为“永久代”，是因为 HotSpot 虚拟机的设计团队把 GC 分代收集扩展到方法区，即使用永久代来实现方法区，像 GC 管理 Java 堆一样管理方法区，从而省去专门为方法区编写内存管理代码，内存回收目标是针对常量池的回收和堆类型的卸载
  • JAVA堆：所有线程共享，在虚拟机启动时创建，唯一目的是存放对象实例，是垃圾收集器管理的主要区域——” GC 堆“，可以细分为新生代和老年代，新生代又可以细分为 Eden 空间、 From Survivor 空间和 To Survivor 空间；物理上可以不连续，但逻辑上连续，可以选择固定大小或者扩展；
  • JAVA栈：线程私有，栈由一系列帧组成，然而每一帧保存的都是一个方法的局部变量，操作数栈，常量池指针
    • 操作数栈：Java中没有寄存器，所有参数传递使用操作数栈
    • 局部变量表：存放了编译器可知的各种数据类型，对象引用（reference类型）
    • 栈异常：StackOverFlowError和OutOfMemeoryError
  • 本地方法栈： 为JVM使用的 Native 方法服务，也是线程私有

3.JAVA内存模型

  • 定义程序中各个变量的访问规则，即在JVM中将变量存储到内存和从内存中取出变量这样的底层细节
  • JMM规定了所有的变量都存储在主内存（Main Memory）中。每个线程还有自己的工作内存（Working Memory）,线程的工作内存中保存了该线程使用到的变量的主内存的副本拷贝，线程对变量的所有操作（读取、赋值等）都必须在工作内存中进行，而不能直接读写主内存中的变量（volatile变量仍然有工作内存的拷贝，但是由于它特殊的操作顺序性规定，所以看起来如同直接在主内存中读写访问一般）。不同的线程之间也无法直接访问对方工作内存中的变量，线程之间值的传递都需要通过主内存来完成。
  • happens-before原则：
    Java内存模型中定义的两项操作之间的次序关系，如果说操作A先行发生于操作B，操作A产生的影响能***作B观察到，“影响”包含了修改了内存***享变量的值、发送了消息、调用了方法等。

GC算法和种类

1.GC的概念

  • Garbage Collection:垃圾收集，Java中用来自动回收已经不使用的对象资源，以节约空间和提升效率,java中，GC的对象是堆空间和永久区
  • 垃圾回收的主要问题就是怎么判断，对象已经没有使用了，常用的方法
    • 引用计数法：给对象添加一个引用计数器，标记此对象是不是垃圾，有引用此对象，计数器就加1，引用失效就减1，当计数器为0时，表示此对象没有用了，可以回收,老牌的垃圾回收算法,java中没有使用
    • 根搜索算法：通过被称为“GC Roots”的对象作为起点，从这些起点开始向下搜索，搜索所走过的路径称为引用链（Reference Chain），当一个对象到GC Roots没有任何引用链相连时，则证明此对象不再被使用。在Java中可以当作GCRoots的对象包括：
      • 栈中引用的对象
      • 方法区中类静态属性引用的对象
      • 方法区中常量引用的对象
      • 本地方法栈中JNI引用的对象

2.GC算法

  • 标记-清除算法：标记-清除算法将垃圾回收分为两个阶段：标记阶段和清除阶段。一种可行的实现是，在标记阶段，首先通过根节点，标记所有从根节点开始的可达对象。因此，未被标记的对象就是未被引用的垃圾对象；然后，在清除阶段，清除所有未被标记的对象。

    • 标记：标记的过程其实就是，遍历所有的GC Roots，然后将所有GC Roots可达的对象标记为存活的对象。
    • 清除：清除的过程将遍历堆中所有的对象，将没有标记的对象全部清除掉。
    • 缺点：
      • 效率低下(标记和清除都是遍历)，标记和清除的条件都是在线程停止的情况下，效率低的话，交互性就很差
      • 空闲内存不连续，因为清除的时候，清除对象哪里都是，清除后内存比较乱，JVM维护这种状态比较耗费内存

  • 复制算法：将原有的内存空间分为两块，每次只使用其中一块，在垃圾回收时，将正在使用的内存中的存活对象复制到未使用的内存块中，之后，清除正在使用的内存块中的所有对象，交换两个内存的角色，完成垃圾回收

    • 与标记-清除算法相比，复制算法是一种相对高效的回收方法
    • 不适用于存活对象较多的场合，如老年代（复制算法适合做新生代的GC）

  • 标记-整理算法： 如果在对象存活率较高时就要进行较多的复制操作，效率将会变低。更关键的是，如果不想浪费50%的空间，就需要有额外的空间进行分配担保，以应对被使用的内存中所有对象都100%存活的极端情况，所以在老年代一般不能直接选中这种算法。

    • 标记：它的第一个阶段与标记/清除算法是一模一样的，均是遍历GC Roots，然后将存活的对象标记。
    • 整理：移动所有存活的对象，且按照内存地址次序依次排列，然后将末端内存地址以后的内存全部回收。因此，第二阶段才称为整理阶段。

3.可触及性

  • 从根节点可以触及到的对象，就是可触及对象。
    • 一旦所有引用被释放，该对象也不是一定会收，而是处于可复活状态，因为在finalize()中可能复活该对象。
    • finalize()方法是对象逃脱死亡的最后机会，只要在finalize()方法中重新与引用链上的任何对象建立关联即可。注意finalize()方法只会被虚拟机调用一次，如果对象没有覆盖finalize()方法，或者finalize()方法已经被虚拟机调用过了，那么虚拟机将不会执行finalize()方法。
    • 在finalize()后，如果仍然是从根节点不可触及的，则进入不可触及状态，不可触及的对象不可能复活，将被虚拟机回收。
      注意：应避免使用finalize()，操作不慎可能导致错误。

4.Stop-the-World

  • 由GC引起了一个关键性的问题，Stop-The-World，简称STW。它是Java中一种全局暂停的现象。全局停顿，所有Java代码停止，native代码可以执行，但不能和JVM交互。这种现象多半由于GC引起的，此外Dump线程、死锁检查、堆Dump都有可能引起STW，但这几种情况一般都是人为触发。新生代的GC，也就是minorGC会比较短，一般在毫秒级。老年代的GC有时候也在零点几秒以内完成，但有时会很长，达到几秒、几十秒甚至更长，这主要取决于当时堆的实际情况。

类装载器(ClassLoader)

1.class装载验证流程
[外链图片转存失败(img-HfRkR5aQ-1563543065683)(https://raw.githubusercontent.com/FreeLonChan/ImgRepo/master/class装载验证流程.png)]

  • 加载:读入字节码文件,取得类的二进制流,转为方法区数据结构,在Java堆中生成对应的java.lang.Class对象

  • 验证：验证字节码文件的正确性

    • 1.文件格式的验证
      • 是否以0xCAFEBABE开头
      • 版本号是否合理
    • 2.元数据验证
      • 是否有父类
      • 是否继承了final类
      • 非抽象类实现了所有抽象方法
    • 3.字节码验证
      • 运行检查
      • 跳转指令是否到合适的位置
    • 4.符号引用验证
      • 常量池中描述类是否存在
      • 访问的方法或字段是否存在且有足够的权限

  • 准备：在方法区中分配内存，并为类赋初始值

  • 解析：符号引用替换为直接引用

    • 符号引用，字符串引用对象不一定被加载
    • 直接引用，指针或地址偏移量引用对象一定在内存中
    • 在java中，一个java类将会编译成一个class文件。在编译时，java类并不知道引用类的实际内存地址，因此只能使用符号引用来代替。比如org.simple.People类引用org.simple.Tool类，在编译时People类并不知道Tool类的实际内存地址，因此只能使用符号org.simple.Tool(假设)来表示Tool类的地址。而在类装载器装载People类时，此时可以通过虚拟机获取Tool类 的实际内存地址，因此便可以既将符号org.simple.Tool替换为Tool类的实际内存地址，即直接引用地址
      • 直接引用
      public class StringAndStringBuilder{
   public static void main(String[] args){
      System.out.println ("s=" + "asdfa");
   }
}
      • 符号引用
      public class StringAndStringBuilder{
   public static void main(String[] args){
      String s="asdfa";
      System.out.println ("s=" + s);
    }
}

  • 初始化：执行类构造器<clinit>,初始化static变量和方法

    • <clinit>是线程安全的
    • 子类的<clinit>调用前保证父类的<clinit>先调用

  • 使用：

  • 卸载：

2.什么是类加载器ClassLoader

  • ClassLoader是一个抽象类
  • ClassLoader的实例读入Java字节码将类加载到JVM中
  • ClassLoader可以定制，满足不同字节码流的获取
  • Classloader负责类装载阶段的加载阶段

3.JDK中ClassLoader默认设计模式

ClassLoader常用的几个方法：
   defineClass(String name,java.nio.ByteBuffer b,ProtectionDomain protectionDomain)
   //指定保护域（ProtectionDomain),把ByteBuffer的内容转化为Java类，这个方法是final的
   defineClass(String name,byte[] b,int off,int len)
   //把字节数组 b中的内容转换成 Java 类，其开始偏移为off,这个方法被声明为final的。
   findClass(String name)
   //查找指定名称的类
   loadClass(String name)
   //加载指定名称的类
   resolveClass(Class<?>)
   //链接指定的类
其中defineClass把字节流解析成能够识别的Class对象，通常和findClass一起使用，通过覆盖父类的findClass方法来实现类的加载规则，获取要加载类的字节码，然后调用defineClass方法来生成类的Class对象

ClassLoader的等级加载机制
BootStrapClassLoader:启动类加载器 
   加载层次中最顶层的类加载器，负责加载JDK中的核心类库，eg:rt.jar,resources.jar,charsets.jar等.需要加载什么都是由JVM自己控制
ExtClassLoader:扩展类加载器
   负责加载Java的扩展库，JVM的实现会提供一个扩展库，根据目录查找所需加载出来，默认加载JAVA_HOME/jre/lib/ext的所有jar
AppClassLoader:系统类加载器
   负责加载应用程序classpath下所有jar和class文件，一般Java应用的类都是它加载完成的

性能监控工具

1.系统性能监控

介绍一些常用的Linux命令

  • uptime:

    • 查看当前系统时间
    • 运行时间
    • 连接数:终端连接个数
    • 1,10,15分钟内的平均负载量

  • top:动态查看系统的运行情况

    • -b：以批处理模式操作；
    • -c：显示完整的治命令；
    • -d：屏幕刷新间隔时间；
    • -I：忽略失效过程；
    • -s：保密模式；
    • -S：累积模式；
    • -i<时间>：设置间隔时间；
    • -u<用户名>：指定用户名；
    • -p<进程号>：指定进程；
    • -n<次数>：循环显示的次数。

  • vmstat:操作系统的虚拟内存、进程、IO读写、CPU活动等进行监视

    • -a：显示活动内页；
    • -f：显示启动后创建的进程总数；
    • -m：显示slab信息；
    • -n：头信息仅显示一次；
    • -s：以表格方式显示事件计数器和内存状态；
    • -d：报告磁盘状态；
    • -p：显示指定的硬盘分区状态；
    • -S：输出信息的单位。

  • pidstat:用于监控全部或指定进程的cpu、内存、线程、设备IO等系统资源的占用情况（需要安装）

    • -u：默认的参数，显示各个进程的cpu使用统计
    • -r：显示各个进程的内存使用统计
    • -d：显示各个进程的IO使用情况
    • -p：指定进程号
    • -w：显示每个进程的上下文切换情况
    • -t：显示选择任务的线程的统计信息外的额外信息
    • -T { TASK | CHILD | ALL }
      • 这个选项指定了pidstat监控的。TASK表示报告独立的task，CHILD关键字表示报告进程下所有线程统计信息。ALL表示报告独立的task和task下面的所有线程。
      • 注意：task和子线程的全局的统计信息和pidstat选项无关。这些统计信息不会对应到当前的统计间隔，这些统计信息只有在子线程kill或者完成的时候才会被收集。
    • -V：版本号
    • -h：在一行上显示了所有活动，这样其他程序可以容易解析。
    • -I：在SMP环境，表示任务的CPU使用率/内核数量
    • -l：显示命令名和所有参数

2.Java自带工具

  • jps:列出当前java进程

    • -q 可以指定jps只输出进程ID,不输出类的短名称
    • -m 可以输出传递给Java进程的参数
    • -l 可以用于输出主函数的完整路径
    • -v 可以显示传递给JVM的参数

  • jinfo:查看正在运行的Java程序的扩展参数，也可以修改部分参数

    • -flag <name> 打印指定JVM的参数值
    • -flag[+|-] <name> 设置指定JVM参数的布尔值
    • -flag <name>=<value> 设置指定JVM的参数值

  • jamp:生成Java应用程序的堆快照和对象的统计信息

    • -histo
    • -dump:format=b,file=<address>

  • jstack:打印线程信息

    • -l 打印所信息
    • -m 打印java和native的帧信息
    • -F 强制打印

  • Visual VM

Java堆分析

1.内存溢出(OOM)的原因

  • 堆溢出:占用大量空间，直接溢出

    • 关键字:java.lang.OutOfMemoryError:java heap space
    • 解决方法:增大堆空间，直接释放内存

  • 永久区溢出:生成的类过多，GC处理不过来

    • 关键字:java.lang.OutOfMemoryError:PermGen space
    • 解决方法:增大Perm区，允许class回收

  • 栈溢出:创建线程的时候，给线程分配的空间请求不到所导致的

    • 关键字:java.lang.OutOfMemoryError：unable to create new NativeSpread
    • 解决方法:减小堆空间，减小线程栈大小

  • 直接内存溢出:ByteBuffer.allocateDirect()无法从OS获取足够的空间

    • 解决方法:减小堆内存，有意出发GC

2.MAT的使用

3.使用Visual VM分析堆

锁

1.线程安全

  • 使用锁机制，只能同一时间只能让某一个线程访问数据，保证数据的一致性和不被污染

2.对象头Mark

  • 对象头的标记，32位
    • 描述对象的hash,锁信息，垃圾回收标记，年龄
    • 指向锁记录的指针
    • 指向moniter的指针
    • GC标记
    • 偏向锁线程ID

3.偏向锁

  • 没有竞争的情况下，偏向锁可以提高性能
  • 偏向就是偏心，偏向锁会偏向于当前已经占有锁的线程
  • 将对象头Mark标记为偏向，线程ID存放在对象头中
  • 只有没有竞争，获得偏向锁的线程，进入同步块中时，不需要做同步
  • 默认开启
  • 竞争激烈的时候，反而会增加系统负担

4.轻量级锁

  • 轻量级锁的目标是，减少无实际竞争情况下，使用重量级锁产生的性能消耗

5.自旋锁

  • 当竞争存在时，如果线程能很快获得锁，那么可以不在OS层挂起线程，让线程做几个空操作（自旋）
  • 如果同步块很长，自旋失败，降低系统性能

总结

  • 偏向锁，轻量级锁，自旋锁都不是Java语言层面的锁优化方法
  • 内置于JVM中获取锁的方法和步骤
    • 偏向锁可用会先尝试偏向锁
    • 轻量级锁可用先尝试轻量级锁
    • 都失败时尝试自旋锁
    • 再失败尝试普通锁，使用OS互斥量在OS中挂起

Java中提高锁性能的方法

1.减少锁持有时间

简单来就是说，把锁的放的范围缩小
public synchronized void syncMethod()
{
   method1();
   mutextMethod();
   method2();
}
这里method1()和method2()并不需要加锁，锁加在方法上，会耗费很多时间。可改进为以下
public void syncMethod()
{
   method1();
   synchronized(this)
   {
      mutextMethod();
   }
   method2();
}

2.减小锁粒度

  • 大对象拆分为小对象，大大增加并行度，降低竞争度，竞争度降低后，偏向锁和轻量级锁成功率会提高
    • ConcurrentHashMap的底层实现就是基于这个减小锁粒度，把数据分成若干个Segment(段)：Segment<K,V> [] segments，每一个segment对应一个锁，维护一个HashEntry<K,V>
    • put操作时，先定位到Segment,锁定这个Segment，进行操作
    • -减小颗粒度后，ConcurrentHashMap允许若干个线程同时进入
  • 详情参考了ConcurrentHashMap原理

3.锁分离

  • 根据功能进行锁分离
    • 例如:ReadWriteLock
  • 读多写少的情况下，可以提高性能

4.锁粗化

  • 如果线程中对一个锁不断的请求，同步和释放，本身会很消耗系统资源，这时候不必减少锁持有时间
    for(int i=0;i<n;i++)
{
   synchronized(lock);
}
反复请求，同步和释放，可改进为
synchronized(lock){
   for(int i=0;i<n;i++)
   {

   }
}

5.锁消除

  • 在确定不可能被加锁的情况下，可以把锁取消掉

6.无锁

  • 无锁是一种乐观的操作
  • 无锁的一种实现方式
    • CAS(compare and Swap)

class文件结构

1.语言无关性

java语言跟JVM没有直接的联系，是通过class文件实现关联的，但是能够生成class文件的不只java语言

2.文件结构
[外链图片转存失败(img-OVps7waL-1563543065684)(https://raw.githubusercontent.com/FreeLonChan/ImgRepo/master/class文件结构.jpg)]