0%

1. 对象的创建过程

在语言层面上, 创建对象 (例如克隆, 反序列化) 通常仅仅是一个 new 关键字而已, 而在虚拟机中, 对象 (不包括数组和 Class 对象) 的创建又是一个怎样的过程呢?

虚拟机需要一条 new 指令时, 首先将去检查这个指令的参数是否能在常量池中定位到一个类的符号引用, 并且检查这个符号引用代表的类是否已经加载, 解析和初始化过.
如果没有, 必须先执行相应的类加载过程.

在类加载检查通过后, 接下来虚拟机将为新生对象分配内存.
对象所需内存的大小在类加载完成后便可完全确定, 为对象分配空间的任务等同于把一块确定大小的内存从 Java 堆中划分出来.
假设 Java 堆中内存是绝对规整的, 所有用过的内存都放在一边, 空闲的内存放在另一边, 中间放着一个指针作为分界点的指示器, 那所分配内存就仅仅是把那个指针向空闲空间那边挪动一段与对象大小相等的距离, 这种分配方式称为 指针碰撞 (Bump the Pointer).
如果 Java 堆中的内存并不是规整的, 已使用的内存和空闲的内存相互交错, 那就没有办法简单地进行指针碰撞了, 虚拟机就必须维护一个列表, 记录上哪些内存块是可用的, 在分配的时候从列表中找到一块足够大的空间划分给对象实例, 并更新列表上的记录, 这种分配方式称为 空闲列表 (Free List).
选择哪种分配方式由 Java 堆是否规整决定, 而 Java 堆是否规整又由所采用的垃圾收集器是否带有压缩整理功能决定.
因此, 在使用 Serial, ParNew 等带 Compact 过程的收集器时, 系统采用的分配算法是指针碰撞, 而使用 CMS 这种基于 Mark-Sweep 算法的收集器时, 通常采用空闲列表.

除了如何划分可用空间之外, 还有另外一个需要考虑的问题是对象创建在虚拟机中是非常频繁的行为, 即使是仅仅修改一个指针所指向的位置, 在并发情况下也并不是线程安全的, 可能出现正在给对象 A 分配内存, 指针还没来得及修改, 对象 B 又同时使用了原来的指针来分配内存的情况.
解决这个问题有两种方案, 一种是堆分配内存空间的动作进行同步处理 – 实际上虚拟机采用 CAS 配置上失败重试的方式保证更新操作的原子性;
另外一种是把内存分配的动作按照线程划分在不同的空间之中进行, 即每个线程在 Java 堆中预先分配一小块内存, 称为 本地线程分配缓冲 (Thread Local Allocation Buffer, TLAB).
那个线程要分配内存, 就在哪个线程的 TLAB 上分配, 只有 TLAB 用完并分配新的 TLAB 时, 才需要同步锁定.
虚拟机是否使用 TLAB, 可以通过 -XX:+/-UseTLAB 参数来设定.

内存分配完成后, 虚拟机需要将分配到的内存空间都初始化为零值 (不包括对象头), 如果使用 TLAB, 这一工作过程也可以提前至 TLAB 分配时进行.
这一步操作保证了对象实例字段在 Java 代码中可以不赋初始值就直接使用, 程序能访问到这些字段的数据类型所对应的零值.

接下来, 虚拟机要对对象进行必要的设置, 例如这个对象是哪个类的实例, 如何才能找到类的元数据信息, 对象的哈希码, 对象的 GC 分代年龄等信息.
这些信息存放在对象的对象头 (Object Header) 之中.
根据虚拟机当前的运行状态的不同, 如是否用偏向锁等, 对象头会有不同的设置方式.

在上面工作都完成之后, 虚拟机的视角来看, 一个新的对象已经产生了, 产对 Java 程序的视角来看, 对象创建才刚刚开始 – init 方法还没执行, 执行 new 指令之后会接着执行 init 方法, 把对象按照程序员的意愿进行初始化, 这样一个真正可用的对象才算完全产生出来.

2. 对象的内存布局

// todo

3. 对象的访问定位

4. Object 包含的方法

  • hashCode()
    Hash 是散列的意思, 就是把任意长度的输入, 通过散列算法变换成固定长度的输出, 该输出就是散列值.关于散列值, 有以下几个关键结论:
    1. 如果散列表中存在和散列原始输入K相等的记录, 那么K必定在 f(K) 的存储位置上
    2. 不同关键字经过散列算法变换后可能得到同一个散列地址, 这种现象称为碰撞
    3. 如果两个Hash值不同(前提是同一 Hash 算法), 那么这两个Hash值对应的原始输入必定不同

HashCode 有以下几个关键点:

  1. HashCode 的存在主要是为了查找的快捷性, HashCode 是用来在散列存储结构中确定对象的存储地址的
  2. 如果两个对象 equals 相等, 那么这两个对象的 HashCode 一定也相同
  3. 如果对象的 equals 方法被重写, 那么对象的 HashCode 方法也尽量重写
  4. 如果两个对象的 HashCode 相同, 不代表两个对象就相同, 只能说明这两个对象在散列存储结构中, 存放于同一个位置
  • equals()

  • toString()

  • getClass()

  • finalize()

作用:

  • finalize()是Object的protected方法, 子类可以覆盖该方法以实现资源清理工作, GC在回收对象之前调用该方法.
  • finalize()与C中的析构函数不是对应的.C中的析构函数调用的时机是确定的(对象离开作用域或delete掉), 但Java中的finalize的调用具有不确定性
    问题:
  • 一些与finalize相关的方法, 由于一些致命的缺陷, 已经被废弃了, 如System.runFinalizersOnExit()方法, Runtime.runFinalizersOnExit()方法
  • System.gc()与System.runFinalization()方法增加了finalize方法执行的机会, 但不可盲目依赖它们
  • Java语言规范并不保证finalize方法会被及时地执行, 而且根本不会保证它们会被执行
  • finalize方法可能会带来性能问题.因为JVM通常在单独的低优先级线程中完成finalize的执行
  • 对象再生问题: finalize方法中, 可将待回收对象赋值给GC Roots可达的对象引用, 从而达到对象再生的目的
  • finalize方法至多由GC执行一次(用户当然可以手动调用对象的finalize方法, 但并不影响GC对finalize的行为)

流程:
当对象变成(GC Roots)不可达时, GC会判断该对象是否覆盖了finalize方法, 若未覆盖, 则直接将其回收.否则, 若对象未执行过finalize方法, 将其放入F-Queue队列, 由一低优先级线程执行该队列中对象的finalize方法.执行finalize方法完毕后, GC会再次判断该对象是否可达, 若不可达, 则进行回收, 否则, 对象"复活".
对象可由两种状态, 涉及到两类状态空间, 一是终结状态空间 F = {unfinalized, finalizable, finalized}; 二是可达状态空间 R = {reachable, finalizer-reachable, unreachable}.各状态含义如下:

  • unfinalized: 新建对象会先进入此状态, GC并未准备执行其finalize方法, 因为该对象是可达的
  • finalizable: 表示GC可对该对象执行finalize方法, GC已检测到该对象不可达.正如前面所述, GC通过F-Queue队列和一专用线程完成finalize的执行
  • finalized: 表示GC已经对该对象执行过finalize方法
  • reachable: 表示GC Roots引用可达
  • finalizer-reachable(f-reachable): 表示不是reachable, 但可通过某个finalizable对象可达
  • unreachable: 对象不可通过上面两种途径可达

状态变迁图:

变迁说明:

  1. 新建对象首先处于[reachable, unfinalized]状态(A)
  2. 随着程序的运行, 一些引用关系会消失, 导致状态变迁, 从reachable状态变迁到f-reachable(B, C, D)或unreachable(E, F)状态
  3. 若JVM检测到处于unfinalized状态的对象变成f-reachable或unreachable, JVM会将其标记为finalizable状态(G, H).若对象原处于[unreachable, unfinalized]状态, 则同时将其标记为f-reachable(H).
  4. 在某个时刻, JVM取出某个finalizable对象, 将其标记为finalized并在某个线程中执行其finalize方法.由于是在活动线程中引用了该对象, 该对象将变迁到(reachable, finalized)状态(K或J).该动作将影响某些其他对象从f-reachable状态重新回到reachable状态(L, M, N)
  5. 处于finalizable状态的对象不能同时是unreahable的, 由第4点可知, 将对象finalizable对象标记为finalized时会由某个线程执行该对象的finalize方法, 致使其变成reachable.这也是图中只有八个状态点的原因
  6. 程序员手动调用finalize方法并不会影响到上述内部标记的变化, 因此JVM只会至多调用finalize一次, 即使该对象"复活"也是如此.程序员手动调用多少次不影响JVM的行为
  7. 若JVM检测到finalized状态的对象变成unreachable, 回收其内存(I)
  8. 若对象并未覆盖finalize方法, JVM会进行优化, 直接回收对象(O)
  9. 注: System.runFinalizersOnExit()等方法可以使对象即使处于reachable状态, JVM仍对其执行finalize方法
  • wait()

  • notify()

  • notifyAll()

分布式事务管理
CAP
zookeeper, eureka

0.0.1. Roadmap

  • 职业规划
  • 编程理念
  • 技术学习
  • 技术熟悉度
  • 如何学习技术

0.0.2. 职业规划

个人理解的一个产品的实现依赖关系大致是这样的:

应用产品 -> 功能模块 -> 业务设计 -> 系统设计 -> 框架 -> 架构设计 -> 数据结构/算法/编程语言

往下沉, 走技术路线, 研究技术底层原理, 从而创造技术.少说话, 多做事的走这边.
往上浮, 走业务路线, 管理路线, 协调软件开发.情商高, 会聊天的走这边.

0.0.3. 编程理念

可用 —> 健壮 —> 可靠 —> 宽容 —> 精益求精

  • 可用
    满足需求, 可以运行
  • 健壮
    最基本的兼容性处理, 边界处理, 异常处理, 用户输入效验等.很多时候需求方没有明确高数你的这些逻辑怎么处理, 但并不意味着你不需要处理.
  • 可靠
    在任何情况下都, 能返回一个可靠的结果.尤其是异常情况下, 也能定位到异常出现的原因.
  • 宽容
    对需求宽容, 对用户宽容, 对调用者宽容, 对维护者宽容.
  • 精益求精
    可维护, 可复用, 可扩展.

0.0.4. 技术熟悉度分级

对于多项技术的熟练应用程度需要在工作中实际使用提现的.
对于某一项技术的熟练度可分:

  • 了解
    知道该技术, 能解决什么问题.
  • 掌握
    应用过该技术, 清楚该技术的框架流程.
    外包, 中小企业入职面试基本能应付.
  • 熟悉
    熟悉该技术原理, 背景, 大致技术细节.能比较同类型的技术.
    能坦然面对大型企业的技术面试.
  • 究极
    熟悉所以技术细节, 几乎能实现该技术.

0.0.5. 如何学习技术

多维学习技术, 从学会使用到了解底层技术实现, 从一个技术点比较同类技术点.
至少要达到熟悉级别.

  • 背景
    在那种情况下, 解决什么问题.
  • 模型
    用什么方法解决的问题.
  • 特点
    优缺点.
  • 比较
    同类型技术比较, 或者有没有更好的解决方案.

0.0.6. 熟悉度的意义

  • 如何推导出一无所知的东西?
  • 有没有更好的解决办法

0.0.7. 细致

分析枚举的粒度越细越好
做事, 说话要讲究, 做到极致

0.0.8. 做事效率

从容:慢, 仔细
果断:快, 效率

Annotation 可以用来添加额外功能, 减少样板代码.

1. 元注解

目前有 5 种元注解

  1. @Target

指定注解的可用位置, 即注解可以什么地方使用

枚举于 java.lang.annotation.ElementType

  • TYPE 作用于类, 接口或枚举类型
  • FIELD 作用于属性
  • METHOD
  • PARAMETER
  • CONSTRUCTOR
  • LOCAL_VARIABLE 局部变量
  • ANNOTATION_TYPE
  • PACKAGE
  • TYPE_PARAMETER
  • TYPE_USE
  • MODULE
  1. @Retention

指定注解的级别, 即注解将保留多久

枚举于 java.lang.annotation.RetentionPolicy

  • SOURCE
    注解将被编译器抛弃.
    一般用于标记与检查.
    如 @Override, @Deprecated
  • CLASS
    注解在 class 文件中可用, 但会被 VM 抛弃.
    一般用于增强或生成新类.
    通过扩展 AbstractProcessor 实现注解处理器.
  • RUNTIME
    VM 将在运行期也保留注解.
    一遍通过反射机制来读取注解的信息.
  1. @Documented

将此注解包含在 Javadoc 中

  1. @Inherited

允许子类继承父类中的注解

  1. @Repeable

允许注解在同一个声明类型上多次使用

2. 元素

2.1. 元素类型

注解中可以使用的元素类型有:

  • 所有基本类型, 如 int, float, double 等
  • String
  • Class
  • enum
  • Annotation
  • 以上类型的数组

如果使用上述之外的类型, 则编译会报错. 也不允许使用包装类

2.2. 元素值

元素不能有不确定的值.
元素要么有默认值, 要么使用注解时提供元素的值; 无论是使用时声明, 还是默认设定时, 都不能为 null.

3. AbstractProcessor

AbstractProcessor 实现类,
使用 @SupportedAnnotationTypes, 列举支持的注解的全限定类名,
使用 @getSupportedSourceVersion, 标识最低支持的 Java 版本,
AbstractProcessor#process() 是注解处理器的核心方法, 用于处理注解.

在写完注解处理器之后, 需要在 resources/META-INF/services 目录下增加一个 javax.annotation.processing.Processor 文件, 在该文件中写入注解处理器的全限定类名.

也可使用 com.google.auto.serviceauto-service 中的 @AutoService 注解处理元文件.

另外 AbstractProcessor 不好 Debug, 看网上好像要用到 gradle 以及 Android 的 apt 才能实现 Debug. 反正试了一下, 没有成功.

1. 乐观锁

2. 悲观锁

3. 共享锁

4. 排他锁

5. 自旋锁

6. 偏向锁

7. 死锁

7.1. 死锁的 4 个必要条件

  • 互斥条件

7.2. 预防死锁

7.3. 避免死锁

8. CAS

9. Resource

0.0.1. ThreadPoolExecutor

1
public ThreadPoolExecutor(int corePoolSize, int maximumPoolSize, long keepAliveTime, TimeUnit unit, BlockingQueue<Runnable> workQueue, ThreadFactory threadFactory, RejectedExecutionHandler handler)
  • corePoolSize: 核心线程数, 如果运行的线程少于corePoolSize, 则创建新线程来执行新任务, 即使线程池中的其他线程是空闲的
  • maximumPoolSize:最大线程数, 可允许创建的线程数, corePoolSize和maximumPoolSize设置的边界自动调整池大小:
  • corePoolSize <运行的线程数< maximumPoolSize:仅当队列满时才创建新线程
  • corePoolSize=运行的线程数= maximumPoolSize: 创建固定大小的线程池
  • keepAliveTime:如果线程数多于corePoolSize, 则这些多余的线程的空闲时间超过keepAliveTime时将被终止
  • unit:keepAliveTime参数的时间单位
  • workQueue:保存任务的阻塞队列, 与线程池的大小有关:
  • threadFactory:使用ThreadFactory创建新线程, 默认使用defaultThreadFactory创建线程
  • handle:定义处理被拒绝任务的策略, 默认使用ThreadPoolExecutor.AbortPolicy, 任务被拒绝时将抛出RejectExecutorException

0.0.2. CompletionService

0.0.3. 默认线程池的分类

  • newSingleThreadExecutor
  • newCachedThreadPool
  • newFixedThreadPool
  • newScheduledThreadPool
  • newSingleThreadScheduledExecutor

0.0.4. 线程池的状态

  1. RUNNING
  2. SHUTDOWN
  3. STOP
  4. TIDYING
  5. TERMINATED

0.0.5. 添加任务的过程

  1. 如果此时线程池中的数量小于corePoolSize, 即使线程池中的线程都处于空闲状态, 也要创建新的线程来处理被添加的任务.
  2. 如果此时线程池中的数量等于corePoolSize, 但是缓冲队列 workQueue未满, 那么任务被放入缓冲队列.
  3. 如果此时线程池中的数量大于corePoolSize, 缓冲队列workQueue满, 并且线程池中的数量小于maximumPoolSize, 建新的线程来处理被添加的任务.
  4. 如果此时线程池中的数量大于corePoolSize, 缓冲队列workQueue满, 并且线程池中的数量等于maximumPoolSize, 那么通过 handler所指定的策略来处理此任务.

0.0.6. 拒绝策略

  1. AbortPolicy
    当任务添加到线程池中被拒绝时, 它将抛出 RejectedExecutionException 异常.
  2. CallerRunsPolicy
    当任务添加到线程池中被拒绝时, 会在线程池当前正在运行的Thread线程池中处理被拒绝的任务.自动重试提交任务, 直到成功.
  3. DiscardOldestPolicy
    当任务添加到线程池中被拒绝时, 线程池会放弃等待队列中最旧的未处理任务, 然后将被拒绝的任务添加到等待队列中.
  4. DiscardPolicy
    当任务添加到线程池中被拒绝时, 线程池将丢弃被拒绝的任务.

1. Resource

Queue

1. 集合关系图

JDK 8 java.util下集合关系图如下:

2. 集合类介绍

2.1. interface

  • Collection
  • Deque
  • Iterable
  • Iterator
  • List
  • ListIterator
  • Map
  • NavigableMap
  • NavigableSet
  • Queue
  • RandomAccess
  • Set
  • SortedMap
  • SortedSet

2.2. abstract

  • AbstractCollection
  • AbstractList
  • AbstractMap
  • AbstractQueue
  • AbstractSequentialList
  • AbstractSet
  • Dictionary
  • EnumSet

2.3. class

  • ArrayDeque
  • ArrayList
  • EnumMap
  • HashMap
  • HashSet
  • Hashtable
  • IdentityHashMap
  • LinkedHashMap
  • LinkedHashSet
  • LinkedList
  • PriorityQueue
  • Stack
  • TreeMap
  • TreeSet
  • Vector
  • WeakHashMap

没有 HashTable LinkedArrayList

1. 索引

  1. BTree

B-Tree是最常见的索引类型, 所有值(被索引的列)都是排过序的, 每个叶节点到跟节点距离相等.
所以B-Tree适合用来查找某一范围内的数据, 而且可以直接支持数据排序(ORDER BY)
B-Tree在MyISAM里的形式和Innodb稍有不同:
MyISAM表数据文件和索引文件是分离的, 索引文件仅保存数据记录的磁盘地址
InnoDB表数据文件本身就是主索引, 叶节点data域保存了完整的数据记录

  1. Hash

1.仅支持"=",“IN"和”<=>"精确查询, 不能使用范围查询:
由于Hash索引比较的是进行Hash运算之后的Hash值, 所以它只能用于等值的过滤, 不能用于基于范围的过滤, 因为经过相应的Hash算法处理之后的Hash
2.不支持排序:
由于Hash索引中存放的是经过Hash计算之后的Hash值, 而且Hash值的大小关系并不一定和Hash运算前的键值完全一样, 所以数据库无法利用索引的数据来避免任何排序运算
3.在任何时候都不能避免表扫描:
由于Hash索引比较的是进行Hash运算之后的Hash值, 所以即使取满足某个Hash键值的数据的记录条数, 也无法从Hash索引中直接完成查询, 还是要通过访问表中的实际数据进行相应的比较, 并得到相应的结果
4.检索效率高, 索引的检索可以一次定位, 不像B-Tree索引需要从根节点到枝节点, 最后才能访问到页节点这样多次的IO访问, 所以Hash索引的查询效率要远高于B-Tree索引
5.只有Memory引擎支持显式的Hash索引, 但是它的Hash是nonunique的, 冲突太多时也会影响查找性能.
Memory引擎默认的索引类型即是Hash索引, 虽然它也支持B-Tree索引

  1. FullText

即为全文索引, 目前只有MyISAM引擎支持.
其可以在CREATE TABLE , ALTER TABLE , CREATE INDEX 使用, 不过目前只有 CHAR, VARCHAR , TEXT 列上可以创建全文索引.
值得一提的是, 在数据量较大时候, 现将数据放入一个没有全局索引的表中, 然后再用CREATE INDEX创建FULLTEXT索引, 要比先为一张表建立FULLTEXT然后再将数据写入的速度快很多.

全文索引并不是和MyISAM一起诞生的, 它的出现是为了解决WHERE name LIKE *%word%"这类针对文本的模糊查询效率较低的问题.
在没有全文索引之前, 这样一个查询语句是要进行遍历数据表操作的, 可见, 在数据量较大时是极其的耗时的, 如果没有异步IO处理, 进程将被挟持, 很浪费时间

  1. RTree

R-Tree在MySQL很少使用, 仅支持geometry数据类型, 支持该类型的存储引擎只有MyISAM, BDb, InnoDb, NDb, Archive几种.

2. Todo

2.0.1. 逻辑架构

2.0.2. 问题

2.0.2.0.1. 锁
2.0.2.0.2. 优化
2.0.2.0.3. 分表分库对查询的影响
2.0.2.0.4. inner, left, right join的区别

SQL查询慢 如何处理?

  • 表结构有问题
    表字段太多, 有很多不太常用的字段, 可以按字段冷热分表
    没有建立索引
  • SQL需要优化
    SQL没有用到索引, 使用describe检查
    SQL太复杂, 裁剪成多个小查询
  • 排它锁更新数据, 导致查询变慢
  • 数据量太大
    分表分库
    读写分离
  • 服务器问题
    并发连接数过低
    云数据库访问慢
    内存, CPU等不足

3. 常见问题

3.1. error 2059: Authentication plugin ‘caching_sha2_password’ cannot be loaded

mysql-8 的验证方式变了, 改为了 caching_sha2_password
如果不修改配置 会出现这个错误