HashMap原理

关注

原创 2023-03-12 20:22:33 2.4k 阅读 AI 写同款· GEO 优化 ›

Pytorch图像去噪实战（七）：Noise2Noise自监督图像去噪实战，没有干净图也能训练模型 PyTorch图像去噪实战：Noise2Noise自监督去噪方法本文介绍了在没有干净图像的情况下使用Noise2Noise方法进行图像去噪的实战方案。主要内容包括：问题场景：真实项目中经常只有带噪图像而没有对应的干净图像，如夜间监控、医学影像等场景。 Noise2Noise核心思想：使用同一场景的两张不同噪声版本的图像进行训练（noisy_image_a → noisy_image_b），让模型学习恢复共同的干净结构而非随机噪声。技术原理：模型通过最小化两个独立噪声图像之间的差异，最终会收敛到真实干净阅读详情

初始化

从HashMap 源码中我们可以发现，HashMap的初始化有一下四种方式

//HashMap默认的初始容量大小 16，容量必须是2的幂
static final int DEFAULT_INITIAL_CAPACITY = 1 << 4; 
// HashMap最大容量
static final int MAXIMUM_CAPACITY = 1 << 30;
// 扩容阈值，当容量超过这个阈值时触发HashMap的扩容流程
int threshold;
// 加载因子，即数组填满的程度，也可以理解为数组的利用率,我们可以通过自己指定加载因子来决定数据的扩容时机
// 因子越大利用率越高，随之hash冲突的几率也更高
// 因子越小，hash冲突的几率更小，但是浪费空间
final float loadFactor;

/**
 * 第一种通过指定容量和加载因子创建一个空的hashMap
 * @param  initialCapacity 初始容量
 * @param  loadFactor      加载因子
 */
public HashMap(int initialCapacity, float loadFactor) {
    if (initialCapacity < 0)
        throw new IllegalArgumentException("Illegal initial capacity: " +
                                           initialCapacity);
    if (initialCapacity > MAXIMUM_CAPACITY)
        // 指定初始容量大于最大值时重置为最大值
        initialCapacity = MAXIMUM_CAPACITY;
    if (loadFactor <= 0 || Float.isNaN(loadFactor))
        throw new IllegalArgumentException("Illegal load factor: " +
                                           loadFactor);
    this.loadFactor = loadFactor;
    // 根据指定的初始容量计算出扩容的阈值
    this.threshold = tableSizeFor(initialCapacity);
}

/**
 * 返回一个2的次幂的阈值，这里通过或运算和位运算，计算得到离指定参数最近的2的次幂数
 * Returns a power of two size for the given target capacity.
 */
static final int tableSizeFor(int cap) {
    int n = cap - 1;
    n |= n >>> 1;
    n |= n >>> 2;
    n |= n >>> 4;
    n |= n >>> 8;
    n |= n >>> 16;
    return (n < 0) ? 1 : (n >= MAXIMUM_CAPACITY) ? MAXIMUM_CAPACITY : n + 1;
}


/**
 * 第二种通过指定初始容量创建，默认加载因子 0.75
 * @param  initialCapacity 初始容量
 */
public HashMap(int initialCapacity) {
    // 此处发现是直接调用的是第一种方法
    this(initialCapacity, DEFAULT_LOAD_FACTOR);
}

/**
 * 第三种创建空对象，指定默认加载因子
 */
public HashMap() {
    this.loadFactor = DEFAULT_LOAD_FACTOR; // all other fields defaulted
}

/**
 * 第四种传入一个已有map结构数据，创建一个新的HashMap
 * @param   m the map whose mappings are to be placed in this map
 */
public HashMap(Map<? extends K, ? extends V> m) {
    this.loadFactor = DEFAULT_LOAD_FACTOR;
    putMapEntries(m, false);
}

// 从以上几种创建方式我们发现HashMap在初始化时并不会设置初始容量，第一种方法中的参数也只是用于计算扩容的阈值，那么HashMap是什么时候才会初始化容量值呢？我们往下看。

put流程

public V put(K key, V value) {
    // put流程是先计算出key的hash值，然后再调用put方法执行插入流程
    return putVal(hash(key), key, value, false, true);
}

// 开始put流程
/**
 1. @param hash hash for key
 2. @param key the key
 3. @param value the value to put
 4. @param onlyIfAbsent if true, don't change existing value
 5. @param evict if false, the table is in creation mode.
 6. @return previous value, or null if none
 */
final V putVal(int hash, K key, V value, boolean onlyIfAbsent,
               boolean evict) {
    Node<K,V>[] tab; Node<K,V> p; int n, i;
    // 如果数组为空或者长度为0,直接从 resize() 方法获取长度， 这里 resize() 做了哪些事情我们先不关注，继续往下看 
    if ((tab = table) == null || (n = tab.length) == 0)
        n = (tab = resize()).length;
    if ((p = tab[i = (n - 1) & hash]) == null)
        //  (n - 1) & hash 计算key的下标，思考为什么要这么算？
        // 此处判断是否存在hash冲突，如果key所在下标为空直接创建node对象赋值
        tab[i] = newNode(hash, key, value, null);
    else {
        // 这里是发生了hash冲突的处理流程，p 就是冲突的Node
        Node<K,V> e; K k;
        if (p.hash == hash &&
            ((k = p.key) == key || (key != null && key.equals(k))))
            // 如果冲突的Node hash值与插入的相等，key也相等，则直接将旧值赋值给 e
            e = p;
        else if (p instanceof TreeNode)
            // 如果hash不等并且key不等，并且Node已经转成红黑树结构，则使用红黑树的方式插入元素
            e = ((TreeNode<K,V>)p).putTreeVal(this, tab, hash, key, value);
        else {
            // 如果hash不等并且key不等，并且还是链表结构，则遍历链表中的元素，
            for (int binCount = 0; ; ++binCount) {
                if ((e = p.next) == null) {
                    // 遍历链表，知道链表的最后一个元素，新建一个Node 赋值给节点的next
                    p.next = newNode(hash, key, value, null);
                    // 插入后判断此时链表的长度是否超过红黑树的阈值8，数组的长度是否超过64，超过则转换成红黑树结构
                    if (binCount >= TREEIFY_THRESHOLD - 1) // -1 for 1st
                        treeifyBin(tab, hash);
                    // 跳出循环
                    break;
                }
                if (e.hash == hash &&
                    ((k = e.key) == key || (key != null && key.equals(k))))
                    // 如果链表上元素值与插入值相等，跳出循环
                    break;
                // 如果元素不是最后节点，并且与插入元素不等，进行下一轮循环
                p = e;
            }
        }
        if (e != null) { // existing mapping for key
            // 通过上面的流程如果e不为空说明值已存在，拿出旧值 oldValue，并返回
            V oldValue = e.value;
            if (!onlyIfAbsent || oldValue == null)
                e.value = value;
            afterNodeAccess(e); // 空实现
            return oldValue;
        }
    }
    // 走到这一步说明插入的值不存在，数组长度size+1
    ++modCount;
    if (++size > threshold)
        // 判断插入元素后是否超过阈值，超过则扩容
        resize();
    afterNodeInsertion(evict); // 空实现
    return null;
}

分析完hashMap的put流程，下面我们做个简单总结，看看在put方法中主要做了哪些事情

首先判断数组是否为空，如果为空创建长度16的数组
通过与运算计算数组下标，如果对应下标没有元素直接创建新元素
如果对应小标已有元素，说明发生了hash冲突
先判断冲突的两个元素的hash值和key值是否相等，如果相等将值赋值给e变量
如果key不等，判断是否红黑树结构，如果是红黑树直接使用红黑树的方法新增元素
如果key不等并且不是红黑树结构，说明还是链表结构，直接遍历链表中的元素，如果数组长度超过阈值转换为红黑树
看得到的元素e是否为null，如果不为null说明元素已经存在，更新新值并返回旧值
如果e为null，说明没有重复元素，数组长度+1，modCount+1 最后再次判断数组长度是否超过阈值，大于则扩容

下面我们继续分析put方法中的几个重要的方法

hash - key的hash计算

static final int hash(Object key) {
    int h;
    return (key == null) ? 0 : (h = key.hashCode()) ^ (h >>> 16);
}
这里我们思考hashMap为什么要这样计算key的hash值呢？
我们先来看看他的运算过程
1.先判断key是否为null,如果为null，赋值为0
2.如果不为null,先获取key的hashCode()值，然后将hashCode的高16位右移到低位得到新值，最后将新值异或旧值得到最终结果
这样做的目的是为了将key分布的更加均匀

resize - 扩容

/**
 * Initializes or doubles table size.  If null, allocates in
 * accord with initial capacity target held in field threshold.
 * Otherwise, because we are using power-of-two expansion, the
 * elements from each bin must either stay at same index, or move
 * with a power of two offset in the new table.
 *
 * @return the table
 */
final Node<K,V>[] resize() {
    Node<K,V>[] oldTab = table;
    // 老容量
    int oldCap = (oldTab == null) ? 0 : oldTab.length;
    // 老阈值
    int oldThr = threshold;
    // 初始化新容量和阈值
    int newCap, newThr = 0;
    if (oldCap > 0) {
        // 如果老容量大于0，说明数组中已有元素
        if (oldCap >= MAXIMUM_CAPACITY) {
            // 如果老容量大于容量最大值直接返回，阈值也设置为Integer最大值
            threshold = Integer.MAX_VALUE;
            return oldTab;
        }
        else if ((newCap = oldCap << 1) < MAXIMUM_CAPACITY &&
                 oldCap >= DEFAULT_INITIAL_CAPACITY)
            // 如果老容量没到最大值，并且*2之后小于最大值， 并且大于等于初始容量,阈值也直接*2
            newThr = oldThr << 1; // double threshold
    }
    else if (oldThr > 0) // initial capacity was placed in threshold
        // 如果老阈值大于0，新容量设置为老阈值
        newCap = oldThr;
    else {               // zero initial threshold signifies using defaults
        // 走到这里说明容量和阈值都是0，初始化是调用resize(),就会走到这个判断，那么设置新容量为默认值16，阈值为容量16*0.75=12
        newCap = DEFAULT_INITIAL_CAPACITY;
        newThr = (int)(DEFAULT_LOAD_FACTOR * DEFAULT_INITIAL_CAPACITY);
    }
    if (newThr == 0) {
        // 新阈值等于0，新容量*加载因子得到阈值，然后判断新容量小于最大值，并且新阈值小于最大值都使用新的阈值，否则设置为最大值
        float ft = (float)newCap * loadFactor;
        newThr = (newCap < MAXIMUM_CAPACITY && ft < (float)MAXIMUM_CAPACITY ?
                  (int)ft : Integer.MAX_VALUE);
    }
    threshold = newThr;
    // 创建一个新容量长度的新数组
    Node<K,V>[] newTab = (Node<K,V>[])new Node[newCap];
    // 将新数组赋值给数组
    table = newTab;
    if (oldTab != null) {
        // 遍历老数组中每个元素
        for (int j = 0; j < oldCap; ++j) {
            Node<K,V> e;
            // 遍历老数组
            if ((e = oldTab[j]) != null) {
                // 取出值然后设置为空
                oldTab[j] = null;
                if (e.next == null)
                  // 如果元素没有链表，重新计算元素在新数组的下标并赋值
                    newTab[e.hash & (newCap - 1)] = e;
                else if (e instanceof TreeNode)
                    // 如果元素是红黑树结构，调用split方法将数放入新的数组
                    ((TreeNode<K,V>)e).split(this, newTab, j, oldCap);
                else { // preserve order
                    // 元素是链表，循环遍历将元素放入新数组
                    Node<K,V> loHead = null, loTail = null;
                    Node<K,V> hiHead = null, hiTail = null;
                    Node<K,V> next;
                    do {
                        next = e.next;
                        if ((e.hash & oldCap) == 0) {
                            if (loTail == null)
                                loHead = e;
                            else
                                loTail.next = e;
                            loTail = e;
                        }
                        else {
                            if (hiTail == null)
                                hiHead = e;
                            else
                                hiTail.next = e;
                            hiTail = e;
                        }
                    } while ((e = next) != null);
                    if (loTail != null) {
                        loTail.next = null;
                        newTab[j] = loHead;
                    }
                    if (hiTail != null) {
                        hiTail.next = null;
                        newTab[j + oldCap] = hiHead;
                    }
                }
            }
        }
    }
    return newTab;
}

HashMap中在初始化和扩容（链表长度大于8并且数组长度小于64）的时候都会调用resize方法，我们看看这个方法里主要做了哪些事

先判断老容量是否大于0，如果大于0并且大于等于最大值，设置阈值为Integer最大值，如果老容量小于最大值，并且2之后的容量也小于最大值，并且老容量大于等于默认值16，设置新阈值为老阈值2
如果老阈值大于0，设置新容量等于老阈值。
如果老容量和老阈值都不大于0，说明是新数组进度初始化，容量为16，阈值为16*0.75=12
如果新阈值还是0，用新容量*0.75得到一个阈值，然后判断阈值范围得到最终的新阈值
将得到的新阈值和新数组分别设置到HashMap的实例属性中
如果老数据不为空，则重新计算元素小标插入新的数组中

newNode - 创建新元素

Node<K,V> newNode(int hash, K key, V value, Node<K,V> next) {
    return new Node<>(hash, key, value, next);
}

putTreeVal - 元素插入红黑树

/**
 * Tree version of putVal.
 */
final TreeNode<K,V> putTreeVal(HashMap<K,V> map, Node<K,V>[] tab, int h, K k, V v) {
    // key的Class对象
    Class<?> kc = null;
    boolean searched = false;
    // 获取根节点
    TreeNode<K,V> root = (parent != null) ? root() : this;
    // 开始循环遍历红黑树中所有节点
    for (TreeNode<K,V> p = root;;) {
       // dir 是一个标识，1表示放在节点右边，-1表示放在节点左边
       // ph 当前节点的hash
       // pk 当前节点的key
        int dir, ph; K pk;
        if ((ph = p.hash) > h)
            dir = -1;
        else if (ph < h)
            dir = 1;
        else if ((pk = p.key) == k || (k != null && k.equals(pk)))
            // 判断当前节点的值和插入的值一样，直接返回获取的节点
            return p;
        else if ((kc == null &&
                  (kc = comparableClassFor(k)) == null) ||
                 (dir = compareComparables(kc, k, pk)) == 0) {
            // 当前节点的hash值相等，但是equals不等                                      
            if (!searched) {
                // searched 标识是否已经比较当前节点的左右子节点
                TreeNode<K,V> q, ch;
                searched = true;
                // 在节点的节点的左右子节点递归查找，如果找到相同的值则直接返回
                if (((ch = p.left) != null &&
                     (q = ch.find(h, k, kc)) != null) ||
                    ((ch = p.right) != null &&
                     (q = ch.find(h, k, kc)) != null))
                    return q;
            }
            // 走到这一步说明没有找到相同的节点，比较插入的key和当前节点的key,计算出元素是往左插入还是往右插入
            dir = tieBreakOrder(k, pk);
        }

        TreeNode<K,V> xp = p;
        // 如果计算得到的dir 小于等于0，往左插入，大于0往右插入，并且节点为空
        if ((p = (dir <= 0) ? p.left : p.right) == null) {
            Node<K,V> xpn = xp.next;
            TreeNode<K,V> x = map.newTreeNode(h, k, v, xpn);
            if (dir <= 0)
                xp.left = x;
            else
                xp.right = x;
            // 将当前节点的下一个节点指向新节点
            xp.next = x;
            // 新节点的父节点和前节点设置为当前节点
            x.parent = x.prev = xp;
            if (xpn != null)
                ((TreeNode<K,V>)xpn).prev = x;
            // 重新平衡红黑树
            moveRootToFront(tab, balanceInsertion(root, x));
            return null;
        }
    }
}

treeifyBin - 红黑树扩容

/**
 * Replaces all linked nodes in bin at index for given hash unless
 * table is too small, in which case resizes instead.
 */
final void treeifyBin(Node<K,V>[] tab, int hash) {
    int n, index; Node<K,V> e;
    if (tab == null || (n = tab.length) < MIN_TREEIFY_CAPACITY)
        // 数组为空或者链表长度大于8，并且数组长度小于64,进行扩容
        resize();
    else if ((e = tab[index = (n - 1) & hash]) != null) {
        // 将链表转成红黑树
        TreeNode<K,V> hd = null, tl = null;
        do {
            // 将原链表中节点重新创建新的红黑树节点
            TreeNode<K,V> p = replacementTreeNode(e, null);
            if (tl == null)
                hd = p;
            else {
                p.prev = tl;
                tl.next = p;
            }
            tl = p;
        } while ((e = e.next) != null);
        if ((tab[index] = hd) != null)
            // 头节点不为空调用该方法转红黑树
            hd.treeify(tab);
    }
}

/**
 * Forms tree of the nodes linked from this node.
 * @return root of tree
 */
final void treeify(Node<K,V>[] tab) {
    // 定义一个根节点
    TreeNode<K,V> root = null;
    // 遍历链表，this表示当前节点，next表示下一节点
    for (TreeNode<K,V> x = this, next; x != null; x = next) {
        next = (TreeNode<K,V>)x.next;
        x.left = x.right = null;
        if (root == null) {
            // root为空说明是第一个节点，将父节点设置为空
            x.parent = null;
            x.red = false;
            root = x;
        }
        else {
            // 处理后续节点，获取当前节点的key,hash，这里逻辑跟往红黑树中插入元素基本一致
            K k = x.key;
            int h = x.hash;
            Class<?> kc = null;
            for (TreeNode<K,V> p = root;;) {
                int dir, ph;
                K pk = p.key;
                if ((ph = p.hash) > h)
                    dir = -1;
                else if (ph < h)
                    dir = 1;
                else if ((kc == null &&
                          (kc = comparableClassFor(k)) == null) ||
                         (dir = compareComparables(kc, k, pk)) == 0)
                    dir = tieBreakOrder(k, pk);

                TreeNode<K,V> xp = p;
                if ((p = (dir <= 0) ? p.left : p.right) == null) {
                    x.parent = xp;
                    if (dir <= 0)
                        xp.left = x;
                    else
                        xp.right = x;
                    root = balanceInsertion(root, x);
                    break;
                }
            }
        }
    }
       
    // 把所有的链表节点都遍历完之后，最终构造出来的树可能经历多个平衡操作，根节点目前到底是链表的哪一个节点是不确定的
    // 因为我们要基于树来做查找，所以就应该把 tab[N] 得到的对象一定根节点对象，而目前只是链表的第一个节点对象，所以要做相应的处理。
    moveRootToFront(tab, root);
}

HashMap 在 Put 时，新链表节点是放在头部还是尾部

// 上面我们分析完HashMap的put流程，从下面这段代码可以看出1.8是采用尾插法新增元素
for (int binCount = 0; ; ++binCount) {
    if ((e = p.next) == null) {
        p.next = newNode(hash, key, value, null);
        if (binCount >= TREEIFY_THRESHOLD - 1) // -1 for 1st
            treeifyBin(tab, hash);
        break;
    }
    if (e.hash == hash &&
        ((k = e.key) == key || (key != null && key.equals(k))))
        break;
    p = e;
}

1.8如何减少hash冲突

什么是hash冲突

哈希冲突是由于hash算法被计算的数据是无限的,而计算后的结果范围是有限的，所以总会存在不同的数据计算后得到的值是一样的,那将会存在同一个位置,就会出现哈希冲突。

解决哈希冲突的方法

开放地址法：也称线性探测法,就是从发生冲突的那个位置,按照一定次序从Hash表中找到一个空闲的位置, 把发生冲突的元素存入到这个位置。而在java种ThreadLocal就用到了线性探测法,来解决Hash冲突。
链式寻址法：通过单向链表的方式来解决哈希冲突，Hashmap就是用了这个方法。(但会存在链表过长增加遍历时间)
再哈希法：key通过某个哈希函数计算得到冲突的时候,再次使用哈希函数的方法对key哈希一直运算直到不产生冲突为止（耗时间,性能会有影响）
建立公共溢出区:就是把Hash表分为基本表和溢出表两个部分，凡是存在冲突的元素，一律放到溢出表中
HashMap在JDK1.8版本中是通过链式寻址法以及红黑树来解决Hash冲突的问题，其中红黑树是为了优化Hash表的链表过长导致时间复杂度增加的问题，当链表长度大于等于8并且Hash表的容量大于64的时候，再向链表添加元素，就会触发链表向红黑树的一个转化

get流程

public V get(Object key) {
    Node<K,V> e;
    return (e = getNode(hash(key), key)) == null ? null : e.value;
}

final Node<K,V> getNode(int hash, Object key) {
    Node<K,V>[] tab; Node<K,V> first, e; int n; K k;
    if ((tab = table) != null && (n = tab.length) > 0 &&
        (first = tab[(n - 1) & hash]) != null) {
        // 数组不为空，并且数组长度大于0并且所查找的key对应下标不为空
        if (first.hash == hash && // always check first node
            ((k = first.key) == key || (key != null && key.equals(k))))
            // 如果key,hash相等直接返回
            return first;
        if ((e = first.next) != null) {
            // 查找后续链表
            if (first instanceof TreeNode)
                // 如果节点是红黑树，则以红黑树的方式查找
                return ((TreeNode<K,V>)first).getTreeNode(hash, key);
            do {
                // 到这里说明是链表，遍历链表查找匹配的元素，否则直接返回空
                if (e.hash == hash &&
                    ((k = e.key) == key || (key != null && key.equals(k))))
                    return e;
            } while ((e = e.next) != null);
        }
    }
    return null;
}

加载因子为什么是0.75

加载因子 = 填入表中的元素个数 / 散列表的长度
加载因子越大，填满的元素越多，空间利用率越高，但发生冲突的机会变大了；
加载因子越小，填满的元素越少，冲突发生的机会减小，但空间浪费了更多了，而且还会提高扩容rehash操作的次数。
冲突的机会越大，说明需要查找的数据还需要通过另一个途径查找，这样查找的成本就越高。因此，必须在“冲突的机会”与“空间利用率”之间，寻找一种平衡与折衷。
负载因子是0.75的时候，空间利用率比较高，而且避免了相当多的Hash冲突，使得底层的链表或者是红黑树的高度比较低，提升了空间效率。

HashMap 的容量为什么建议是 2的幂次方？

如果不是2的幂次方的话，会导致大量的key存在同一个槽中，导致链表集中部分的槽上，影响性能

HashMap的并发问题

死循环：在链表转换成红黑数的时候无法跳出等多个地方都会出现这个问题。
put数据丢失
size计算不准：size只是用了transient关键字修饰,在各个线程中的size不会及时同步，在多个线程操作的时候，size将会被覆盖。

HashMap 在 JDK 1.8 有什么改变

结构变化：1.7是数组+链表，1.8是数组+链表+红黑树
插入方式：1.7是头插法，1.8是尾插法

拉链法导致的链表过深问题为什么不用二叉查找树代替，而选择红黑树？为什么不一直使用红黑树？

选择红黑树是为了解决二叉查找树的缺陷，二叉查找树在特殊情况下会变成一条线性结构（这就跟原来使用链表结构一样了，造成很深的问题），遍历查找会非常慢。而红黑树在插入新数据后可能需要通过左旋，右旋、变色这些操作来保持平衡，引入红黑树就是为了查找数据快，解决链表查询深度的问题，我们知道红黑树属于平衡二叉树，但是为了保持“平衡”是需要付出代价的，但是该代价所损耗的资源要比遍历线性链表要少，所以当长度大于8的时候，会使用红黑树，如果链表长度很短的话，根本不需要引入红黑树，引入反而会慢。

收录于