CRC32 vs Java.HashCode

最新推荐文章于 2024-12-30 16:00:08 发布
原创 最新推荐文章于 2024-12-30 16:00:08 发布 · 2.6k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#算法

本文通过实验对比了CRC32与Java HashCode两种算法在27万中文词库上的冲突率及速度表现，并详细介绍了CRC的工作原理及Java String hashCode的计算方式。
找了容量为27万中文词库进行试验
   CRC32 中冲突率 < 0.01%
   而 Java.HashCode 有 4%
   hashCode 的速度 应该比 CRC 快 2-3 倍

CRC 实际上就是求余数，
　　　１）被除数是确定好的，被除数首位要求是１（可以理解，因为０，就相当于会少一位），尾数也要求是１（为何）
　　　２）CRC8 是指余数是８位，那么被除数就是９位，CRC16,被除数１７位，３２那么被除数应该是３３位了
　　　３）CRC采用不借位，不进位的加减法，所有都变成了异或操作
　　　４）利用异或交换率，CRC可以由计算法改为查表法提高效率

 Java 的HashCode      
      java String hashCode 的算法       
      s[0]*31^(n-1) + s[1]*31^(n-2) + ... + s[n-1]
      using int arithmetic, where s[i] is the ith character of the string, n is the length of the string, and ^ indicates exponentiation. (The hash value of the empty string is zero.)
java-基础-hashcode()及其优化
阿里Darker
07-30 1962
哈希表这个数据结构想必大多数人都不陌生，而且在很多地方都会利用到hash表来提高查找效率。在Java的Object类中有一个方法:public native int hashCode();根据这个方法的声明可知，该方法返回一个int类型的数值，并且是本地方法，因此在Object类中并没有给出具体的实现对于包含容器类型的程序设计语言来说，基本上都会涉及到hashCode。在Java中也一样，hashC
Java语言实现CRC32校验
荷年再相见的博客
06-01 2215
源代码： package crcNew; public class CRC32 { private int crc; private String mx; public CRC32(String mx) { crc = 0x00000000; this.mx = mx; getCrc(); } private void crc(byte data) { int p
Java 实现CRC32校验和MD5
热门推荐
lichao_ustc的专栏
06-13 1万+
现在发现Java中也有现成的函数可以调用，详细代码如下： CRC32 crc32 = new CRC32(); crc32.update("abc".getBytes()); System.out.println(crc32.getValue());
hash，哈希算法，MD5，SHA1，CRC32值校验
08-21
不多说了，看它的效果！ 文件名: F:\QQ2009SP3.exe 文件大小: 27583816 字节 版本: 1.31.1025.0 MD5: 79C200CE5A91DAA90B78540844BCDAF9 SHA1: 91558E1D3F1AB22AB8594EB14B0090E4AF646002 CRC32: 507CD19A
科普文：Java基础之算法系列【一文搞懂CRC32哈希、及其应用】
为无为，事无事，味无味。
12-30 1774
CRC（Cyclic Redundancy Check，循环冗余校验）是一种常用的哈希算法，主要用于检测数据的完整性，因此循环冗余校验算法CRC也是一种广泛使用的数据校验算法，用于检测数据在传输或存储过程中是否出现错误。 CRC系列算法通过特定的多项式对数据进行除法运算，生成一个固定长度的校验码，接收方通过重新计算校验码并与接收到的校验码进行比较，以验证数据的完整性。 CRC算法基本原理 CRC算法基于多项式除法，它将数据视为一个多项式，并使用预设的生成多项式进行除法运算。运算的最终余数作为CRC校验值
哈希（散列，Hash）算法总结-java版
许诗宇的博客
05-08 2532
目录 哈希算法简介 哈希算法的分类 加法Hash 位运算Hash 乘法Hash 除法Hash 查表Hash 混合Hash 常用的哈希算法 直接寻址法 数字分析法 平方取中法 折叠法 随机数法 除留余数法 流行的哈希算法 MD4 MD5 SHA及其他 碰撞性 哈希算法在java中的使用 Object Integer Long String Ha...
hash crc32_一致性Hash
weixin_39887715的博客
11-21 592
概念： 分布式环境下，通过将某个服务节点（其他资源也一样）进行hash运算后映射到一个数据环上（一般大小为2的32次方），之后请求访问节点时按照顺时针选取最近的节点。特性： 1）平衡性(Balance) 2）单调性(Monotonicity） 3）分散性(Spread) 4）负载(Load) 5）平滑性(Smoothness)hash算法：crc32_hash、fnv1_3...
mysql 求 java的hashcode()方法的值
06-06
在 MySQL 中，可以使用内置函数 `CRC32()` 来计算 Java 中字符串的 `hashCode()` 值。 Java 中字符串的 `hashCode()` 值是通过将字符串转换为 Unicode 编码，然后使用一个特定的算法计算出来的。在 MySQL 中，我们...
Kafka核心知识总结！
weixin_70730532的博客
07-04 786
Apache Kafka是由LinkedIn采用Scala和Java开发的开源流处理软件平台，并捐赠给了Apache Software Foundation。该项目旨在提供统一的、高吞吐量、低延迟的平台来处理实时数据流。Kafka可以通过Kafka Connect连接到外部系统，并提供了Kafka Streams。「Kafka的特性」Kafka是一种分布式的，基于发布/订阅的消息系统，主要特性如下：「Kafka版本命名」我们在官网上下载Kafka时，会看到这样的版本：前面的版本号是编译Kafka源代码的Sc
你提供的这个代码启动后修改表结构不执行我的逻辑package com.example.warning.schedule; import javax.sql.DataSource; import java.sql.*; import java.util.Timer; import java.util.TimerTask; import java.util.concurrent.atomic.AtomicBoolean; import java.util.function.Consumer; /** * 表变更监控工具 * 功能：检测表重建或数据变更事件 */ public class TableChangeMonitor { private final DataSource dataSource; private final String tableName; private final long checkInterval; private final Consumer<Void> onChangeHandler; private final Timer timer = new Timer(true); private final AtomicBoolean isMonitoring = new AtomicBoolean(false); private String lastDataHash; private boolean lastTableExists; public TableChangeMonitor(DataSource dataSource, String tableName, long checkInterval, Consumer<Void> onChangeHandler) { this.dataSource = dataSource; this.tableName = tableName; this.checkInterval = checkInterval; this.onChangeHandler = onChangeHandler; initializeState(); } /** * 初始化监控状态 */ private void initializeState() { this.lastTableExists = checkTableExists(); this.lastDataHash = lastTableExists ? calculateDataHash() : ""; } /** * 启动监控 */ public void start() { if (isMonitoring.compareAndSet(false, true)) { timer.scheduleAtFixedRate(new MonitorTask(), 0, checkInterval); } } /** * 停止监控 */ public void stop() { if (isMonitoring.compareAndSet(true, false)) { timer.cancel(); } } /** * 监控任务 */ private class MonitorTask extends TimerTask { @Override public void run() { boolean currentTableExists = checkTableExists(); String currentDataHash = currentTableExists ? calculateDataHash() : ""; // 检测变更：表重建或数据变化 if ((!lastTableExists && currentTableExists) || (lastTableExists && currentTableExists && !currentDataHash.equals(lastDataHash))) { onChangeHandler.accept(null); // 触发变更处理 } // 更新状态 lastTableExists = currentTableExists; lastDataHash = currentDataHash; } } /** * 检查表是否存在 */ private boolean checkTableExists() { try (Connection conn = dataSource.getConnection(); ResultSet rs = conn.getMetaData().getTables(null, null, tableName, null)) { return rs.next(); } catch (SQLException e) { return false; } } /** * 计算数据哈希（行数 + 数据校验和） */ private String calculateDataHash() { String sql = String.format( "SELECT COUNT(*) AS cnt, COALESCE(SUM(CRC32(CONCAT_WS(',', *))), 0) AS chk FROM %s", tableName ); try (Connection conn = dataSource.getConnection(); Statement stmt = conn.createStatement(); ResultSet rs = stmt.executeQuery(sql)) { if (rs.next()) { return rs.getLong("cnt") + ":" + rs.getLong("chk"); } } catch (SQLException e) { // 表存在但无数据 } return "0:0"; } } package com.example.warning.config; import com.example.warning.schedule.TableChangeMonitor; import com.example.warning.service.WarningService; import org.springframework.beans.factory.annotation.Autowired; import org.springframework.context.annotation.Bean; import org.springframework.context.annotation.Configuration; import javax.sql.DataSource; @Configuration public class MonitorConfig { @Autowired private WarningService warningService; @Bean public TableChangeMonitor tableChangeMonitor(DataSource dataSource) { return new TableChangeMonitor( dataSource, "ads_bpm_early_warning", // 替换为实际表名 5000, // 检查间隔(毫秒) event -> runYourProgram() // 变更处理 ); } private void runYourProgram() { // 实现您的业务逻辑 System.out.println("检测到表变更，执行业务程序"); warningService.processWarnings(); } }package com.example.warning.util; import com.example.warning.schedule.TableChangeMonitor; import jakarta.annotation.PostConstruct; import jakarta.annotation.PreDestroy; import org.springframework.boot.CommandLineRunner; import org.springframework.stereotype.Component; @Component public class MonitorStarter implements CommandLineRunner { private final TableChangeMonitor monitor; // 通过构造器注入依赖 public MonitorStarter(TableChangeMonitor monitor) { this.monitor = monitor; } @PostConstruct public void init() { System.out.println("✅ 监控组件初始化完成"); // 这里可以添加初始化逻辑（如：连接池预热） } @Override public void run(String... args) { monitor.start(); System.out.println("✅ 表变更监控已启动"); } @PreDestroy public void cleanup() { monitor.stop(); System.out.println("🛑 监控已停止，资源已释放"); // 这里可以添加清理逻辑（如：关闭文件句柄） } }
最新发布
10-10
此外，还应该注意：计算哈希值的SQL语句`SELECT COUNT(*) AS cnt, COALESCE(SUM(CRC32(CONCAT_WS(',', *))), 0) AS chk FROM ...`在表数据量很大时可能会很慢，而且会锁表（取决于存储引擎）。如果对实时性要求不高...
[java]深入到Hashcode内部
weixin_34363171的博客
11-13 146
[java]深入到Hashcode内部 在java编程中hashcode(哈希编码)是一个很常见的词。自从java设计者使用了基于哈希算法的散列结构，它就通过哈希编码提供了内部支持。所有的类都从Object类继承了hashcode方法。这个方法返回了一个在32位机器中对于所有对象都唯一的32位整数型数字。 Hashcode 和 ==对于3...
64Bit & 32Bit HashCode
weixin_30633507的博客
03-21 383
以下为64位和32位的hash值计算方法 public class HashUtil { private static final long FNV_64_INIT = 0xcbf29ce484222325L; private static final long FNV_64_PRIME = 0x100000001b3L; private static fin...
java CRC16算法，分解一个大Key实例。和各种hash算法代码
jingqiang521的专栏
03-09 2308
[java] view plain copy   package org.rui.hi;      /**   * 测试： 解决场景:把1亿的用户 存储在一个队列里，过大。用sharding 摸拟redis 集群 sharding Redis   * 集群使用数据分片（sharding）而非一致性哈希（consistency hashing）来实现： 一个 Re
mysql fnv64函数_把string映射到64位的hashcode值方法
weixin_42395219的博客
02-01 413
可以参考xmemcached 的实现，源码如下：public enum HashAlgorithm {/*** Native hash (String.hashCode()).*/NATIVE_HASH,/*** CRC32_HASH as used by the perl API. This will be more consistent both* across multiple API us...
hashCode的性能优化
ScutKevinYzy的博客
04-27 365
本文主要讨论下不同的hashCode()实现对应用程序的性能影响。 hashCode()方法的一个主要作用就是使得对象能够成为哈希表的key或者散列集的成员。但同时这个对象还得实现equals(Object)方法，它和hashCode()的实现必须是一致的： 如果a.equals(b)那么a.hashCode == b.hashCode() 如果hashCode()在同一个对象上被调用两次，它应该...
hashCode()方法的性能优化
weixin_34257076的博客
04-06 185
原文链接，译文链接，原文作者：Robert Nystrom，译者：有孚 本文主要讨论下不同的hashCode()的实现对应用程序的性能影响。 hashCode()方法的一个主要作用就是使得对象能够成为哈希表的key或者散列集的成员。但同时这个对象还得实现equals(Object)方法，它和hashCode()的实现必须是一致的： 如果a.equal...
crc32碰撞_hash碰撞的概率和可能性比你直觉中大得多
weixin_39540178的博客
11-21 4353
注：这篇文章源自我10年前写的博客，今天看到有人谈密码安全的，再发一遍和大家讨论下。我发现哪怕10年后，这文章也没过时，很多人还是没拎清 冲突概率和样本空间的关系。 前段时间跟某大牛叽歪的时候，被提到我写的一篇文章(用CRC32实现短网址的一篇)里提到的CRC32算法有误。今天写代码，恰好需要用到这个函数，想起来了，就又回去看了下。确认了下，原先的文章并没有错误，但是有一处描述是很有问题的。 原文...
hash crc32_图解一致性hash算法和实现
weixin_39886619的博客
11-18 2039
更多内容，欢迎关注微信公众号：全菜工程师小辉~一致性hash算法是什么？一致性hash算法，是麻省理工学院1997年提出的一种算法，目前主要应用于分布式缓存当中。一致性hash算法可以有效地解决分布式存储结构下动态增加和删除节点所带来的问题。在Memcached、Key-Value Store、Bittorrent DHT、LVS中都采用了一致性hash算法，可以说一致性hash算法是分布式系统负...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值