hibernate.jdbc.fetch_size 和 hibernate.jdbc.batch_size

本文详细介绍了在使用Hibernate进行CRUD操作时,如何通过合理设置FetchSize和BatchSize来显著提高性能。针对不同数据库类型,如Oracle和MySQL,提供了具体的设置建议,包括FetchSize的最佳取值范围和BatchSize对批量操作性能的影响。

hibernate.jdbc.fetch_size 和 hibernate.jdbc.batch_size

     hibernate.jdbc.fetch_size 50

     hibernate.jdbc.batch_size 25

     这两个选项非常重要!!!将严重影响Hibernate的CRUD性能!

 

     Fetch Size 是设定JDBC的Statement读取数据的时候每次从数据库中取出的记录条数。例如一次查询1万条记录,对于Oracle的JDBC驱动来说,是不会 1次性把1万条取出来的,而只会取出Fetch Size条数,当纪录集遍历完了这些记录以后,再去数据库取Fetch Size条数据。因此大大节省了无谓的内存消耗。当然Fetch Size设的越大,读数据库的次数越少,速度越快;Fetch Size越小,读数据库的次数越多,速度越慢。这有点像平时我们写程序写硬盘文件一样,设立一个Buffer,每次写入Buffer,等Buffer满了 以后,一次写入硬盘,道理相同。

     Oracle数据库的JDBC驱动默认的Fetch Size=10,是一个非常保守的设定,根据测试,当Fetch Size=50的时候,性能会提升1倍之多,当Fetch Size=100,性能还能继续提升20%,Fetch Size继续增大,性能提升的就不显著了,反而会消耗过多的内存 因此建议使用Oracle时至少要将Fetch Size设到50

     不过并不是所有的数据库都支持Fetch Size特性,例如MySQL就不支持 。MySQL就像上面说的那种最坏的情况,他总是一下就把1万条记录完全取出来,内存消耗会非常非常惊人!这个情况就没有什么好办法了。

     Batch Size是设定对数据库进行批量删除,批量更新和批量插入的时候的批次大小,有点相当于设置Buffer缓冲区大小的意思。Batch Size越大,批量操作的向数据库发送sql的次数越少,速度就越快。一个测试结果是当Batch Size=0的时候,使用Hibernate对Oracle数据库删除1万条记录需要25秒,Batch Size = 50的时候,删除仅仅需要5秒!!!   

     另外hibernate.max_fetch_depth 设置外连接抓取树的最大深度取值. 建议设置为0到3之间。就是每次你在查询时,会级联查询的深度,譬如你对关联vo设置了eager的话,如果fetch_depth值太小的话,会发多很 多条sql,影响查询速率。

这个是我的配置信息有没有需要修改的 spring: redis: host: 10.224.206.16 port: 6379 password: Siq2025redisZS datasource: type: com.zaxxer.hikari.HikariDataSource kafka: bootstrap-servers: 10.224.206.16:9092 listener: type: batch producer: acks: 1 batch-size: 16384 retries: 0 buffer-memory: 33554432 key-serializer: org.apache.kafka.common.serialization.StringSerializer value-serializer: org.apache.kafka.common.serialization.StringSerializer consumer: group-id: myGroup enable-auto-commit: true auto-commit-interval: 100 key-deserializer: org.apache.kafka.common.serialization.StringDeserializer value-deserializer: org.apache.kafka.common.serialization.StringDeserializer shardingsphere: mode: type: Memory repository: type: JDBC overwrite: false datasource: names: enterprise-info,tag,app enterprise-info: type: com.zaxxer.hikari.HikariDataSource driver-class-name: dm.jdbc.driver.DmDriver jdbc-url: jdbc:dm://10.224.206.78:5236/DAMENG?zeroDateTimeBehavior=convertToNull&useUnicode=true&characterEncoding=utf-8&allowMultiQueries=true username: SYSDBA password: Dm123456 minimum-idle: 5 idle-timeout: 180000 maximum-pool-size: 300 max-lifetime: 0 connection-timeout: 30000 connection-test-query: select 1 connection-init-sql: SET SCHEMA ENTERPRISE_INFO tag: type: com.zaxxer.hikari.HikariDataSource driver-class-name: dm.jdbc.driver.DmDriver jdbc-url: jdbc:dm://10.224.206.78:5236/DAMENG?zeroDateTimeBehavior=convertToNull&useUnicode=true&characterEncoding=utf-8&allowMultiQueries=true username: SYSDBA password: Dm123456 minimum-idle: 5 idle-timeout: 180000 maximum-pool-size: 300 max-lifetime: 0 connection-timeout: 30000 connection-test-query: select 1 connection-init-sql: SET SCHEMA TAG app: type: com.zaxxer.hikari.HikariDataSource driver-class-name: dm.jdbc.driver.DmDriver jdbc-url: jdbc:dm://10.224.206.78:5236/DAMENG?zeroDateTimeBehavior=convertToNull&useUnicode=true&characterEncoding=utf-8&allowMultiQueries=true username: SYSDBA password: Dm123456 minimum-idle: 5 idle-timeout: 180000 maximum-pool-size: 300 max-lifetime: 0 connection-timeout: 30000 connection-test-query: select 1 connection-init-sql: SET SCHEMA APP rules: - type: SHARDING tables: enterprise_factdata_daily: actualDataNodes: enterprise-info.enterprise_factdata_daily$->{0..31} tableStrategy: standard: shardingColumn: social_creditcode shardingAlgorithmName: table-sharding-algorithm shardingAlgorithms: table-sharding-algorithm: type: CLASS_BASED props: strategy: standard algorithmClassName: com.tencent.egb.job.configuration.TableShardingAlgorithm props: # 关键配置:禁用数据库元数据检查 check-database-metadata-enabled: false check-table-metadata-enabled: false sql-show: false query-with-cipher-column: true check-duplicate-table-enabled: false proxy-frontend-flush-threshold: 128 sql-comment-parse-enabled: false jpa: database-platform: org.hibernate.dialect.DmDialect show-sql: true hibernate: ddl-auto: validate naming: physical-strategy: org.hibernate.boot.model.naming.PhysicalNamingStrategyStandardImpl properties: hibernate: default_schema: ENTERPRISE_INFO dialect: org.hibernate.dialect.DmDialect hibernate.dialect.storage_engine: dm globally_quoted_identifiers: true globally_quoted_identifiers_skip_column_definitions: true jdbc.batch_size: 50 jdbc.fetch_size: 100 jdbc.time_zone: Asia/Shanghai temp.use_jdbc_metadata_defaults: false hibernate.length_force_inline: true hibernate.varchar.maxlength: 8188 format_sql: true use_sql_comments: true
08-28
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值