solr导入百万级的数据库内存溢出

配置Solr批量导入优化
最新推荐文章于 2023-06-04 02:28:42 发布
原创 最新推荐文章于 2023-06-04 02:28:42 发布 · 2.8k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#solr #内存溢出 #数据库

本文介绍如何通过修改data-config.xml文件中的<dataSource>标签来优化Solr的数据批量导入设置，具体步骤包括添加batchSize属性并设置其值为-1，以及重启Tomcat服务等。

在data-config.xml文件<dataSource>标签里添加batchSize="-1"；

如下：

<dataSource name="solrDB" type="JdbcDataSource" driver="com.mysql.jdbc.Driver" batchSize="-1"
url="jdbc:mysql://192.168.0.141:3306/onion"
 user="root" password="iycong"/>
<document>

然后重启tomcat；

进入solr管理界面dataimport


BugNull
关注
后端 Spring Data Solr 数据更新与同步机制
欢迎来到我的优快云空间！这里聚焦AI大模型应用实战，分享前沿技术、实战案例与开发经验。
05-02 568
在现代企业应用中，搜索功能已成为不可或缺的核心组件。Apache Solr作为一款高性能的企业级搜索平台，被广泛应用于各种业务场景。然而，如何确保Solr索引数据与源数据库保持同步，是开发者面临的重要挑战。本文旨在全面解析Spring Data Solr框架下的数据更新与同步机制，涵盖从基础概念到高级应用的完整知识体系。Spring Data Solr与原生Solr客户端的区别与优势数据同步的基本模式与实现策略高并发环境下的数据一致性保障性能优化与异常处理的最佳实践。
Solr 7 的响应速度竟然可以提高10倍!?
Greenplum中文社区
10-14 649
了解更多Greenplum技术干货，欢迎访问Greenplum中文社区网站 ​Apache Solr是一款基于Apache Lucene的高效文本检索引擎，它具有容错性（fault tolerant），高可用（highly availability），易扩展（scalability），分布式（distribution）等特点，在世界上著名的大型应用和网站中被广泛使用，如eBay, Instagram, Netflix等。 GPText是 Greenplum生态系统的一部分。它无缝集成了Greenplum.
释放solr内存
10-21
java -jar gcsolrutil.jar ，即可释放运行的solr的内存情况
全量导入数据 导致solr内存溢出 崩溃问题解决
weixin_30455365的博客
06-20 714
在 data-config.xml 文件中 增加一个参数即可： batchSize="-1" 转载于:https://www.cnblogs.com/wangmy/p/7054130.html
在solr中使用dataimport导入数据报内存溢出问题
cx1006784951的博客
04-22 1692
solr-7.3.0\bin>Exception in thread "Thread-21" java.lang.OutOfMemoryError: Java heap space at com.mysql.jdbc.MysqlIO.readPacket(MysqlIO.java:604) at com.mysql.jdbc.MysqlIO.getResult...
solr 亿万级数据查询性能测试
生活要继续的专栏
10-14 1万+
废话不多说，我电脑配置 i7四核cpu 8G内存 插入数据文档中有5个字段，其中有两个分词，一个int,一个date 批量插入测试一次10万循环10次总共100万用时85秒 批量插入测试一次10万循环100次总共1000万用时865秒 插入性能还是不错的 查询测试 在12166454数据中（约等于一千两百万）总共占用硬盘2.8G 查询分词字段 title:中国用时0.031秒
解决Solr对Mysql做数据导入时内存溢出的问题
yuwenruli的专栏
12-24 2547
近日在对Mysql数据做索引的时候，由于数据量太大（百万级），所以在索引过程中经常会内存溢出，在网上上找了不少解决的办法都没有效果，BatchSize不起作用，应该是Mysql不支持Batch操作。搞的非常恼火，觉得Solr怎么对这么常见的问题都没有解决办法，实在不行就只能通过手写SQL的方式来分批导入了。     抱着最后一点期望向前辈同事请教，结果他门前也是遇到过这样的问题，自己写了一个
Solr连接SQL Server与Oracle数据库的JAR包配置
Solr数据库连接是现代企业级搜索系统中一个至关重要的环节，尤其是在需要将结构化数据从关系型数据库（如SQL Server和Oracle）高效导入到Solr索引中的场景下。本资源标题为“Solr数据库连接[SQL,Oracle]”，描述中...
solr深入浅出
02-25
这涉及到Schema设计（如哪些字段应被索引，哪些应被存储），配置优化（mergeFactor、缓存设置等），内存管理（防止内存溢出，合理分配JVM内存），以及更新频率和查询响应压缩等方面的权衡。 总的来说，掌握Solr的...
在Win10上使用Tomcat9部署Solr搜索引擎
solr核心创建完成后，可以通过API导入数据并建立索引，也可以使用dataimport功能，与关系数据库同步数据，实现数据的自动索引。 7. 实现搜索。solr核心索引完成后，就可以进行搜索了。通常使用solr的Query API构造...
solr7.3 的一些相关配置总结
程序开发笔记
05-08 1460
data-config.xml配置示例：&lt;?xml version="1.0" encoding="UTF-8" ?&gt; &lt;dataConfig&gt; &lt;dataSource type="JdbcDataSource" driver="com.mysql.jdbc.Driver" url="jd
solr批量导入时报堆溢出
qq_39252870的博客
10-23 270
将data-config.xml配置如下，加入 batchSize="-1"： <?xml version="1.0" encoding="UTF-8" ?> <dataConfig> <dataSource type="JdbcDataSource" driver="com.mysql.jdbc.Driver" url="jdb...
Solr 初始全量导入数据库数据
Pursuit的博客
12-06 539
  假设存在表 newfrom表示 其中 有以下数据: 进入solr所在服务器 搜索 dataimport相关jar包 solr@localhost:/opt/solr$ find / -name *import*.jar /opt/solr/dist/solr-dataimporthandler-5.5.5.jar /opt/solr/dist/solr-dataimporthandl...
SolrCloud配置+Spring Boot应用
小野爸爸的博客
01-22 1839
一、业务场景 公司业务涉及到聚合搜索，所有使用了solr作为索引工具，solr中索引数据并不多，大概百万级。 初始架构设计采用solr Master-Slave模式，master负责索引的创建，多slave通过nginx负载负责查询，但是web架构采用了spring cloud，多节点共用一个配置中心的配置文件，导致无法区分master slave，所以开始研究solrCloud的部署方式。 ...
Solr+hbase方案
.
03-26 3328
一、Solr+hbase方案 Solr是一个独立的企业级搜索应用server，它对并提供相似干Web-service的API接口。用户能够通过http请求，向搜索引擎server提交一定格式的XML文件，生成索引。也能够通过Http Get操作提出查找请求，并得到XML格式的返回结果。 Solr是一个高性能。采用Java5开发。基干Lucene的全文搜索server。同一时候对其进行了扩展。提...
solr快速上手：配置从mysql同步数据（五）
55555的博客
06-04 2224
mysql同步solr的核心在于配置文件的书写，当发现有错误时，可以通过服务端日志排查具体错误。但数据同步还未完成，我们目前还没有实现自动的同步，还需要手动点击同步，下一节继续讲解，solr从mysql自动同步数据。
batch size设置技巧 谈谈batchsize参数
热门推荐
张齐贤的博客
03-30 15万+
深度学习中经常看到epoch、 iteration和batchsize，下面按自己的理解说说这三个的区别： （1）batchsize：批大小。在深度学习中，一般采用SGD训练，即每次训练在训练集中取batchsize个样本训练； （2）iteration：1个iteration等于使用batchsize个样本训练一次； （3）epoch：1个epoch等于使用训练集中的全部样本训练一次； 举个例子...
谈谈深度学习中的 Batch_Size
程引的专栏
11-12 14万+
谈谈深度学习中的 Batch_SizeBatch_Size（批尺寸）是机器学习中一个重要参数，涉及诸多矛盾，下面逐一展开。首先，为什么需要有 Batch_Size 这个参数？Batch 的选择，首先决定的是下降的方向。如果数据集比较小，完全可以采用全数据集 （ Full Batch Learning ）的形式，这样做至少有 2 个好处：其一，由全数据集确定的方向能够更好地代表样本总体，从而更准确地朝
全文索引----solr服务器更新全量索引
天道酬勤 地道酬善 人道酬诚
05-08 1万+
      solr索引设置完成后，需要根据数据库的变化及时更新索引，索引的更新有两种方式，全量更新和增量更新。顾名思义，全量更新即删除solr服务器上的所有索引，然后重新导入数据，增量索引即只更新修改的数据，本篇文章介绍全量索引更新。     一 配置数据源     1.1 数据库       我们使用单表作为测试数据源，包括三个字段，id，title,content，方便测试，使用var...
Solr配置详解：数据库连接与数据导入
在`example`目录下，有一个名为`example-DIH`的子目录，DIH全称为Data Import Handler，它是Solr用来导入和更新外部数据（如数据库）的工具。在`example-DIH\solr\solr`路径下，你可以看到一个或多个Solr核心（core...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值