dubbo框架导入5万条数据遇到的问题

原创已于 2023-11-21 17:32:53 修改 · 159 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#java #dubbo

于 2023-11-21 15:37:31 首次发布

本文探讨了如何通过避免在for循环中频繁查询SV，提高代码效率；针对请求时间过长，提出使用线程并发处理；并关注Dubbo中的数据传输配置，如payload大小限制以优化性能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.优化代码，尽量避免在for循环里面调用SV的查询，可以在循环外查询出所有的数据，循环里通过匹配获取对应的数据

2.请求时间太长，考虑加线程

配置数据传输大小限制：
dubbo.protocol.payload=83886080
dubbo.provider.payload=83886080
dubbo.consumer.parameters.payload=83886080

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

qq_36690438

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

Excel导入导出（一）之百万级数据导入

DN金猿的博客

12-20

3785

前言如果是dubbo微服务，由于服务之间最大数据限制在 dubbo.protocol.dubbo.payload=11557050（默认为8M，即8388608）默认为8M，可以使用先将excel上传到文件服务器，生成一个url，再传到另一个服务进行下载，读取。如果是其他微服务，可以直接调用service服务层。 1.导入pom或者gradle //apahe common compile 'commons-fileupload:commons-fileupload:1.3.1

Dubbo与SpringCloud框架详解

悦分享

10-29

1465

ZooKeeper（简称 zk）是一个分布式的、开源的（分布式）应用程序的协调服务。ZooKeeper 是 Apache Hadoop 项目下的一个子项目，是一个树形目录服务。ZooKeeper 翻译过来就是“动物园管理员”，它是用来管 Hadoop（大象）、Hive（蜜蜂）、Pig（小猪）的管理员。配置管理分布式锁集群管理Dubbo 是阿里巴巴公司开源的一个高性能、轻量级的 Java RPC 框架。致力于提供高性能和透明化的 RPC 远程服务调用方案，以及 SOA 服务治理方案。

参与评论您还未登录，请先登录后发表或查看评论

Dubbo限制大数据传输的解决方案

guanminwei的专栏

07-26

9238

Dubbo限制大数据传输的解决方案第一种方案　　1、统一修改提供方的dubbo配置，　　在dubbo.properties 中增加如下　　dubbo.protocol.dubbo.payload=11557050（默认为8M，即8388608）　　2、特殊dubbo修改提供方的dubbo配置： <dubbo:protocolname="dubbo" host=....." payload="104857600" /> <dubbo:provider payload="

dubbo payload maxsize

qq_32454921的博客

05-16

8981

最近遇到的一个坑 java.io.IOException: Data length too large: 11543866, max payload: 8388608, channel: NettyChannel 在项目中遇到使用 dubbo 进行服务间调用（provider-consumer），由于系统需要传输文件，于是使用字节流在provider 和 consumer间通信，但是在使用 d...

Dubbo & 负载均衡

风生的博客

04-23

1058

Invoker是被用装饰器模式一层一层套了很多Filter的，因此在调用最终的实现类之前，又会经过一个服务提供者端的过滤器链。2.RoundRobin: 轮询,访问频率和权重有关,权重:占有比例,集群中每个项目部署的服务器的性能可能不同,性能好的服务器权重应该高一些。@DubboReference(check = false)代表的是启动的时候不会创建代理对象,在访问的时候才会创建这个代理对象。3.LeastActive: 活跃数相同的随机，不同的活跃数高的放前面。5、接着，会使用Client做数据传输。

dubbo payload 配置不生效 Data lenath too large max pavload:

qq_43384481的博客

05-18

2134

orqapache.dubbo.remoting.transport.ExceedPayloadlimitException: Data lenath too large.743791. max pavload: 308608. channer NettvChanne

分批次插入mysql:一次性插入mysql两万以上数据造成数据库假死

热门推荐

至尊宝

12-12

2万+

关于Dubbo以及zookeeper的介绍和使用教程

superliug的博客

11-17

303

关于Dubbo以及zookeeper的介绍和使用教程 Dubbo百度百科 Dubbo(读音[ˈdubəʊ])是阿里巴巴公司开源的一个高性能优秀的服务框架，使得应用可通过高性能的 RPC 实现服务的输出和输入功能，可以和 [1] Spring框架无缝集成。 Dubbo是一款高性能、轻量级的开源Java RPC框架，它提供了三大核心能力：面向接口的远程方法调用，智能容错和负载均衡，以及服务自动注册和...

数仓体系与数据治理全集

weixin_44687655的博客

04-06

3745

数据仓库（Data Warehouse），可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它出于分析性报告和决策支持目的而创建。

dubbo consumer读取配置文件无法解析问题

u011494923的博客

03-19

4493

SpringMVC项目中同时有provider和consumer.其中地址为引用的配置文件属性。如下： basedata.properties属性文件 dubbo.registry.address:2181=zk.dev.xxx.com dubbo.registry.port=20880 dubbo.payload=16777216 dubbo.consumer.address:2181=zk.t...

上传文件Dubbo报错: Data length too large: xxxxx, max payload: 8388608

一只没有脚的鸟

12-13

1749

上传文件Dubbo报错: Data length too large: xxxxx, max payload: 8388608，本文介绍如何解决大文件上传的两个问题

dubbo传输数据过大的问题

weixin_42257062的博客

06-07

1万+

{"code":20000,"data":"","message":"Failed to send response: Response [id=144, version=2.0.0, status=20, event=false, error=null, result=RpcResult [result=com.cgw360.cls.base.DataPage@fc510eb, exceptio...

Dubbo 面试题（五）

闲依农圃邻，偶似山林客。

04-26

1025

1. 解释 Dubbo 通信协议 Dubbo 协议为什么不能传大包？ 2. 简述Dubbo 通信协议 Dubbo 协议为什么要消费者比提供者个数多？ 3. Dubbo 中 zookeeper 做注册中心，如果注册中心集群都挂掉，发布者和订阅者之间还能通信么？ 4. 简述Dubbo 与 Spring 的关系？ 5. 简述Dubbo 和 Dubbox 之间的区别？ 6. Dubbo服务调用超时问题怎么解决？ 7. 简答Dubbo 的默认集群容错方案？

Dubbo报错 Data length too large: 15156902, max payload: 8388608 传输数据超限

zhou_fan_xi的博客

11-06

4335

原因：当dubbo服务提供层向消费层传输大数据容量的对象时，会受到Dubbo的限制，报类似如下异常： com.alibaba.dubbo.remoting.transport.AbstractCodec.checkPayload() ERROR Data length too large: 15156902, max payload: 8388608 java.io.IOExcept...

dubbo 内存溢出_JVM Metaspace内存溢出排查

m0_67391870的博客

08-14

841

当dubbo服务提供层向消费层传输大数据容量的对象时，会受到Dubbo的限制，默认是8M，修改为50M,1M=1048576。前段时间风控引擎突然超时挂掉，通过排查发现dubbo服务调用一个接口返回数据过大造成的。，此时可以修改dubbo提供者的配置层，修改payload属性值。1）在dubbo-provider.properties增加。也会导致Metaspace内存溢出。...

一篇文章带你熟知Dubbo

清茶淡粥的博客

12-29

555

文章目录Dubbo什么Dubbo框架？发展史架构原理执行流程Dubbo支持协议Dubbo支持注册中心负载均衡RandomRoundRobin（推荐）LeastActiveConsistentHash负载均衡的配置常用注解@EnableDubbo@DubboService@DubboReferenceDubbo文件配置 Dubbo 什么Dubbo框架？ Apache Dubbo 是一个高可用的，基于Java的开源RPC框架。 Dubbo框架不仅仅是具备RPC访问功能，还包含服务治理功能（其他方式管理服务信息）

Dubbo服务消费端远程调用过程剖析

J_bean的博客

11-11

502

Dubbo服务消费端远程调用过程剖析

【解决方法】Dubbo报错Data length too large，调整payload大小解决