dubbo框架导入5万条数据遇到的问题

原创已于 2023-11-21 17:32:53 修改 · 180 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#java #dubbo

于 2023-11-21 15:37:31 首次发布

本文探讨了如何通过避免在for循环中频繁查询SV，提高代码效率；针对请求时间过长，提出使用线程并发处理；并关注Dubbo中的数据传输配置，如payload大小限制以优化性能。

1.优化代码，尽量避免在for循环里面调用SV的查询，可以在循环外查询出所有的数据，循环里通过匹配获取对应的数据

2.请求时间太长，考虑加线程

配置数据传输大小限制：
dubbo.protocol.payload=83886080
dubbo.provider.payload=83886080
dubbo.consumer.parameters.payload=83886080

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

qq_36690438

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

Excel导入导出（一）之百万级数据导入

DN金猿的博客

12-20

3833

前言如果是dubbo微服务，由于服务之间最大数据限制在 dubbo.protocol.dubbo.payload=11557050（默认为8M，即8388608）默认为8M，可以使用先将excel上传到文件服务器，生成一个url，再传到另一个服务进行下载，读取。如果是其他微服务，可以直接调用service服务层。 1.导入pom或者gradle //apahe common compile 'commons-fileupload:commons-fileupload:1.3.1

Dubbo与SpringCloud框架详解

悦分享

10-29

1505

ZooKeeper（简称 zk）是一个分布式的、开源的（分布式）应用程序的协调服务。ZooKeeper 是 Apache Hadoop 项目下的一个子项目，是一个树形目录服务。ZooKeeper 翻译过来就是“动物园管理员”，它是用来管 Hadoop（大象）、Hive（蜜蜂）、Pig（小猪）的管理员。配置管理分布式锁集群管理Dubbo 是阿里巴巴公司开源的一个高性能、轻量级的 Java RPC 框架。致力于提供高性能和透明化的 RPC 远程服务调用方案，以及 SOA 服务治理方案。

参与评论您还未登录，请先登录后发表或查看评论

dubbo问题汇总

middle博客

10-22

672

1、dubbo 服务返回结果，默认最大值为8M，可以通过配置修改 Caused by: com.alibaba.dubbo.remoting.RemotingException: Data length too large: 18061883, max payload: 8388608

Dubbo限制大数据传输的解决方案

guanminwei的专栏

07-26

9607

Dubbo限制大数据传输的解决方案第一种方案　　1、统一修改提供方的dubbo配置，　　在dubbo.properties 中增加如下　　dubbo.protocol.dubbo.payload=11557050（默认为8M，即8388608）　　2、特殊dubbo修改提供方的dubbo配置： <dubbo:protocolname="dubbo" host=....." payload="104857600" /> <dubbo:provider payload="

Spring Boot 使用API注解方式整合 dubbo

新新许愿树

11-14

599

目录创建项目结构具体实现 gamll-user-provider gmall-web-consumer dubbo配置 gamll-user-provider gmall-web-consumer 创建项目结构 1. 创建一个空项目，并且创建两个模块 2.gamll-user-provider，Spring Initializer创建的非web项目，包含servic...

dubbo payload maxsize

qq_32454921的博客

05-16

9022

最近遇到的一个坑 java.io.IOException: Data length too large: 11543866, max payload: 8388608, channel: NettyChannel 在项目中遇到使用 dubbo 进行服务间调用（provider-consumer），由于系统需要传输文件，于是使用字节流在provider 和 consumer间通信，但是在使用 d...

分批次插入mysql:一次性插入mysql两万以上数据造成数据库假死

最新发布

a1901149的博客

03-26

965

外链图片转存中…(img-6XzcCjQr-1711438074031)][外链图片转存中…(img-6V88ZVOH-1711438074031)]

记一次Dubbo接口调用异常（传输数据过大）

不吃学习的苦，就要吃生活的苦

08-19

4877

异常截取信息： java.io.IOException: Data length too large: 9191772, max payload: 8388608, channel: NettyChannel [channel=[id: 0x2b9e3863, /10.10.16.218:57000 => /10.10.13.37:40784]]\n\tat com.alibaba.d...

dubbo报错Data length too large，修改 payload 方法

weixin_33946020的博客

06-10

7368

2019独角兽企业重金招聘Python工程师标准>>> ...

05-dubbo-常用注解

qq_34972069的博客

05-19

1270

1、@payload 1、payload 是请求容量和响应容量的限制。默认限制为8M。 2、payload 是请求头+请求体必须小于8M 3、payload 值只能在配置文件中修改。请求和响应的大小同步有效 4、配置文件中的配置： dubbo.protocol.payload=83886080 ...

Dubbo & 负载均衡

风生的博客

04-23

1142

Invoker是被用装饰器模式一层一层套了很多Filter的，因此在调用最终的实现类之前，又会经过一个服务提供者端的过滤器链。2.RoundRobin: 轮询,访问频率和权重有关,权重:占有比例,集群中每个项目部署的服务器的性能可能不同,性能好的服务器权重应该高一些。@DubboReference(check = false)代表的是启动的时候不会创建代理对象,在访问的时候才会创建这个代理对象。3.LeastActive: 活跃数相同的随机，不同的活跃数高的放前面。5、接着，会使用Client做数据传输。

dubbo payload 配置不生效 Data lenath too large max pavload:

qq_43384481的博客

05-18

2299

orqapache.dubbo.remoting.transport.ExceedPayloadlimitException: Data lenath too large.743791. max pavload: 308608. channer NettvChanne

dubbo consumer读取配置文件无法解析问题

u011494923的博客

03-19

4547

SpringMVC项目中同时有provider和consumer.其中地址为引用的配置文件属性。如下： basedata.properties属性文件 dubbo.registry.address:2181=zk.dev.xxx.com dubbo.registry.port=20880 dubbo.payload=16777216 dubbo.consumer.address:2181=zk.t...

一篇文章带你熟知Dubbo

清茶淡粥的博客

12-29

618

文章目录Dubbo什么Dubbo框架？发展史架构原理执行流程Dubbo支持协议Dubbo支持注册中心负载均衡RandomRoundRobin（推荐）LeastActiveConsistentHash负载均衡的配置常用注解@EnableDubbo@DubboService@DubboReferenceDubbo文件配置 Dubbo 什么Dubbo框架？ Apache Dubbo 是一个高可用的，基于Java的开源RPC框架。 Dubbo框架不仅仅是具备RPC访问功能，还包含服务治理功能（其他方式管理服务信息）

Dubbo Data length too large: xxx, max payload: xxx问题解决

qq_34041723的博客

07-28

5193

Dubbo 报错 Data length too large

上传文件Dubbo报错: Data length too large: xxxxx, max payload: 8388608

一只没有脚的鸟

12-13

1952

上传文件Dubbo报错: Data length too large: xxxxx, max payload: 8388608，本文介绍如何解决大文件上传的两个问题

Dubbo框架入门案例教程快速导入指南

Dubbo 是阿里巴巴开源的一款高性能 Java RPC 分布式服务框架，它最大的特点是将应用的服务化处理，能够帮助开发者将单体应用拆分为微服务架构，便于分布式部署和管理。通过 Dubbo 可以轻松实现服务的注册与发现、...