海量数据大课学习笔记（10）-架构核心技术-池化思想-异步结合 性能优化最佳实践《下》-小滴课堂

已于 2022-08-10 15:29:53 修改
阅读量813 收藏
点赞数
分类专栏： 小滴课堂-海量数据处理项目大课 文章标签： 性能优化 架构 学习
于 2022-08-09 18:00:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/m0_72062577/article/details/126244189
版权
本文介绍了RestTemplate在处理海量数据时存在的性能问题，如Broken pipe错误，以及如何通过引入连接池进行优化。作者通过Jmeter压测展示了优化后的RestTemplate性能提升，达到了10倍以上的QPS。此外，还分享了对RestTemplate底层实现的理解，推荐了使用HttpComponentsClientHttpRequestFactory以利用HTTP连接池提高性能。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

前言

小滴课堂，旨在让编程不在难学，让技术与生活更加有趣。 随着互联网+的时代，在线教育技术越来越便捷，小滴课堂依托在线教育时间以及空间上的便利，为广大IT从业者提供了更为方便、快捷的学习交流途径、提供大量高质量的IT在线课程。更多教程请访问xdclass.net（添加VX：xdclass99）

第1集 RestTemplate里面的存在的问题你知道多少- Broken pipe错误

简介： RestTemplate里面的存在的问题你知道多少

  • 还原代码（暂时不用异步）

    • 异步-里面是用线程池-是池化思想的一种应用

  • 同步发送+resttemplate未池化

    • 压测结果 几百吞吐量

    • 错误Caused by: java.io.IOException: Broken pipe

      • 服务端向前端socket连接管道写返回数据时 链接（pipe）却断开了
        • 从应用角度分析，这是因为客户端等待返回超时了，主动断开了与服务端链接
        • 连接数设置太小，并发量增加后，造成大量请求排队等待
        • 网络延迟，是否有丢包
        • 内存是否足够多支持对应的并发量

最低0.47元/天 解锁文章
海量数据大课学习笔记（15）-如漆似胶-海量数据下的分库分表策略讲解-小滴课堂
m0_72062577的博客
08-30 399
简介： Mysql数据库⽔平分库分表常⻅策略介绍-range水平分库分表，根据什么规则进行？怎么划分？方案一：自增id，根据ID范围进行分表（左闭右开）规则案例1~1,000,000 是 table_11,000,000 ~2,000,000 是 table_22,000,000~3,000,000 是 table_3…更多优点id是自增长，可以无限增长扩容不用迁移数据，容易理解和维护缺点大部分读和写都访会问新的数据，有IO瓶颈，整体资源利用率低。...
海量数据大课学习笔记（3）-商用短链平台介绍和技术Leader常用方法论介绍-小滴课堂
m0_72062577的博客
07-22 690
简介短链平台业务介绍+需求背景说明一、什么是短链平台，应⽤场景有哪些二、短链长啥样？三、业务背景为啥需要短链？（一）公司电商产品推广、业务活动页、⼴告落地页缺少实时【数据反馈和渠道效果分析】（二）老项目业务推⼴【没⼈维护，⽆法做埋点】需要统计效果例子https​（二）APP和营销活动发送营销短信链接过⻓，【浪费短信发送费用】（三）国内【反垄断后】微信、抖⾳、淘宝流量互通，很多知识付费公司需要做私域流量、社群运营（四）可以对外做产品输出，实现商业化能力增加公司营收。............
海量数据大课学习笔记（6）-短链平台项目创建+git代码管理+开发分层规范讲解--小滴课堂
m0_72062577的博客
07-29 702
小滴课堂，旨在让编程不在难学，让技术与生活更加有趣。随着互联网+的时代，在线教育技术越来越便捷，小D课堂依托在线教育时间以及空间上的便利，为广大IT从业者提供了更为方便、快捷的学习交流途径、提供大量高质量的IT在线课程。简介开源中国Gitee仓库-介绍和项目纳入版本管理+ignore文件配置置Git介绍基于git协议的代码仓库github全球最大同性交友社区gitee开源中国gitlab开源的git仓库平台，阿里等大厂就是基于这个搭建codeup阿里云上的免费git仓库https。............
Spring RestTemplate高性能配置
最新发布
诗人不写诗
03-20 959
这里没有涉及任何连接方面的配置，直接使用，需要看源码才知道RestTemplate是如何进行网络连接的。根据经验，我们知道，发起网络通信，通常是有需要有网络连接工具类的，我们熟知的有：1、JDK自带的java.net.URLConnection3、其他一些http工具类RestTemplate也不例外。这里的createRequest()就调用到父类HttpAccessor了。RestTemplate的有关继承关系如下，上面是父类，下面是子类RestTemplate把发送请求的功能封装到。
springboot RestTemplate优化 http 池化
Yweir的博客
11-16 1775
springboot RestTemplate优化
海量数据大课学习笔记（9）-架构核心技术-池化思想-异步结合 性能优化最佳实践《上》-小滴课堂
m0_72062577的博客
08-09 702
小滴课堂，旨在让编程不在难学，让技术与生活更加有趣。随着互联网+的时代，在线教育技术越来越便捷，小滴课堂依托在线教育时间以及空间上的便利，为广大IT从业者提供了更为方便、快捷的学习交流途径、提供大量高质量的IT在线课程。更多教程请访问xdclass.net简介：讲解Jmeter里面GUI菜单栏主要组件添加->threads->线程组（控制总体并发）线程数：虚拟用户数。一个虚拟用户占用一个进程或线程。.........
小滴课堂-海量数据处理商用短链平台大课-资料xiaoecf
11-18
短链平台技术栈 ● 微服务技术：新版SpringCloudAlibaba全家桶+SpringBoot2.5+Nacos2.x+MybatisPlus ● 缓存+MQ中间件+调度：Redis6.X+RabbitMQ+Zookeeper+Kafka + XXLJob ● 海量数据分库分表+文件存储：Mysql8.0+...
海量数据大课学习笔记（14）-初恋的感觉-海量数据下的分库分表知识阶段一-小滴课堂
m0_72062577的博客
08-23 268
面试官：这边有个数据库-单表1千万数据，未来1年还会增长多500万，性能比较慢，说下你的优化思路思路。
Resttemplate池化使用
weixin_43862280的博客
11-14 202
Resttemplate池化使用 依赖坐标 <dependency> <groupId>org.projectlombok</groupId> <artifactId>lombok</artifactId> </dependency> <dependency> <groupId>org.springframe
restTemplate常见问题
weixin_45063957的博客
09-11 2766
restTemplate
RestTemplate的使用及需要注意的地方
04-24
NULL 博文链接：https://yuhuiblog695685688425687986842568269.iteye.com/blog/2414580
3种方案扩展RestTemplate让其具备负载均衡
coolcooldeteng的博客
09-06 2625
实现负载均衡的多种思路 文章摘自公众号SpringBoot 方便查找
【Spring Cloud】基于 Feign 实现远程调用，深入探索 Feign 的自定义配置、性能优化以及最佳实践方案
qq_61635026的博客
10-02 3714
Feign 提供了一些自定义配置项，可以根据项目的需求进行调整。类型作用说明修改日志级别NONEBASICHEADERSFULL。响应结果的解析器用于解析 HTTP 远程调用的结果，例如将 JSON 字符串解析为 Java 对象。请求参数编码用于将请求参数编码，便于通过 HTTP 请求发送。支持的注解格式定义 Feign 接口中支持的注解格式，默认是 SpringMVC 的注解。失败重试机制控制请求失败的重试机制，默认是没有重试，但会使用 Ribbon 的重试。修改 Feign 的日志级别。
RestTemplate连接池
myli92的博客
03-31 3937
HTTP协议的长连接和短连接，实质上是TCP协议的长连接和短连接。在HTTP/1.0中默认使用短连接。也就是说，客户端和服务器每进行一次HTTP操作，就建立一次连接，任务结束就中断连接。HTTP/1.1起，默认使用长连接，用以保持连接特性。使用长连接的HTTP协议，会在响应头加入这行代码：Connection:keep-alive.在使用长连接的情况下，客户端和服务器之间用于传输HTTP数据的TCP连接不会关闭，客户端再次访问这个服务器时，会继续使用这一条已经建立的连接。
细品Spring之RestTemplate
宋小黑的博客
01-15 1335
RestTemplate是Spring提供的用于同步客户端HTTP请求的模板类。它简化了与HTTP服务器交互的过程，让发送请求和接收响应变得更加直接。不仅如此，它还支持将HTTP响应直接转换成你的领域模型。这意味着你不用再手动解析HTTP响应数据了，RestTemplate帮你搞定了！让我们来看一个简单的例子。假设小黑想要通过GET请求从某个API获取用户信息。
RestTemplate对HTTP请求优化
qq_24916085的博客
03-25 705
最近在对公司服务器进行压测，环境ubuntu20.0 使用ab进行对小程序接口进行压测（对小程序接口的压测使用同一个wx.login 凭证code 后端代码处理一下如果code无效就返回一个默认的openid（这种方法适用于测试）就可以模拟登录了）在进行压测时tps低的离谱才几十 后对代码进行分析 找到问题所在 在小程序去code2session时这个请求居然响应时间高达五六百毫秒 http是我们自己封装的一个工具类 后来使用RestTemplate的请求响应时间降低到了几十毫秒 小面上代码 publi
接口流量突增，如何做好性能优化？
陈树义
07-25 429
大家好，我是树哥！对于提供接口服务的应用来说，很多都是用 SpringBoot 默认的 Servlet 容器 Tomcat。在一开始上线的时候，由于大多数流量较小，我们也并不会为 Tomcat 做专门的参数调整。但随着流量越来越大，应用的各项性能指标越来越差，此时我们大多数都会选择扩容。除了扩容之外，我们还可以选择对 Tomcat 进行性能调优，从而在不增加成本的情况下提...
spring的RestTemplate使用指南
qq_45556655的博客
06-06 903
spring的RestTemplate使用指南 前言：现在restful接口越来越广泛，而如今很多接口摒弃了传统的配置复杂的webService开发模式，在java领域只需要很简单的springMvc就可以声明为一个控制器，再加上service层，就可以直接操作数据库成为一个灵活的接口。而我们请求接口的次数也会越来越多（最近我在和一个工具对接的时候，对方公司提供的接口全部由我们主动去调用），一般我们请求接口，都采用Apache Httpclient工具，这个工具稳定，既可以建立长连接，保持不错的性能，而它唯
Android知识点整理11：Okhttp
千寻
09-19 1072
一、简介 OkHttp是一个处理网络请求的高性能框架，由Square公司贡献 现在基本已经是Okhttp+retrofit结合使用的天下，他们的优势也是很明显的，Google已经在Android4.4之后将HttpUrlConnection已经替换了OkHttp 1、主流框架分类 底层网络框架：HttpClient、HTTPURLConnection、OkHttp都属于底层网络框架，是真正发起http请求的；封装的网络框架：Volley、Retrofit、Okgo、Novate属于对底层网络框架的封
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值