thrift out of memory

最新推荐文章于 2022-03-08 20:11:19 发布
原创 最新推荐文章于 2022-03-08 20:11:19 发布 · 1.3k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文讨论了在使用 Java IO 实现时遇到的问题，导致无法通过 telnet 连接到 thrift 服务的端口。主要原因是 Java IO 实现存在 bug，不支持 telnet 功能。
不能telnet thrift 服务的端口，因为java io 实现 有 bug,不支持 telnet 
Apache-iotdb 堆内外内存不够 ERROR - Thrift Error occurred during processing of message.
imblackcat的博客
02-27 1107
1. 堆内存溢出（OutOfMemoryError）日志关键信息原因JVM 堆内存不足（当前配置仅2724MB），导致服务崩溃。2. 系统参数过小日志关键信息影响限制系统的最大并发连接数，可能引发连接队列溢出或性能瓶颈。3. 内存分配不合理日志关键信息问题内存资源分配未根据实际负载优化，可能导致内存浪费或竞争。4. 文件夹权限问题日志关键信息原因IoTDB 进程可能无权限写入指定目录，或目录已存在但权限配置错误。改进与修复方法。
Thrift 0.9.1 Memory OOM问题解决方法 内存溢出问题
qingjingzhijie的专栏
08-09 857
公司工作遇到的一个问题，thrift版本是0.9.1 FrameBuffer为AbstractNonblockingServer类的内部类，TThreadedSelectorServer继承了AbstractNonblockingServer： 通过研究代码，发现FrameBuffer的read方法的代码中有如下片段， 1 2 3 4 5 6 ...
thrift 内存溢出
weixin_30905981的博客
12-04 259
短信服务，运用了thrift框架。 thrift，是 Facebook 实现的一种高效的、支持多种编程语言的远程服务调用的框架。而推出最初，其存在很多问题，见以下链接 http://www.ibm.com/developerworks/cn/java/j-lo-apachethrift/ thrift学习入门 http://yanyiwu.com/work/2014/10/17/thrif...
THRIFT 之 搭建环境和使用实例
做事先做人！
07-10 797
1.概述 2.安装 2.1 安装依赖 # yum -y install
记一次内存溢出的分析经历——thrift带给我的痛orz
weixin_33911824的博客
03-01 380
说在前面的话 朋友，你经历过部署好的服务突然内存溢出吗？ 你经历过没有看过Java虚拟机，来解决内存溢出的痛苦吗？ 你经历过一个BUG，百思不得其解，头发一根一根脱落的烦恼吗？ 我知道，你有过！ 但是我还是要来说说我的故事.................. 背景： 有一个项目做一个系统，分客户端和服务端，客户端用c++写的，用来收集信息然后传给服...
使用thrift，每隔一段时间就会报错：java.lang.OutOfMemoryError: Direct buffer memory
java_zjn的博客
06-15 808
背景：使用thrif（版本0.9.3）对外提供服务，每隔一段时间thrif服务就挂掉。 问题定位过程： 1、查看日志，发现存在java.lang.OutOfMemoryError: Direct buffer memory异常，因为thrif用到nio，发现启动服务没有配置直接内存，想当然认为是直接内存过小，于是在jvm启动参数加大了直接内存的最大值（-XX:MaxDirectMemorySize），后续观察。过了一段时间，问题还是复现了。 2、再查日志还是报直接内存溢出，然后再仔细查看日志，发现直接
java-Cassandra抛出OutOfMemory;怎么调？
weixin_44109689的博客
01-09 918
我用cassandra 3.11.3构建了一个新集群,用cassandra 2.0.14从旧集群中填充了数据,将应用程序切换到新集群后几个小时,我遇到了内存错误： INFO [IndexSummaryManager:1] 2019-05-07 23:44:42,090 IndexSummaryRedistribution.java:77 - Redistributing inde...
该角色在之前的 5 分钟 中遇到 1 次意外退出。这包括由于 OutOfMemory 错误而导致
萌兔兔MMQ！！
09-29 1558
hbase：faladata02角色RegionServer意外退出 报错：该角色在之前的 5 分钟 中遇到 1 次意外退出。这包括由于 OutOfMemory 错误而导致的 1 退出。 临界阈值：任意。 原因是hbase启动的原始内存太小了，然后我们修改 "HBase RegionServer 的 Java 配置选项"参数 参数：-Xmx256m -Xms256m -XX:MaxNewSize=128m -XX:NewSize=128m -XX:+UseParNewGC -XX:+UseConcMarkS
TcpSocketLink OutOfMemory,java.lang.OutOfMemoryError: unable to create new native thread　问题解决过程小记...
weixin_33895516的博客
05-06 743
2019独角兽企业重金招聘Python工程师标准>>> ...
Thrift系列 | Thrift框架源码分析
多选参数-程序锅
10-02 911
1. Thrift框架理解 对于Thrift框架的理解，我们使用官方提供的框架图来讲解一下 client/server 对于client来说，该层是比较简单的client的业务逻辑代码，而对于server来说，有提供的几种模式的server。 Thrift的Protocol层 对于RPC来说需要能正确的传输调用的信息已经返回的结果，那么protocol层则主要负责序列化和反序列化，该层主...
Spark Thrift Server 部署与应用
weixin_38251332的博客
03-08 1万+
前言 在介绍spark thrift server 需要先介绍一下其与hiverserver2及spark-sql的关系与区别 HiveServer2 Hive提供了一个命令行终端，在安装了Hive的机器上，配置好了元数据信息数据库和指定了Hadoop的配置文件之后输入hive命令，就可以进入到hive的交互式终端，接下来只要编写SQL语句即可，这跟传统RDB数据库提供的终端是类似的。 启动hiveserver2服务后，Hive除了可以通过hive提供的beeline以cli的方式操作hive，还提供了j
thrift源码解析之server
weixin_44705391的博客
06-01 1555
前言：有关网络编程参考文章： void TServerFramework::serve() { shared_ptr<TTransport> client; shared_ptr<TTransport> inputTransport; shared_ptr<TTransport> outputTransport; shared_ptr<TProtocol> inputProtocol; shared_ptr<TProtocol>
hbase遇到问题及解决方法
热门推荐
博学而笃志，切问而近思
08-27 3万+
hbase遇到问题及解决方法1.zookeeper启动报错错误日志启动zookeeper报错信息如下：java.net.NoRouteToHostException: No route to host at java.net.PlainSocketImpl.socketConnect(Native Method) at java.net.AbstractPlainSo
Hbase Thrift集群问题总结（1）
wwlhz的专栏
04-13 3512
Hbase thrift 1 问题汇总 Hbase thrift 启动线程池：./bin/hbase thrift start -threadpool , 报下面的错误: Exception in thread "thrift-worker-103" java.lang.OutOfMemoryError: unable to create new native thread at java...
布线问题 分支限界算法-下载即用.zip
01-01
下载方式：https://pan.quark.cn/s/a4b39357ea24 布线问题（分支限界算法）是计算机科学和电子工程领域中一个广为人知的议题，它主要探讨如何在印刷电路板上定位两个节点间最短的连接路径。 在这一议题中，电路板被构建为一个包含 n×m 个方格的矩阵，每个方格能够被界定为可通行或不可通行，其核心任务是定位从初始点到最终点的最短路径。 分支限界算法是处理布线问题的一种常用策略。 该算法与回溯法有相似之处，但存在差异，分支限界法仅需获取满足约束条件的一个最优路径，并按照广度优先或最小成本优先的原则来探索解空间树。 树 T 被构建为子集树或排列树，在探索过程中，每个节点仅被赋予一次成为扩展节点的机会，且会一次性生成其全部子节点。 针对布线问题的解决，队列式分支限界法可以被采用。 从起始位置 a 出发，将其设定为首个扩展节点，并将与该扩展节点相邻且可通行的方格加入至活跃节点队列中，将这些方格标记为 1，即从起始方格 a 到这些方格的距离为 1。 随后，从活跃节点队列中提取队首节点作为下一个扩展节点，并将与当前扩展节点相邻且未标记的方格标记为 2，随后将这些方格存入活跃节点队列。 这一过程将持续进行，直至算法探测到目标方格 b 或活跃节点队列为空。 在实现上述算法时，必须定义一个类 Position 来表征电路板上方格的位置，其成员 row 和 col 分别指示方格所在的行和列。 在方格位置上，布线能够沿右、下、左、上四个方向展开。 这四个方向的移动分别被记为 0、1、2、3。 下述表格中，offset[i].row 和 offset[i].col（i=0,1,2,3）分别提供了沿这四个方向前进 1 步相对于当前方格的相对位移。 在 Java 编程语言中，可以使用二维数组...
EP1C3T144C8 FPGA开发板设计
01-01
先看效果： https://pan.quark.cn/s/03f8ba0ff118 ### FPGA开发板设计相关知识要点#### 1. FPGA基本概念- **定义**: 现场可编程门阵列（Field Programmable Gate Array, FPGA）属于半定制型集成电路，允许在完成制造后通过编程来设定其内部逻辑及连接配置，从而达成特定的功能实现。- **特性**: - 运行速度快 - 功耗相对较低 - 适用于复杂系统构建 - 可在现场进行重新编程- **应用范畴**: - 通信领域 - 自动控制系统 - 信息处理技术 - 数据加密方案 - 视频处理技术 - 车载电子系统 - 医疗器械设备等#### 2. EP1C3T144C8芯片介绍- **生产商**: Altera Corporation（现归属于Intel公司）- **系列归属**: Cyclone系列- **技术工艺**: 1.5V核心供电电压，采用0.13微米制造工艺- **资源参数**: - 包含2910个逻辑单元（LEs） - 提供高达59904位的嵌入式存储器 - 支持单个PLL（Phase Locked Loop，锁相环） - 最多可支持104个用户I/O接口- **优点**: - 价格经济 - 集成度高 - 片上资源丰富 - 灵活性强#### 3. 硬件电路设计原理##### 3.1 硬件电路整体构造- **构成部分**: - 下载电路: 负责将设计好的程序传送至FPGA中。 - 下载接口: 实现个人计算机与FPGA之间的数据交换。 - FPGA核心部件: EP1C3T144C8芯片。 - 电源电路: 提供必要的电源支持。 - 扩展接口: 用于连接各类传感器或扩展模块。###...
HIT-CSAPP2025大作业报告.doc
最新发布
01-01
HIT-CSAPP2025大作业报告.doc
176825 [HiveServer2-Handler-Pool: Thread-47] DEBUG org.apache.thrift.transport.TSaslTransport - writing data length: 42 176900 [HiveServer2-Handler-Pool: Thread-47] DEBUG org.apache.thrift.transport.TSaslTransport - SERVER: reading data length: 85 176900 [HiveServer2-Handler-Pool: Thread-47] DEBUG org.apache.hadoop.security.UserGroupInformation - PrivilegedAction [as: dashuju (auth:PROXY) via dashuju (auth:SIMPLE)][action: org.apache.hive.service.cli.session.HiveSessionProxy$1@54fa2166] java.lang.Exception at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1875) at org.apache.hive.service.cli.session.HiveSessionProxy.invoke(HiveSessionProxy.java:59) at com.sun.proxy.$Proxy39.getInfo(Unknown Source) at org.apache.hive.service.cli.CLIService.getInfo(CLIService.java:252) at org.apache.hive.service.cli.thrift.ThriftCLIService.GetInfo(ThriftCLIService.java:541) at org.apache.hive.service.rpc.thrift.TCLIService$Processor$GetInfo.getResult(TCLIService.java:1537) at org.apache.hive.service.rpc.thrift.TCLIService$Processor$GetInfo.getResult(TCLIService.java:1522) at org.apache.thrift.ProcessFunction.process(ProcessFunction.java:39) at org.apache.thrift.TBaseProcessor.process(TBaseProcessor.java:39) at org.apache.hive.service.auth.TSetIpAddressProcessor.process(TSetIpAddressProcessor.java:56) at org.apache.thrift.server.TThreadPoolServer$WorkerProcess.run(TThreadPoolServer.java:286) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624) at java.lang.Thread.run(Thread.java:748)
05-26
### 分析 HiveServer2 Thrift TSaslTransport 日志中的 `java.lang.Exception` #### 背景介绍 HiveServer2 是 Apache Hive 提供的一个服务，允许客户端通过 JDBC/ODBC 接口访问 Hive 数据仓库。Thrift 协议被用于实现客户端和服务端之间的通信。TSaslTransport 则负责处理 SASL（Simple Authentication Security Layer）协议的安全传输层。当出现 `java.lang.Exception` 或类似的错误时，通常是由于配置问题、权限问题或底层网络异常引起的。 --- #### 常见的日志分析方向 ##### 1. **SASL 认证失败** 如果日志中显示类似于以下内容： ```plaintext javax.security.auth.login.LoginException: Unsupported authentication type CUSTEM ``` 表明认证类型不支持或者配置有误[^2]。这可能是由于 Hive 配置文件 (`hive-site.xml`) 中指定了无效的认证方式所致。 - 检查 `hive.server2.authentication` 参数是否正确设置为以下之一： ```xml <property> <name>hive.server2.authentication</name> <value>NOSASL|KERBEROS|LDAP|PAM|CUSTOM</value> </property> ``` - 若使用自定义认证（`CUSTOM`），则需要提供相应的类路径和实现逻辑。 ##### 2. **断开的管道 (Write failed)** 当日志中有如下提示时： ```plaintext java.net.SocketException: Broken pipe (Write failed) ``` 这表明客户端与服务器之间的连接突然中断，常见于以下场景： - 客户端过早关闭连接。 - 网络不稳定导致数据包丢失。 - 服务端资源耗尽（如内存溢出或线程池满）。 - 解决方法包括： - 增加超时时间参数： ```properties hive.execution.engine.timeout=3600s ``` - 减少单次请求的数据量，避免大查询引发性能瓶颈。 ##### 3. **ClassNotFoundException** 如果日志中存在类似以下信息： ```plaintext java.lang.ClassNotFoundException: org.apache.logging.log4j.LogManager ``` 这意味着某些依赖库缺失或版本冲突[^3]。例如，Impala JDBC 驱动可能依赖特定版本的 Log4j 库，而当前环境未满足该要求。 - 确保所有必要的 JAR 文件已正确部署到 `$HIVE_HOME/lib` 目录下。 - 使用工具检查依赖树是否有重复或冲突的库版本： ```bash mvn dependency:tree ``` ##### 4. **OutOfMemoryError 和 GC 异常** 在 Spark Thrift Server 场景下，如果频繁发生 OOM（Out Of Memory）错误，则需优化 JVM 堆大小及相关参数[^4]。 - 修改启动脚本 `/sbin/start-thriftserver.sh` 添加以下选项： ```bash export SPARK_DAEMON_MEMORY=8g export SPARK_EXECUTOR_MEMORY=16g ``` - 并在配置文件中调整垃圾回收策略： ```properties spark.executor.extraJavaOptions=-XX:+UseG1GC -XX:MaxGCPauseMillis=200 ``` --- #### 示例代码片段 以下是针对 HiveServer2 启用调试模式的操作示例： ```bash # 开启 HiveServer2 Debug 日志级别 $ bin/hiveserver2 --hiveconf hive.root.logger=DEBUG,console & ``` 运行后可查看控制台输出更多详细的上下文信息，便于定位具体问题。 对于 Kerberos 认证场景，可以测试票据有效性： ```bash kinit -kt /path/to/keytab username klist ``` --- ###
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值