thriftserver log4j.properties 生效

最新推荐文章于 2022-08-25 10:15:26 发布
最新推荐文章于 2022-08-25 10:15:26 发布
阅读量322 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： spark 学习 文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/lingzhi007/article/details/84918631
本文介绍了一种启动ThriftServer的方法，详细列出了启动脚本start-thriftserver.sh的各项参数配置，包括JAR包路径、配置文件路径、Hive配置、YARN设置、执行器数量及内存分配等。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

/home/isuhadoop/spark2/sbin/start-thriftserver.sh --driver-class-path /home/isuhadoop/ark_data_bin/jar/fangzhou-nbdata-stream-1.0.jar:/home/isuhadoop/spark2/conf/hbase-site.xml:/home/isuhadoop/spark2/conf/log4j.properties --hiveconf hive.server2.thrift.port=9994 --hiveconf hive.server2.thrift.bind.host=zk50 --master yarn --deploy-mode client --num-executors 4 --executor-cores 4 --executor-memory 16g --files ./config.properties --conf spark.sql.codegen=true --conf spark.locality.wait.process=10ms --conf spark.locality.wait.node=10ms --conf spark.locality.wait.rack=10ms --jars /home/isuhadoop/ark_data_bin/jar/fangzhou-nbdata-stream-1.0.jar,/home/isuhadoop/spark2/conf/hbase-site.xml,/home/isuhadoop/spark2/conf/log4j.properties
4. Hive-3.1.3安装部署（带hiveserver2）
QYmufeng的博客
07-21 1696
Hive-3.1.3、hiveserver2安装部署
Apache hive 3.1.2从单机到高可用部署 HiveServer2高可用 Metastore高可用 hive on spark hiveserver2 web UI 高可用集群启动脚本
weixin_52918377的博客
05-21 2591
hive部署 下载apache hive 3.1.2 http://archive.apache.org/dist/hive/ 注：先看hive编译文档，使用编译好的安装包进行部署 官方的hive3.1.4和sprk3.0.0不兼容，需要重新编译。 后面配置hive on spark 可以使用spark2.3.0。而spark2.3.0对应的hadoop版本是2.x。 重新编译，参考本人写的另一篇文章 hive3.1.4源码编译 兼容spark3.0.0 hive on spark 升级guava版本兼容
Thrift教程初级篇——thrift安装环境变量配置第一个实例
qq_37272886的博客
09-03 467
前言： 因为项目需要跨语言，c++客户端，web服务端，远程调用等需求，所以用到了RPC框架Thrift，刚开始有点虚，第一次接触RPC框架，后来没想到Thrift开发方便上手快，而且性能和稳定性也不错，项目也顺利完成。所以给各位小白们，“科普”一下如何使用Thrift完成自己的远程调用。 1.什么是RPC： ...
spark thrift server 查询日志留存
遥望......
09-08 913
spark thrift server的web ui在运行时可以看到sql查询的提交用户，执行sql等信息 image.png image.png 但是当这个实例停掉或者异常终止以后，你再去spark history server的webui去查看，发现这部分信息就没有了…… image.png 究其原因，原来spark thrift server并没有将这部分数...
Thrift服务搭建和调用
凌霄之志
04-13 6713
有住ERP与有住业务系统、成本预算系统对接，按客户要求使用Thrift协议接口服务，简单学习了一下，搭建Thrift服务只要步骤如下： 一、准备必要的文件(jar包和生成Thrift java类的工具) thrift-0.9.3.exe、libthrift-0.9.1.jar、log4j.jar、slf4j-api-1.5.8.jar、slf4j-log4j12-1.5.8.jar （其中t
修改spark thriftserver返回日志信息
u012477420的博客
03-18 1654
      通过spark thriftserver提交sql至spark运行时，由于thriftserver默认读取的是本地的日志文件，因此getQueryLog会返回空，为了支持spark运行模式下返回任务运行信息，对getQueryLog方法进行修改。       首先在org.apache.hive.service.cli.operation.Operation类中添加接口:       ...
Spark开发环境搭建
总结、分享、交流
11-12 977
开发环境 Spark 2.4.4使用Scala2.12: Java安装 bash-3.2$ java -version java version "1.8.0_211" Java(TM) SE Runtime Environment (build 1.8.0_211-b12) Java HotSpot(TM) 64-Bit Server VM (build 25.211-b12, mixed m...
spark.4 yarn
笔生花的博客
08-20 521
spark yarn2.spark application载入yarn的方式3.— —master说明4.载入集群的命令5.注意事项6.准备工作 确保HADOOP_CONF_DIR或YARN_CONF_DIR指向包含Hadoop集群(客户端)配置文件的目录。这些配置用于写HDFS和连接YARN ResourceManager。该目录中包含的配置将被分发到YARN集群，以便应用程序使用的所有容器都使用相同的配置。如果配置引用Java系统属性或不受YARN管理的环境变量，它们也应该在Spark应用程序的配置中进
Hive on Tez配置过程
m0_45847655的博客
08-25 900
此时的hive已经配置完成，可以使用mapreduce引擎进行操作，前提是集群的hdfs,yarn开启，并且启动hive前，要先启动metastore和hiveserver2这两个服务。也可以直接把log4j-slf4j-impl-2.10.0.jar 删了，我就是这么搞的，也没有问题。以上命令启动后会在后台运行，启动之后jps所在的shell命令行，会显示两个runjar,即为启动成功。因为MySQL的密码策略，需要设置一个比较复杂的密码（此处先随便设置一个复杂的密码）是在hadoop的目录下创建。
spark性能调优之调节数据本地化等待时长
涛涛的专栏
09-28 7016
本地化级别 PROCESS_LOCAL：进程本地化，代码和数据在同一个进程中，也就是在同一个executor中；计算数据的task由executor执行，数据在executor的BlockManager中；性能最好 NODE_LOCAL：节点本地化，代码和数据在同一个节点中；比如说，数据作为一个HDFS block块，就在节点上，而task在节点上某个executor中运行；或者是，数据和ta
记一次Thrift Server错误排查
羊三的学习之路
02-21 7214
1. 起因1.1. 昨夜下班回家后11点左右突然收到hbase监控的连接失败邮件。1.2. 上线查看监控日志，发现均是timeout异常1.3. 查看消费者日志，发现所有连接不可用，不断重试中，遂关闭所有消费者2. 进一步排查2.1. 早上九点到公司开始继续排查问题2.2. 查看hbase thrift 日志，发现大量重试，发现thrift处理线程已满，大量等待任务$ tail -n 1000 hb
【Java】log4j 基本配置
u010900754的专栏
04-05 687
为什么需要在项目中导入日志组件？当然，如果我们可以自己完全实现那就不说什么了，但是实际上没有人有时间去实现一个功能强大的日志组件。那么，如果不借助现成的，我们一般就是systemout一些，这种只能应付简单的情况，在大型项目中完全不够用，比如多种输出配置，需要输出到文件，需要输出到数据库等，输出到文件的要按天来划分，定义不同的等级。这些都是我们需要的，而日志组件可以很好地支持这些，我们直接用就行。...
Spark SQL和Spark Thrift Server安装部署
热门推荐
qq513536189的博客
09-21 1万+
安装Spark Spark部署 下载spark-2.2.0-bin-hadoop2.7.tgz 解压 $ tar -zxvf spark-2.2.0-bin-hadoop2.7.tgz 配置环境变量 $ vim ~/.bashrc 添加如下内容： export SPARK_HOME=/home/cloud/cloud/spark-2.2.0
log4j.properties log4j.xml 路径问题
weixin_30326515的博客
12-21 949
我的博客现在已经搬家到极客导航的博客模块中链接地址是：极客博客 顺便做了个程序员资源导航站www.gogeeks.cn，有兴趣的朋友不妨看一看有哪些还没了解到的IT方面的东西，比如框架，书籍，教程，开源社区等等吧。 自动加载配置文件： （1）如果采用log4j输出日志，要对log4j加载配置文件的过程有所了解。log4j启动时，默认会寻找source folder下的log4j...
log4j2实现自定义Appender（输出到文件/RPC服务中）
零度的博客专栏
09-25 5155
1、背景 虽然log4j很强大，可以将日志输出到文件、DB、ES等。但是有时候确难免完全适合自己，此时我们就需要自定义Appender，使日志输出到指定的位置上。 本文，将通过两个例子说明自定义APPender，一个是将日志写入文件中，另一个是将日志发送到远程Thrift服务中。 本文代码详见：https://github.com/hawkingfoo/log-demo 2、自定义文件Ap
spark datasource
野兽
03-16 1682
DataFrameWriter format val cls = DataSource.lookupDataSource(source, df.sparkSession.sessionState.conf) private var source: String = df.sparkSession.sessionState.conf.defaultDataSourceNam...
driver class
野兽
01-21 1027
sbin/start-thriftserver.sh --driver-class-path $CLASSPATH:/usr/hdp/current/spark2-client/sparkudf.jar:/usr/hdp/current/hadoop-client/hadoop-common-2.7.3.2.6.0.3-8.jar --hiveconf hive.server2.thrift...
DORIS doris_main.cpp:129] thrift internal message: TServerSocket::listen() Could not bind to port 9060
最新发布
03-25
<think>好的，我现在需要解决Doris运行时因为端口9060被占用导致的绑定失败问题。首先，我需要确认这个问题出现的具体原因和可能的解决方法。根据用户提供的引用信息，特别是引用[4]中提到动态分区的配置修改，虽然这主要涉及分区管理，但配置文件的修改方法可能类似。 首先，我应该检查端口占用情况。使用命令行工具如`lsof`或`netstat`来查看哪个进程占用了9060端口。例如，在Linux系统上，可以运行`sudo lsof -i :9060`或者`netstat -tuln | grep 9060`来找到占用端口的进程。如果发现是其他服务占用了这个端口，可能需要停止该服务或者更改Doris的端口配置。 接下来，如果确定是Doris自身配置的问题，需要修改Doris的配置文件。根据引用[1]中提到的文件路径，可能涉及到`be/src/agent/agent_server.cpp`或`task_worker_pool.cpp`，但更可能的是FE或BE的配置文件。通常，Doris的端口配置在`fe.conf`或`be.conf`中。例如，FE的HTTP端口和RPC端口可能分别设置，而BE的端口也可能需要调整。用户需要找到配置文件中关于端口设置的项，比如`http_port`或`rpc_port`，将默认的9060更改为其他未被占用的端口，如9070，然后重启Doris服务。 另外，引用[4]中提到通过MySQL命令动态修改配置的方法，但不确定是否适用于端口设置。可能需要直接修改配置文件并重启服务。同时，需要确保集群中的所有节点配置一致，避免端口冲突。 如果用户希望临时释放端口，可以终止占用进程，但这不是长久之计。更稳妥的做法是修改Doris的配置，使用其他端口。此外，检查防火墙设置，确保新端口没有被阻止，也是必要的步骤。 总结解决方案步骤：1. 检查端口占用；2. 终止占用进程或修改Doris配置；3. 重启服务；4. 验证新端口是否生效。同时，参考引用[2]中关于Doris安装和配置的教程，确保操作正确。</think>### Doris端口9060被占用的解决方案 #### 1. 确认端口占用情况 使用以下命令检查9060端口的占用进程： ```bash sudo lsof -i :9060 # Linux/MacOS # 或 netstat -ano | findstr ":9060" # Windows ``` 若发现其他进程占用（如MySQL或其他服务），记录其PID后终止该进程： ```bash kill -9 <PID> # Linux/MacOS taskkill /PID <PID> /F # Windows ``` #### 2. 修改Doris端口配置 **配置文件路径**： - FE配置：`fe/conf/fe.conf` - BE配置：`be/conf/be.conf` **修改步骤**： 1. 打开FE或BE的配置文件： ```bash vi fe/conf/fe.conf # FE配置 vi be/conf/be.conf # BE配置 ``` 2. 找到并修改以下参数（不同版本可能参数名略有差异）： ```properties # FE配置示例 http_port = 8030 # 原默认值 rpc_port = 9020 # 原默认值 query_port = 9030 # 原默认值 edit_log_port = 9010 # 原默认值 # BE配置示例 webserver_port = 8040 heartbeat_service_port = 9050 be_port = 9060 # 修改为未占用端口（如9061） ``` 3. 保存文件并重启Doris服务： ```bash # 重启FE sh fe/bin/stop_fe.sh sh fe/bin/start_fe.sh --daemon # 重启BE sh be/bin/stop_be.sh sh be/bin/start_be.sh --daemon ``` #### 3. 验证配置生效 检查新端口是否成功绑定： ```bash netstat -tuln | grep 9061 # 替换为修改后的端口 ``` #### 4. 集群配置同步 若为多节点集群，需在所有节点上同步修改配置文件并重启服务，避免端口冲突[^1][^2]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值