解决clickhouse和Hadoop2.x 9000端口冲突的问题

ClickHouse更换默认端口和绑定端口到0.0.0.0 ClickHouse安装后,默认client连接端口是9000,这个端口跟CDH的cloudera manager agent的默认端口相同。且ClickHouse默认9000端口是绑定在127.0.0.1上的,无法从其他机器连接ClickHouse。 修改config.xml文件权限 chmod u+w /etc/clickhouse-server/config.xml 修改端口和绑定地址 vi /etc 阅读详情

在大数据集群部署时遇到Hadoop2.x的Namenode的tcp通信端口和clickhouse的tcp通信端口,原则上只要修改两者之中一个就可以解决问题,因为Hadoop安装时间比较长加上很多组件都依赖Hadoop集群,所以为了少出问题我决定修改一下clickhouse的tcp端口,方法如下:

 sudo vim /etc/clickhouse-server/config.xml

在这里插入图片描述

修改完成之后分发到其他机器上一份最新的:

sudo /usr/local/bin/xsync.sh /etc/clickhouse-server/config.xml

这里的xsync.sh(分发脚本)去网上找就行,一堆堆的,然后再重启一下clickhouse的服务:

 sudo systemctl start clickhouse-server

最后就可以指定端口进行启动客户端执行sql了:

在这里插入图片描述

大功告成!!!!

从零搭建大数据处理管道:基于Hadoop+Spark+Hive的实战指南 数据处理管道是现代数据架构的核心组件,它通过一系列自动化步骤将原始数据转化为可供分析使用的可靠数据。其基本原理是遵循ETL(抽取、转换、加载)或ELT范式,利用分布式计算框架对海量数据进行并行处理,从而解决数据孤岛和质量问题。这项技术的核心价值在于为数据分析、机器学习和商业智能提供高质量、可信任的数据基础。在数据仓库构建、用户行为分析和日志处理等场景中,数据处理管道发挥着至关重要的作用。本文以构建一个可扩展的批处理管道为例,详细阐述了如何使用Hadoop、Spark和Hive等开源工具链,完成从数据采集、清 阅读详情

相关推荐

南京大数据开发实战:基于Flink与Iceberg构建实时用户行为分析平台

实时数据处理是现代大数据架构的核心能力,其原理在于对持续产生的数据流进行低延迟的采集、处理与分析,以支持秒级甚至毫秒级的业务决策。这项技术的核心价值在于将数据处理从传统的T+1批处理模式,升级为能够即时响应业务变化的实时模式,广泛应用于实时风控、实时推荐、物联网监控和运营看板等场景。Apache Flink作为当前流处理领域的事实标准,凭借其高吞吐、低延迟和精确一次(Exactly-Once)语义保障,成为构建实时数据管道的首选。而数据湖技术,如Apache Iceberg,通过提供开放的表格格式和ACID

weixin_30314793的博客 391

大数据应用之 --- clickhouse的端口修改

9000端口与其他端口冲突: 将默认的9000端口为5566(不能为9009、8123),并分发到其他节点

qq_41187116的博客 3170

Flink checkopint使用教程

Flink checkpoint 需要写入远程持久化存储(如 HDFS、S3 等),不能直接存在本地,因为 Kubernetes Pod 是临时易失的。正常使用PVC = 本地硬盘(快,独享),MinIO/S3 = 共享网盘(慢,共享)正常公司使用PVC即可。

tian_jiangnan的博客 585

ClickHouse部署全攻略——安全配置

配额安全配置、用户安全配置、日志记录、启用TLS功能及其相关证书生成方法、启用TLS后的工具访问方法等

bbsxb520的博客 1676

【信息科学与工程学】【数据中心】 第七篇 智算中心CLOS组网整体设计

区域主要功能网络要求技术选型安全等级可用性要求训练区​大规模AI模型训练,分布式计算超高带宽(100G+),超低延迟(<1ms),无损网络RoCEv2,PFC,DCQCN,多路径P4(最高)99.99%推理区​实时AI推理,模型服务低延迟(<10ms),高可用,弹性扩展智能负载均衡,服务网格,容器网络P3(高)99.999%公共服务区​统一认证,API网关,数据服务多租户隔离,安全防护,弹性带宽VXLAN,EVPN,微隔离P3(高)99.99%存储区​高性能存储,数据湖超高带宽,低延迟,高IOPSNVMe-

weixin_49199313的博客 1371

【信息科学与工程学】计算机科学与自动化—第十五篇 云计算 11 算法篇02

但若第一个应用需求40GB/s,第二个10GB/s,总需求50GB/s>40GB/s,第一个得32GB/s,第二个得8GB/s,不公平。但若分区负载不均(分区1-2各有100任务/s,分区3-4各有50任务/s),A负责1-2(200/s),B负责3-4(100/s),仍均衡。任务 τi​ 的计算需求 Wi​(CPU周期),在频率 f 下执行时间 Ti​=Wi​/f,能耗 Ei​=Pdyn​⋅Ti​=Ceff​⋅V2⋅f⋅(Wi​/f)=Ceff​⋅V2⋅Wi​。若 Mneed​>Mi​,需使用远程显存。

weixin_49199313的博客 107

clickhosue:8123和9000

如果您想通过主机访问容器中的服务,可以使用对应的主机端口,如上述的示例中的 8123 和 9000 端口。在容器的端口映射中,"0.0.0.0:8123->8123/tcp"、"0.0.0.0:9000->9000/tcp" 和 "9009/tcp" 是指容器内部的端口与主机(宿主机)之间的映射关系。"0.0.0.0:9000->9000/tcp":表示容器内部的 9000 端口映射到主机的 9000 端口。8123和9000是ClickHouse数据库的两个不同的端口,它们具有不同的功能和使用方式。

qq_41081716的博客 1万+

基于Spark Streaming的实时新闻日志分析系统:从数据流到可视化全链路实践

实时数据处理是构建现代数据驱动应用的核心能力,其原理在于对连续产生的数据流进行即时计算与分析,而非传统的批量处理模式。这项技术的核心价值在于能够快速响应业务变化,为实时监控、个性化推荐、风险预警等场景提供即时洞察。在技术实现上,Apache Spark Streaming作为经典的微批处理框架,通过将数据流划分为小批次(DStream)进行处理,平衡了吞吐量与延迟,是学习流处理原理的绝佳入口。结合Kafka作为高吞吐的消息队列进行数据缓冲,以及Redis作为高性能的内存数据库存储实时结果,构成了一个稳健的实

weixin_30781775的博客 379

clickhouse 8123 9000 9004 9005 9009端口

clickhouse端口详解

weixin_45857120的博客 7990

2026 最新实战教程:AI 重构开发全流程(从需求→上线→运维)

1)做什么系统2)技术栈3)功能模块4)部署要求plaintext我要做一个:待办事项(Todo)全栈应用技术栈:前端:React + TypeScript + Tailwind后端:Node.js + Express + MongoDB部署:Docker + 本地运行(后续可上云)功能:- 增删改查任务- 任务状态切换(完成/未完成)- 简单错误处理请按企业级标准生成:架构设计 + 全部代码 + 接口文档 + 启动命令。

qq_35779316的博客 1699

【GD32F407】i2c主机发送,从机中断接收

前言 现在手里负责的一个项目需要用i2c和主芯片进行通信主动发送,中断接收,这就需要支持i2c主机模式和从机模式,先查看原理图 这里我们用到了两条i2c总线进行数据的交替传输,避免在使用一条总线是发送数据和接收数据冲突 初始化i2c控制器 s32_k i2cDevInit(u8 byBusId, TI2cBus *pTI2cBus) { //PCLK = 36000000 BOOL retFlg = FALSE; int I2xSCL = pTI2cBus->byFastMode ?

Enosji的博客 6246

ClickHouse 的安装以及使用

1. ClickHose 的安装 1.1上传安装文件:如下 ![在这里插入图片描述](https://img-blog.csdnimg.cn/20201113215919721.png#pic_center) 1.2 执行安装命令:sudo rpm -ivh *.rpm 1.3 修改配置文件: sudo vim /etc/clickhouse-server/config.xml 中的 把 <listen_host>::</listen_host> 的注释打开,这样的话才能让

wudonglianga的专栏 854

Python多进程实战:用BaoStock高效下载股票历史数据的5个优化技巧

本文详细介绍了使用Python多进程技术通过BaoStock高效下载股票历史数据的5个优化技巧。从理解BaoStock的数据获取机制到进程池配置、智能任务分片、异常处理及性能监控,帮助开发者显著提升数据下载效率,特别适合量化交易领域的数据采集需求。

weixin_30369041的博客 458

ClickHouse快速学习

ClickHouse的场景 为什么要用clickHouse? 1.clickHouse是c开发的,快 2.用到OLAP(联机分析处理) 3.对Hadoop技术栈的补充,专门用来对数据进行分析的,补充spark和hive没有涉及的维度查询 联机分析处理OLAP是一种软件技术,它使分析人员能够迅速、一致、交互地从各个方面观察信息,以达到深入理解数据的目的。它具有FASMI(Fast Analysis of Shared Multidimensional Information),即共享多维信息的快速

qq_44342234的博客 610

彻底卸载Ubuntu双系统,并完美回收100G空间给D盘

本文记录了安全卸载Ubuntu双系统并回收磁盘空间的全过程。作者首先通过Windows命令行彻底清除Ubuntu启动项,避免GRUB引导报错;随后在磁盘管理中删除Linux分区,将100G未分配空间合并至相邻的D盘。针对C盘空间不足问题,作者采用Dism++清理系统文件,并将用户文档、聊天记录等迁移至扩容后的D盘。最终实现了引导纯净、空间合理分配的目标,特别强调分区扩展必须遵循"相邻原则",建议通过间接迁移而非直接扩容来优化系统盘空间管理。

2403_85993278的博客 1512

数字后端设计实现 | 数字后端PR工具Innovus中如何创建不同高度的row?

数字IC后端设计实现之innovus中如何创建不同高度的row?

weixin_37584728的博客 3163

大数据原生集群 (Hadoop3.X为核心) 本地测试环境搭建三

本文摘要: Azkaban 3.72.0集群部署指南,从源码编译开始详细记录搭建过程。重点包括:1)源码环境准备与依赖镜像源调整;2)Node.js和Gradle环境配置;3)多节点部署架构设计(1个Web+MySQL节点,2个Executor节点);4)MySQL数据库初始化注意事项;5)Web服务SSL证书生成方法;6)配置文件修改注意事项。特别强调国内网络环境下的编译问题和低版本MySQL驱动兼容性问题,提供完整的多执行器模式生产环境部署方案。

别人笑我太疯癫,我笑他人看不穿。 1036

【定位模块算法】amcl(蒙特卡洛)粒子滤波定位算法(附C++代码)

系列文章目录 提示:这里可以添加系列文章的所有文章的目录,目录需要自己手动添加 TODO:写完再整理 文章目录系列文章目录前言(1)amcl定位框架介绍(2)amcl定位框架组成(1)ROS-TF坐标转换树【ROS的工具】(2)robot_pose_ekf扩展卡尔曼位姿估计算法(3)定位amcl自适应蒙特卡洛定位,adaptive monte carlo localizaion**(3)amcl定位节点的订阅与发布(4)amcl定位功能包用法(1)编写amcl节点相关的launch(amcl_omni.l

qq_35635374的博客 4403

大数据原生集群 (Hadoop3.X为核心) 本地测试环境搭建二

本文介绍了多个大数据组件的安装配置要点,包括MySQL5.6、Spark3.2.1、Presto0.272、Zeppelin0.11.2、Kafka3.7.2、Doris2.1和Apache Celeborn0.5.4。重点强调了各组件安装时的版本兼容性问题和关键配置项,如Spark3.x的端口修改、Guava包替换、Presto与Hadoop3.0的适配、Zeppelin的Spark配置准确性等。特别对国产组件Doris和新兴的Shuffle服务Celeborn进行了详细介绍,包括版本选择建议和典型配置参

别人笑我太疯癫,我笑他人看不穿。 1031

基于Matlab的无迹卡尔曼滤波惯性导航与DVL组合导航

航天航空领域中的惯性导航是一种基于惯性测量单元(Inertial Measurement Unit,IMU)的导航方法,可以提供航向、速度和位置等信息。深度/速度测量器(Doppler Velocity Log,DVL)是一种常用的传感器,可用于测量水下航行器的速度。通过将DVL与无迹卡尔曼滤波相结合,可以实现高精度的组合导航。本文介绍了基于Matlab的无迹卡尔曼滤波(UKF)惯性导航与DVL组合导航的方法。以上是一种简化的示例代码,您可以根据实际应用需求进行相应的修改和优化。

DevSavantX的博客 418

最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版

Part-E1-SDIO-Specification-Ver4.00-Final-120220.pdf:最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版,包括SDIO 接口的外设,SDIO 接口官方协议等。

大数据技术实战:从Hadoop+Spark部署到端到端数据处理管道搭建

大数据技术体系是应对海量、多源、高速数据挑战的核心解决方案,其核心原理在于通过分布式计算框架对数据进行并行处理。从经典的MapReduce分而治之模型,到基于内存计算的Spark DAG执行引擎,技术演进大幅提升了数据处理效率。在工程实践中,构建完整的数据处理链路具有重要价值,能够支撑实时分析、用户画像等应用场景。本文以Hadoop和Spark为核心,通过部署伪分布式集群和编写数据分析程序,演示如何搭建从数据采集、存储、计算到可视化的实战管道,并融入数据治理与生产环境最佳实践,为构建企业级数据平台提供可落地

weixin_34062469的博客 467

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

clickhouse 安装踩坑

clickhouse配置

The_OneRS的博客 3206

SIMATIC S7-1200, S7-1500 PID 控制[手册]

SIMATIC S7-1200, S7-1500 PID 控制[手册]

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

报错:Code: 210. DB::NetException: Connection refused (localhost:9000). (NETWORK_ERROR)

报错:Code: 210. DB::NetException: Connection refused (localhost:9000). (NETWORK_ERROR)clickhouse-client -m --password 123456 启动 clickhouse命令。cd /var/log/clickhouse-server/ //进入日志文件目录。

m0_69097184的博客 3251

10.Clickhouse 单机部署

大约156行找到 :: 的配置项,取消注释,这样就同时支持IPv4和IPv6了。(一般都用这种方式)也可以选择取消注释0.0.0.0,就仅支持IPv4,不允许IPv6。配置完成后,输入自己的主机名加8123端口即可远程访问。在依次解压第四个并执行即可。按照题目修改为 9001。

惊鸿的博客 770

安装clickhouse后namenode无法启动

一次启动hadoop集群发现namenode始终无法启动,找了很多方法后,发现是新安装的clickhouse占用了9000端口,导致namenode无法启动 解决方法: netstat -lnp | grep 9000 然后kill -9 杀死9000端口的进程号 之后就可以正常启动namenode了 ...

一亿年开发经验 1123
上一篇: 记一次Linux-CentOS重启网卡失败的解决方法
下一篇: Bugzilla配置SMTP邮箱时的大坑!!!
胖虎子688
博客等级 码龄9年 1979粉丝 107原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值