如何使用IDEA中的Big data tools 连接远程服务器docker中的HDFS？

最新推荐文章于 2025-05-11 15:41:32 发布
最新推荐文章于 2025-05-11 15:41:32 发布
阅读量2.5k 收藏
点赞数 1
分类专栏： 大数据 文章标签： docker
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_43848469/article/details/123981001
版权
本文介绍了如何在IntelliJ IDEA中使用BigDataTools插件连接到运行在Docker容器内的HDFS。当直接访问HDFS的8020端口失败时，问题通常在于端口未正确映射。解决方法是在Docker容器的Namenode节点上设置端口映射，例如将主机端口映射到容器的8020端口，从而实现IDEA对HDFS的访问。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

如何使用IDEA中的Big data tools 连接远程服务器中的HDFS？

​ 这几天遇到一个需求，就是想要在IDEA中通过Big data端口连接docker中的hdfs,这样以便于IDEA直接访问HDFS,

问题

​ 在IDEA中直接访问IP:8020端口无法连接，会显示本地没有访问资格，这时候是因为docker中的8020端口没有成功映射，于是只需要加入端口映射的命令就行了，我的容器部署如下，

image-20220406025513536

只要在namenode节点中加入映射就能成功。

image-20220406025545716

示例

image-20220406025648565

大数据领域存算分离：应对数据增长难题
AI天才研究院
05-18 739
本文旨在全面解析大数据领域中存算分离架构的技术原理、实现方法和应用价值。随着企业数据量的持续增长，传统一体化架构在扩展性、成本效益和运维复杂度等方面面临严峻挑战。存算分离作为一种新兴架构范式，为解决这些问题提供了创新思路。本文范围涵盖存算分离的基本概念、技术实现细节、数学模型分析、实际应用案例以及未来发展趋势，为大数据架构师、数据工程师和IT决策者提供全面的技术参考。首先介绍存算分离的背景和基本概念深入分析核心架构原理和技术实现通过数学模型量化分析存算分离的优势提供实际项目案例和代码实现。
大数据领域数据产品的区块链融合实践
AI天才研究院
04-25 573
本文旨在探讨大数据技术与区块链技术融合的理论基础和实践方法，重点分析如何利用区块链技术解决大数据领域面临的数据安全、隐私保护、数据确权和价值流通等核心问题。研究范围涵盖技术架构设计、核心算法实现、数学模型构建以及实际应用案例分析。本文首先介绍大数据和区块链的基本概念，然后深入分析二者融合的技术架构和实现原理。接着通过实际案例展示融合技术的具体应用，最后讨论未来发展趋势和挑战。文章包含大量技术细节、算法实现和数学建模，为读者提供全面的技术参考。大数据。
高版本idea使用Big Data Tools连接HDFS
qq_44007764的博客
05-28 9523
高版本idea使用Big Data Tools连接 Hadoop HDFS 注意：本方法仅适用于idea 2019.2版本及以上 1、安装 idea安装完成后看右侧边栏是否有Big Data Tools，如果有应该是如下图所示 1.1、如果没有则需要下载，大致步骤如下 (1) 打开idea，点击右上角file，然后点击setting (2)、进入里面的plugins界面，在搜索界面输入big data tools然后点击安装，安装完成过后重启 idea。 因为我自己的工具插件是安装好了的，所以就只能文
big data tools连接远程服务器上的HDFS等部件
只想买把蝴蝶knife
05-27 754
big data tools连接远程服务器上的HDFS等部件 ​ 最近在IDEA中遇到了连接服务器HDFS的需求，如下图所示 这样可以方便的看到HDFS的文件结构，其中连接远程需要使用tunneling进行连接，首先连接上ssh，然后直接连接9000端口就好了（端口根据namenode 的设置有关系） ...
idea使用big data tools插件管理hdfs文件
mengweicat的博客
04-21 293
连接成功，即可方便地管理hdfs里的内容（我一开始hdfs里什么都没有的时候，一直连接失败，后来放了东西就连接成功了，供参考）在idea中，点击文件—设置—插件，搜索big data tools，进行安装（需要idea专业版，如需激活可参考。配置hadoop和hdfs的教程可见。选hdfs，填写hadoop用户名。安装完成后，按照提示重启idea。点击最右侧的D图标进入插件。
Big Data Tools插件(详细讲解安装，连接，包教包会
2401_84159783的博客
04-08 1201
​ 在Jetbrains的产品软件中，均可以安装插件，其中：Big Data Tools 插件可以帮助我们方便操作HDSF，比如：IntelliJ IDEA（Java IDE），PyCharm （python IDE），DataGrip （SQL IDE）均可支持Bigdata Tool插件的安装。
HDFS技术之IDEA远程连接（二）
RivenDong
09-06 1090
文章目录1. IDEA远程连接1.1 实验需求：1.2 创建项目1.3 配置Modules 1. IDEA远程连接 1.1 实验需求： IDEA hadoop2.6_Win_x64-master /bin 目录下需要还有 对于该文件我已上传到我的优快云下载页：hadoop-wins 1.2 创建项目 【file】 【new project】 【java】 【选择自己的JDK】 【next...
idea intellij 连接hadoopHDFS插件
12-21
自己编译的插件，可连接hdfs，在idea设置plugin里面选择从磁盘安装插件。
win10中用Intellij IDEA连接虚拟机Hadoop
OwnYoung的博客
12-09 6107
win10中用Intellij IDEA连接虚拟机Hadoop 确保安装好了jdk1.8以上&maven3.0以上，hadoop cmd命令查看 maven安装教程 hadoop文件解压，bandzip报错，所以安装winrarcmd解压： 确保hadoop正常运行： 可能报错： Hadoop Error: JAVA_HOME is incorrectly set 在网上搜索了下资料发现原来是路径上包含了一个空格 解决办法：用路径替代符 C:\PROGRA~1\Java\jdk1.8.0_9
学习记录-docker配置与运行hadoop时出现的问题和错误
bell_love的博客
05-20 1067
文章目录遇到的问题及解决方法补充 Docker 版本 19.03.13 hadoop 版本 2.7.0 用docker搭建hadoop伪分布式集群 参考文章：Docker安装分布式Hadoop 遇到的问题及解决方法 Hadoop配置后没有NameNode进程的解决方法 Hadoop配置后没有NameNode进程怎么回事？ hadoop启动后jps查不到namenode的解决办法 缺少DataNode进程的解决办法 hadoop——缺少DataNode的解决办法 对于hadoop守护进程缺少Secondar
大数据领域分布式计算的技术峰会亮点
最新发布
AI天才研究院
05-11 894
分布式计算作为大数据处理的核心基础设施，其技术演进直接影响着企业数据价值的挖掘效率。全球顶级技术峰会（如ApacheCon北美/欧洲、Strata Data Conference、QCon全球软件开发大会）是观察这一领域技术趋势的最佳窗口。本文聚焦近3年（2021-2023）峰会的核心议题，覆盖技术原理突破、工程实践创新、行业应用落地三大维度，旨在帮助读者把握分布式计算的最新发展方向。本文以“技术演进主线+行业实践”为逻辑，首先梳理分布式计算的核心概念与峰会关注的技术方向；
idea 配置连接远程hadoop 插件
04-23
idea hadoop-hdfs插件,和eclipse上一样的Hadoop hdfs的插件功能一样; 原生集群端口分别为50020和9000 cdh 集群 端口分别为8020和9000 ,不用点测试直接点应用即可
BigDataTools_for_intellij-213.5449.243
01-29
With this plugin, you can conveniently work with Zeppelin notebooks, run applications with spark-submit, produce and consume messages with Kafka, monitor Spark and Hadoop YARN applications, and work with following file storages: AWS S3 DigitalOcean Spaces Google Cloud Storage Hadoop Distributed File System (HDFS) Linode Microsoft Azure Minio SFTP Yandex Object Storage You can use this plugin in IntelliJ-based IDEs including IntelliJ IDEA Ultimate, PyCharm Professional, DataGrip and DataSpell.
windows下IDEA操作远程HDFS（云主机 | 虚拟机）
qq_40727267的博客
09-01 724
云主机 开放端口9000、50010 配置云主机hosts文件 配置windows hosts文件 注：两个hosts文件的主机名要一样，云主机用的是私网IP，windows用的是云主机的公网IP 添加配置参数 System.setProperty("HADOOP_USER_NAME", "hadoop"); #设置用户名 conf.set("dfs.replication", "1"); ...
HDFS的IDEA连接使用
qq_43325476的博客
01-19 2112
HDFS的IDEA连接使用 上一章我们已经学会了shell操作，这一章其实没有很重要，但是有刀不用和无刀可用是两个概念。本来打算昨天晚上写的，但是昨晚太困了，结果。。。。一上床就打王者去了。 开始准备文件： 下载Hadoop依赖：Apache Hadoop3.1.0 下面这个就自己找链接去了，百度太多了 IDEA的安装 jdk安装 准备Windows关于Hadoop的开发环境 3.1 准备Windows关于Hadoop的开发环境 1、找到资料目录下的Windows依赖目录，打开： 2、配置HAD
分布式文件系统—HDFS—IDEA的Hadoop可视化插件BigDataTools
sanmi8276的博客
01-24 3071
原文作者：？？? 原文地址：idea新工具Big Data Tools安装 Big Data Tools插件为了连接hadoop集群，可以在上面操作hdfs，方便好用。 1、首先下载Big Data Tools插件 在idea右边工具栏点击Big Data Tools。也可以在这里找到。 点击OK就可以了 ...
IDEA 中使用 Big Data Tools 连接大数据组件
JasonLee实时计算
05-23 1万+
简介Big Data Tools 插件可用于 Intellij Idea 2019.2 及以后的版本。它提供了使用 Zeppelin，AWS S3，Spark，Google Cloud Storage，Minio，Linode，数字开放空间，Microsoft Azure 和 Hadoop 分布式文件系统（HDFS）来监视和处理数据的特定功能。下面来看一下 Big Dat...
idea新工具Big Data Tools安装
热门推荐
qq_44930688的博客
05-30 1万+
##Big Data Tools插件安装（idea） Big Data Tools插件为了连接hadoop集群，可以在上面操作hdfs，方便好用。 1、首先下载Big Data Tools插件 注：在此我已经下载好了 在idea右边工具栏点击Big Data Tools。也可以在这里找到。 点击OK就可以了 不足之处，请多多指教！ .........
Hadoop3：HDFS的客户端工具Big Data Tools（IDEA版本）
Brave_heart4pzj的博客
07-26 1094
Hadoop
idea连接远程服务器docker
12-31
### 连接 IntelliJ IDEA 至远程服务器上的 Docker 为了使 IntelliJ IDEA 成功连接至位于远程服务器的 Docker，需遵循特定配置流程。通常情况下，在本地环境中遇到无法连接到 Docker 的错误提示可能是因为权限不足或是服务未运行所引起[^1]；然而针对远程访问场景，则涉及更多网络层面以及安全性的考量。 #### 配置远程 Docker 访问 确保远程机器上已安装并正确设置了 Docker 服务，并允许通过 TCP 或者 Unix Socket 接口接受来自外部客户端请求。对于安全性考虑，默认设置下 Docker 只监听本机 socket 文件 `/var/run/docker.sock` 并不允许直接跨主机通信。因此需要修改 Docker 启动参数来启用远程 API 支持： ```bash sudo systemctl edit docker.service ``` 向文件内添加如下内容以指定绑定 IP 地址与端口号（例如 `0.0.0.0:2375` 表示开放给所有网卡接口）: ```ini [Service] ExecStart= ExecStart=/usr/bin/dockerd -H tcp://0.0.0.0:2375 -H unix:///var/run/docker.sock ``` 保存更改后重启 Docker 服务以便应用新配置： ```bash sudo systemctl restart docker ``` 此时应当能够从其他设备尝试建立 HTTP 请求测试连通性： ```bash curl http://<remote-server-ip>:2375/_ping ``` 如果返回 `"OK"` 则说明准备工作完成得当。 #### 设置 IDE 中的 Docker 插件 打开 IntelliJ IDEA ，导航至 **Preferences/Settings -> Build, Execution, Deployment -> Docker** 。点击左上方加号按钮选择 "Add Configuration..." 来新增一条记录。输入名称用于区分不同环境下的链接定义，接着切换到 “Connection” 标签页填写目标地址为 `<http(s)://your.remote.server.ip:port>` 形式的 URL 字符串表示法。注意这里要匹配之前调整过的实际暴露在外的服务端点位置。 另外还需确认 TLS 加密选项是否开启取决于远端守护进程的安全策略需求。假如启用了 SSL/TLS 协议保护传输通道的话，记得上传对应的 CA 证书、客户端认证私钥及其关联公钥文件路径等资料供验证身份之用。 最后一步就是检验整个链路能否正常运作了——利用界面上提供的“Test Connection...” 功能快速获取反馈信息判断是否存在潜在障碍待解决。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值