MyeclipseC12016连接HDFS

本文档详细介绍了如何在MyEclipse环境中配置Hadoop插件以连接HDFS,包括所需文件的下载、配置Hadoop环境变量及解决常见错误的方法。

myeclipseC12016连接HDFS


获取jar包

将hadoop-eclipse-plugin-2.6.0.jar置于 myeclipse的plugins下,(后来发现myeclipse Window/preference/ 中未显示 Hadoop Map/Reduce该选项,又将该jar包置于dropins 一份,终于出现该选项了。)

这里写图片描述

这里写图片描述

指定Hadoop installation directory的位置。 (即和安装在虚拟机中hadoop版本一致的 本地的hadoop的解压包 …/hadoop/bin),在计算机环境变量中配置 HADOOP_HOME = …./hadoop/bin

下载 hadoop-common-2.2.0-bin-master的文件

只需要其中的winutils.exe文件,并将该文件置于 …../hadoop/bin/目录下,程序建立连接的时候需要使用,否则会报 Could not locate executable null\bin\winutils.exe in the Hadoop binaries.

  • 见图
    这里写图片描述
  • 使用FileSystem需要注意一下
    这里写图片描述

    • 列: url = hdfs://192.168.5.169:9000/

系统会先在系统变量中寻找 HADOOP_USER_NAME的值,(即:计算机系统变量中获得) 若未找到,即读取System.getProperty(“HADOOP_USER_NAME”);
将读取的hadoop_user,设置到系统 的全局变量中。
这里设置下
System.setProperty(“HADOOP_USER_NAME”,hadoop_user);
hadoop_user未配置文件中所设

这里写图片描述

### 如何配置 PyCharm 连接 HDFS #### 安装必要的 Python 库 为了使 PyCharm 能够与 HDFS 交互,需先安装 `pyhdfs` 或者其他支持 HDFS 操作的库。这可以通过 pip 工具来完成。 ```bash pip install pyhdfs ``` 此命令会下载并安装用于访问 HDFS 文件系统的 Python 接口[^1]。 #### 设置远程解释器 为了让本地开发环境能够利用服务器上的资源,在 PyCharm 中增加一个新的远程 Python 解释器是必需的操作之一。具体做法是在项目设置里找到相应的选项,并按照提示输入 SSH 访问信息以及远端 Python 可执行文件的位置。通常情况下,可以在 Linux/Unix 类系统上通过运行 `which python` 来获取该路径[^4]。 #### 编写测试脚本验证连接 一旦完成了上述准备工作之后,就可以编写简单的 Python 程序来进行功能性的检验了。下面给出了一段用来向 HDFS 上创建文件并将数据写入其中的例子: ```python import pyhdfs as pd client = pd.HdfsClient(hosts="localhost:9870") # 替换成实际地址 str_content = 'hello python hdfs' with client.write('/user/test/py.txt') as writer: writer.write(str_content.encode('utf-8')) ``` 这段代码展示了怎样打开一个到 HDFS 的客户端连接,并尝试往指定目录下新建名为 `py.txt` 的文本文件,同时在里面写下一段问候语句[^2]。 #### 配置项目结构 当一切准备就绪后,可以开始构建自己的应用程序逻辑了。对于工作区的选择并没有严格的要求,默认配置一般已经足够满足日常需求;不过如果有特殊的需求,则可以根据实际情况调整这些参数[^3]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值