Ubuntu-16.04 下 Hadoop-2.8.0环境搭建

最新推荐文章于 2025-02-27 14:18:40 发布
原创 最新推荐文章于 2025-02-27 14:18:40 发布 · 2.1k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#ubuntu #hadoop

学习如何在Linux上部署Hadoop集群

第一步：在Ubuntu16.04下部署JDK环境

Hadoop的前提是需要有Java环境。
建议安装JDK1.6以上的版本以供使用。 JDK下载地址 ：我这里使用的是1.8 Linux-64的。 注意：结尾是tar.gz结尾的！

下载完成之后把包考入Ubuntu系统：

sudo tar -zxcf /home/Desttop/jdk-8u131-linux-x64.tar.gz -C /usr/local/java

通过命令把JDK解压到指定的文件夹（看不懂命令的建议看下基础Linux）。

解压完成之后：

vim /etc/profile

修改配置文件，需要vim ,需要root权限 （root权限只需要 su root 再输入密码就可以）。

在配置文件末尾加上：

export JAVA_HOME=/usr/java/jdk1.8.0_131
export PATH=$J
最低0.47元/天 解锁文章
Ubunutu16.04完成Hadoop集群式搭建
weixin_54028135的博客
03-03 2383
#Ubunutu16.04完成Hadoop集群式搭建 版本情况 VMwareWorkstation 12.5 JDK1.8.0_321 HADOOP-2.7.1 hadoop分布式工作机制说明 前面伪分布式配置时，只配置了HDFS的存储，并没有启用yarn进行资源管理，也未指定MapReduce执行所依赖的框架。要完成分布式集群搭建，接下来要完成下列工作： 在hdfs-site.xml中修改hdfs的副本数、指明SecondaryNamenode服务器 配置yarn集群 yarn-env.sh：指明yarn
在Ubuntu16.04中搭建hadoop2.8.0集群
weixin_43028509的博客
04-11 375
因安装hadoop集群用了三台虚拟机，所以所需内存至少要8G如图所示： 一、下载hadoop 下载地址：http：//archive.apache.org/dist/hadoop/common/hadoop-2.8.0/hadoop-2.8.0.tar.gz 二、安装个虚拟机并实现ssh免密登陆 2.1安装三台机器 使用Ubuntu16.04安装三台Linux，分别命名为master、slave...
ubuntu16.04 Hadoop安装
约瑟夫的杂货店
10-02 5481
主要参考： 在Ubuntu 14.04 LTS上安装部署Hadoop 2.7.1（伪分布式）配置ssh免密码登录 安装ssh server： sudo apt-get install openssh-server cd ~/.ssh/ # 若没有该目录，请先执行一次 ssh localhost ssh-keygen -t rsa
ubuntu 16.04 搭建hadoop （单机模式）
zhumingyuan111的博客
11-13 1082
ubuntu 16.04 搭建hadoop （单机模式）本文环境是：Ubuntu16.04LTS+Java 1.8.0_111+Hadoop 2.7.3一、下载和安装Java1）下载：Java在官网下载就好，我下载的是jdk-8u111-linux-x64.tar.gz;2）解压：tar -zxvf jdk-8u111-linux-x64.tar.gz -C /usr/lib/jvm3) 配置jav
Hadoop部署（Ubuntu）
Michael的博客
05-18 2040
在Ubuntu上部署Hadoop的详细步骤
Ubuntu16.04搭建hadoop伪分布式环境
smart_ferry的博客
11-24 5846
参考自：https://blog.csdn.net/hliq5399/article/details/78193113   原材料： 1.Ubuntu16.04操作系统成品（在vmware上安装成功） 2.jdk-7u67-linux-x64.tar.gzjdk-7u67-linux-x64.tar.gz 下载地址：http://download.oracle.com/otn/java/j...
Ubuntu虚拟机中详述的Hadoop 2.8.0搭建教程
"搭建Hadoop 2.8.0环境的详细步骤在Ubuntu 16.04虚拟机上，使用VMware Workstation进行" 在这个文档中，作者分享了如何在Ubuntu 16.04虚拟机上搭建Hadoop 2.8.0的详细过程，适合初学者和有经验的IT专业人士参考。...
ubuntu16.04安装安装Hadoop、MySQL和Kafka
03-08
对于 Ubuntu 16.04 上的 Hadoop 安装，首先需要准备 Java 环境。通过解压 JDK 压缩包并设置环境变量来完成这一操作[^3]。 ```bash sudo tar -xzvf /home/hadoop/package/jdk-8u151-linux-x64.tar.gz -C /usr/java/ ...
Hadoop-2.8.0实践——单机模式和伪分布模式
Jochen的博客
11-15 5888
一、安装 1.1 环境 系统：Ubuntu 16.04 LTS 软件： Java 1.7及以上 ssh 和 sshd 安装ssh: $ sudo apt-get install ssh $ sudo apt-get install rsync 1.2 下载 Hadoop 2.8.0 下载地址：http://mirror.bit.edu.cn/apache/hadoop/common/h...
Ubuntu上搭建Hadoop单机环境和伪分布模式部署。
程序员爱酸奶
06-02 2197
终于装上了Linux系统准备大战一场啦哈哈，这不给自己的电脑搭建了一个Hadoop的环境学习一下。整个部署的过程差不多话两天，主要是有点时候碰到问题能卡很久，过一会再来试试，所以才话这么久的，现在记录一下自己部署的过程。 先来看看最终效果吧，搭建好伪分布模式在浏览器上输入这两个链接可以看到以下界面 http://localhost:50070/ http://localhost:8088/ ...
Ubuntu 16.04 虚拟机下构建hadoop完全分布式集群
06-26
文档为本人亲自编写，由于能力有限，如发现错误，欢迎批评指正。同时，欢迎有安装过程中有问题的小伙伴们一起交流学习。
ubuntu上面部署hadoop
qq_54525448的博客
04-14 663
ubuntu上面部署hadoop
Ubuntu部署Hadoop环境
天然玩家的博客
01-01 1654
0 环境 Ubuntu18.04 openssh-server Hadoop3.0.2 JDK1.8.0_191 1 ssh配置 1.0 安装openssh-server sudo apt-get install openssh-server 1.2 配置ssh登录 # 进入ssh目录 cd ~/.ssh # 使用rsa算法生成秘钥和公钥对 ssh-keygen -t rsa # 授...
Ubuntu的Linux系统部署Hadoop平台
m0_75166157的博客
10-12 1755
Ubuntu的Linux系统部署Hadoop平台，及其注意事项
VMware平台的Ubuntu部署完全分布式Hadoop环境
z253255的博客
02-27 8526
此文章是本人初次部署Hadoop的过程记录以及所遇到的问题解决，这篇文章只有实际操作部分，没有理论部分。
ubuntu14.04部署hadoop环境(学习笔记)
一花一世界 一叶一菩提
03-09 1706
  第一步：准备三台虚拟机并创建3个hadoop用户 修改hosts文件如下： sudo vim /etc/hosts 127.0.0.1 localhost #127.0.1.1 ubuntu-14.04-Server ubuntu-14 #一定要注释掉 10.0.83.201 CDH 10.0.83.202 CDH1 10.0.83.17...
乌班图Ubuntu操作系统部署大数据Hadoop
weixin_42256788的博客
11-16 2092
1.创建hadoop用户名 #sudo useradd -m hadoop -s /bin/bash #sudo passwd hadoop #sudo adduser hadoop sudo 2.更新apt #sudo apt-get update #sudo apt-get install vim //安装vim编辑器 3.安装SSH、配置SSH无密码登陆 #sudo apt-get install openssh-server #ssh localhost 4.进入家目
【hadoop Linux（Ubuntu16.04）的安装】
耶耶猫猫的博客
09-22 1240
安装Linux虚拟机Ubuntu16.04
Ubuntu-16.04-x64搭建SOCKS5协议代码
最新发布
08-25
<think>我们正在为Ubuntu 16.04 x64系统搭建一个SOCKS5服务器。SOCKS5是一种网络协议，用于在客户端和服务器之间进行代理通信。常见的SOCKS5服务器软件有Dante、SS5等。这里我们选择使用Dante，因为它是一个功能齐全、稳定且易于配置的SOCKS服务器。 步骤概述： 1. 安装Dante服务器软件。 2. 配置Dante服务器。 3. 启动Dante服务并设置开机自启。 4. 配置防火墙以允许SOCKS5流量（默认端口1080）。 5. 测试SOCKS5服务器。 详细步骤： ### 1. 安装Dante 在Ubuntu 16.04上，我们可以使用apt-get安装Dante： ```bash sudo apt-get update sudo apt-get install dante-server ``` ### 2. 配置Dante Dante的配置文件位于`/etc/danted.conf`。默认情况下，该文件可能不存在，我们需要创建它。或者，安装后可能会有一个示例文件，我们可以在此基础上修改。 使用文本编辑器创建或编辑配置文件： ```bash sudo vim /etc/danted.conf ``` 以下是一个基本的配置示例，允许来自任何IP的连接（在生产环境中，应根据需要限制访问）： ``` logoutput: syslog user.privileged: root user.unprivileged: nobody # 监听的网络接口和端口 internal: 0.0.0.0 port=1080 # 外部接口（通常与内部相同） external: eth0 # 认证方式：none表示无需认证（如果需要认证，可设置用户名密码方式） method: none client pass { from: 0.0.0.0/0 to: 0.0.0.0/0 log: connect disconnect error } pass { from: 0.0.0.0/0 to: 0.0.0.0/0 protocol: tcp udp } ``` 注意：`external`字段需要根据服务器的实际网络接口名称进行修改。可以使用`ifconfig`命令查看网络接口，常见的接口名称可能是`eth0`、`ens33`等。 如果需要认证（设置用户名和密码），则需更改`method`字段并添加用户。但这里我们先配置一个无需认证的SOCKS5服务器。 ### 3. 启动Dante服务并设置开机自启 启动服务： ```bash sudo systemctl start danted ``` 设置开机启动： ```bash sudo systemctl enable danted ``` 检查服务状态： ```bash sudo systemctl status danted ``` ### 4. 配置防火墙 如果系统启用了防火墙（如UFW），需要开放1080端口： ```bash sudo ufw allow 1080 ``` 然后重新加载防火墙： ```bash sudo ufw reload ``` ### 5. 测试SOCKS5服务器 可以在另一台机器上使用curl测试SOCKS5代理。例如： ```bash curl --socks5-hostname <服务器IP>:1080 http://ifconfig.me ``` 如果返回的是服务器的公网IP，则说明代理工作正常。 另外，也可以在本地使用`proxychains`测试。首先安装proxychains： ```bash sudo apt-get install proxychains ``` 编辑`/etc/proxychains.conf`，在末尾添加： ``` socks5 <服务器IP> 1080 ``` 然后使用proxychains运行命令，例如： ```bash proxychains curl http://ifconfig.me ``` 同样，如果返回服务器的公网IP，则说明代理工作正常。 注意：如果服务器在局域网内，需要确保客户端能够访问到服务器的1080端口，并且服务器防火墙（包括云服务提供商的安全组）已开放该端口。 安全提示：上述配置中，我们设置了无需认证的SOCKS5代理，这意味着任何人都可以使用该代理。这可能会导致安全问题（如被滥用）。在生产环境中，强烈建议设置认证或使用防火墙规则限制访问的IP。 如果需要设置用户名密码认证，可以参考以下步骤： 1. 创建用户名和密码文件（例如`/etc/danted.passwd`）： ```bash sudo touch /etc/danted.passwd sudo chmod 600 /etc/danted.passwd ``` 2. 使用`dante-passwd`工具创建用户（如果该工具不存在，可能需要安装`dante-server`的特定版本或使用其他方式）： ```bash sudo dante-passwd -p -u username /etc/danted.passwd ``` 然后输入密码。 3. 修改`/etc/danted.conf`配置文件： - 将`method: none`改为`method: username`（或`method: username pam`，如果使用PAM认证）。 - 添加一行：`user.libwrap: nobody`（如果不存在则添加）。 - 在`client pass`块之前添加： ``` client pass { from: 0.0.0.0/0 to: 0.0.0.0/0 method: username } ``` - 同时，在配置文件中指定密码文件的位置： ``` passwd { file: /etc/danted.passwd } ``` 4. 重启Dante服务： ```bash sudo systemctl restart danted ``` 这样，客户端连接时需要提供用户名和密码。 以上就是在Ubuntu 16.04上搭建SOCKS5服务器的基本步骤。 根据用户提供的引用，其中提到了使用proxychains和配置git代理等，这些是客户端使用代理的方法，而不是搭建服务器。因此，我们专注于搭建服务器。 注意：Ubuntu 16.04已经结束官方支持，建议升级到更新的版本以获得安全更新。但如果必须使用16.04，请确保系统安全。 §§相关问题§§ 1. 如何为Dante SOCKS5服务器设置用户名和密码认证？ 2. 如何在Ubuntu 16.04上配置防火墙以保护SOCKS5服务器？ 3. 如何测试SOCKS5服务器的性能和稳定性？ 4. SOCKS5服务器搭建完成后，如何配置客户端（如浏览器、命令行工具）使用该代理？ 5. 在Ubuntu 16.04上搭建SOCKS5服务器有哪些常见问题及解决方法？</think>### Ubuntu 16.04 x64 搭建 SOCKS5 服务器配置指南 #### 1. 安装 Dante SOCKS5 服务器 Dante 是常用的开源 SOCKS5 服务端软件，支持身份验证和流量控制。 ```bash sudo apt-get update sudo apt-get install dante-server ``` #### 2. 配置 Dante 服务 编辑配置文件（首次安装需手动创建）： ```bash sudo vim /etc/danted.conf ``` 写入以下配置（按需修改）： ```ini # 基础配置 logoutput: syslog user.privileged: root user.unprivileged: nobody # 监听端口和协议 internal: 0.0.0.0 port=1080 # 监听所有网卡的1080端口 external: eth0 # 根据实际网卡名修改(ifconfig查看) # 认证方式（二选一） # 无需认证： method: none # 用户名密码认证： # method: username # user.libwrap: nobody # client pass { # from: 0.0.0.0/0 to: 0.0.0.0/0 # method: username # } # 访问规则 client pass { from: 0.0.0.0/0 to: 0.0.0.0/0 log: connect disconnect error } pass { from: 0.0.0.0/0 to: 0.0.0.0/0 protocol: tcp udp } ``` #### 3. 启动服务并设置开机自启 ```bash sudo systemctl start danted sudo systemctl enable danted ``` #### 4. 防火墙配置 开放 SOCKS5 端口（默认1080）： ```bash sudo ufw allow 1080/tcp sudo ufw reload ``` #### 5. 客户端连接测试 使用 `curl` 测试代理： ```bash curl --socks5-hostname <服务器IP>:1080 http://ifconfig.me ``` 成功时会返回服务器公网 IP。 #### 6. 高级配置（可选） **(1) 添加用户认证** 创建密码文件： ```bash sudo touch /etc/danted.passwd sudo chmod 600 /etc/danted.passwd sudo dante-passwd -p -u <用户名> /etc/danted.passwd # 按提示输入密码 ``` 在配置文件中启用： ```ini method: username passwd { file: /etc/danted.passwd } ``` **(2) 限制访问 IP** ```ini client pass { from: 192.168.1.0/24 to: 0.0.0.0/0 # 仅允许特定子网 } ``` #### 常见问题排查 1. **端口占用检查** ```bash sudo netstat -tuln | grep 1080 ``` 2. **查看日志** ```bash journalctl -u danted -f ``` 3. **服务重启** ```bash sudo systemctl restart danted ``` > **注意**：开放全网访问存在安全风险，生产环境务必启用认证或 IP 白名单[^3]。Ubuntu 16.04 已过维护周期，建议升级到更新的 LTS 版本[^1]。 --- ###
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值