ubuntu18.04首次配置hadoop伪分布式以及出现的问题

Ubuntu18.04下安装Hadoop单机与伪分布式环境 准备 Ubuntu18.04/64-bit Hadoop-2.7 JAVA JDK1.13.0.1 安装JDK 从这里下载对应版本的JDK,选择Linux版本,记住自己下载的版本号,后面配置时候需要用到。 新建/usr/java目录,切换到所下载的jdk-13.0.1_linux-x64_bin.tar.gz目录。将文件解压到/usr/java目录下。 以下所有操作都以root用户登录 s... 阅读详情

1、搞明白单机、伪分布式和集群的区别

单机:也称非分布式,是直接读写本地操作系统的文件系统,一般仅用于本地MR程序的调试。直接解压hadoop包就行,无需配置。

伪分布式:在一台单机上运行,但用不同的Java进程模仿分布式运行中的各类结点: (NameNode,DataNode,JobTracker,TaskTracker,SecondaryNameNode)。在“单节点集群”上运行Hadoop,其中所有的守护进程都运行在同一台机器上。能够访问本地操作系统文件和hdfs文件。

集群:真正的分布式,由3个及以上的实体机或者虚拟机组件的机群。

 

2、Hadoop配置教程

hadoop配置教程可以参考:

      单机配置教程:http://dblab.xmu.edu.cn/blog/install-hadoop/

      伪分布式配置教程:http://dblab.xmu.edu.cn/blog/install-hadoop/

      集群配置教程:

超详细的Hadoop环境搭建(Ubuntu18.04.2) 本文共分为三个部分 第一部分:Linux环境安装 Hadoop运行在Linux环境中,虽然借助工具也可以部署在Windows上,但是还是建议在Linux环境中进行部署,第一部分将简单介绍Linux环境的安装、配置、JDK安装 第二部分:Hadoop本地模式安装 Hadoop本地模式只能用于本地的开发和调试,如果想要快速体验一下Hadoop,本地模式是我们的不二选择 第三部分:Hadoo... 阅读详情

相关推荐

Ubuntu18.04,Hadoop3.1.3伪分布式环境搭建

大数据处理架构Hadoop 摘要: 在Linux 环境搭建Hadoop伪分布式集群,并对HDFS进行基本的操作。 文章目录大数据处理架构Hadoop简介核心架构特性版本Hadoop项目结构Hadoop基本安装配置:环境创建hadoop用户更新apt安装SSH、配置SSH无密码登陆安装 Hadoop3.1.3Hadoop伪分布式配置实验步骤:Hadoop配置文件说明运行Hadoop伪分布式实例1、单词出现次数统计案例:2、正则表达式单词抓取案例: 简介 (先来大概了解一下Hadoop) 总的来说,Hadoop

weixin_43576422的博客 1157

Ubuntu18.04安装hadoop伪分布式

首先是装好jdk和弄好ssh免密登录。 安装jdk1.8教程:安装jdk ssh免密登录教程:ssh安装+免密登录教程 因为博主之后要装Hbase,所以要搞清楚,hadoop和jdk和hbase对应的版本问题。不装hbase的也要注意hadoop和jdk的版本问题。 版本对应问题教程 ...

linjixia的博客 1217

大数据技术之Hadoop伪分布式安装步骤及结果(Ubuntu)

一、实验内容与要求 1、下载安装虚拟机软件;下载Ubuntu镜像文件,安装Ubuntu虚拟机; 2、在Ubuntu系统中创建用户、更新APT、安装SSH并配置SSH无密码登录、安装Java环境、配置PATH环境变量; 3、下载Hadoop并解压; 4、修改配置文件; 5、名称节点格式化; 6、启动Hadoop,JPS查看是否启动成功; 7、运行测试例子; 8、在安装好的Hadoop伪分布式环境中操作HDFS命令; 9、关闭Hadoop。

weixin_63378697的博客 1879

qt工程引入opencv库步骤

第一步:新建qt工程 第二步:在工程名.pro文件中添加opencv库的路径                   INCLUDEPATH += /home/liyuanzhe/opencv-2.4.8/include/opencv \ /home/liyuanzhe/opencv-2.4.8/include/opencv2 LIBS += /home/liyuanzhe/open

superyuanzhe的专栏 5723

深入排查127.0.0.1拒绝连接:从端口占用到Tomcat服务启动的完整解决方案

本文针对开发者访问127.0.0.1时遭遇“拒绝连接”的常见问题,提供了一套完整的排查与解决方案。文章从端口占用检查入手,详细讲解了使用netstat命令识别进程,并深入分析了服务监听地址、IPv6配置、防火墙以及Tomcat服务安装与启动等核心环节。通过实战演练,指导读者系统性地解决从网络层到应用层的各类连接问题,最终确保本地服务成功运行并可通过本地回环地址正常访问。

weixin_29279047的博客 3200

【实战指南】Green Hills MULTI-IDE 从零安装到工程创建全流程

本文详细介绍了Green Hills MULTI-IDE从零安装到工程创建的全流程,包括系统要求检查、安装步骤、工程配置及调试技巧。特别适合嵌入式开发新手快速上手这款专业IDE工具,提升开发效率。

weixin_28740299的博客 478

【大模型】大模型知识蒸馏 综述解读(Knowledge Distillation of Large Language Models)

知识蒸馏的(论文)方法总结。归纳了通过数据(如指令、对话、多模态)和训练方法(SFT、RL、数据增强),将复杂技能(如对齐、工具使用、多模态)蒸馏到开源模型的核心框架,附典型模型示例(如Alpaca、LLaVA)。

songxia928_928的博客 4336

二十一、CANdelaStudio深入-SPRMIB的配置

本专栏将由浅入深的展开诊断实际开发与测试的数据库编辑,包含大量实际开发过程中的步骤、使用技巧与少量对Autosar标准的解读。希望能对大家有所帮助,与大家共同成长,早日成为一名车载诊断、通信全栈工程师。 本文介绍CANdelaStudio的肯定响应抑制位配置,欢迎各位朋友订阅、评论,可以提出宝贵意见,以持续输出更好的作品,同时会根据评论、私信不定期更新文章内容,以及专栏目录。订阅该专栏的朋友可私信小编免费答疑解惑(^U^)ノ~YO CANdelaStudio-从入门到深入目录 文章目录CANdelaStu

诊断协议那些事儿's blog 1870

【QT开发教程】Qt中的跨平台文件系统操作

文件系统操作是应用程序开发中经常需要处理的任务。Qt提供了一套跨平台的文件系统操作API,使开发者能够在不同操作系统上无缝地进行文件和目录操作。本文将介绍Qt中的跨平台文件系统操作,包括基本概念、常用类和方法以及实际示例。

科技改变人类,技术成就未来 981

药物代谢仿真软件:PKSim_(6).案例研究与实践应用

通过本章的案例研究和实践应用,我们展示了如何利用PKSim软件构建药物动力学模型、进行参数估计、仿真预测和结果分析。这些方法不仅有助于优化药物代谢研究过程,还可以在药物研发中提供重要的数据支持。通过模型的构建和验证,我们可以更好地理解药物在体内的动态变化过程,为临床试验和药物治疗提供科学依据。

kkchenjj的博客 655

MFC实现键盘钩子(附完整源码)

MFC实现键盘钩子(附完整源码)

希望我的博客,能帮上你解决学习中工作中所遇到的问题 390

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

上一篇: spark-ml和jpmml-sparkml生成pmml模型过程种遇到的问题
下一篇: python安装sklearn2pmml和jpmml-sklearn
gyl2016
博客等级 码龄10年 53粉丝 101原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值