Hadoop学习笔记汇总

xiejava xiejava 博客等级 墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 700+累计阅读 776平均单平台 已同步平台 优快云 微信公众号 微博 知乎 掘金 百家号 博客园 抖音 小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网 我也要 码龄19年
关注
原创 最新推荐文章于 2026-03-17 15:55:06 发布 776 阅读 AI 写同款· GEO 优化 ›
【学习笔记】尚硅谷Hadoop大数据教程笔记 本文是尚硅谷Hadoop教程的学习笔记，由于个人的需要，只致力于搞清楚Hadoop是什么，它可以解决什么问题，以及它的原理是什么。至于具体怎么安装、使用和编写代码不在我考虑的范围内。 一、Hadoop入门 大数据的特点： Volume（大量） Velocity（高速） Variety（多样） Value（低价值密度） 1. Hadoop概念 是一个分布式系统基础架构 2. Hadoop优势 高可靠 高扩展性 高效性 高容错性 3. Hadoop组成 (1) HDFS架构概述 HDFS（Hadoop 阅读详情
  1. 个人认为初学者最好的中文入门资料 。但是这个资料是针对0.18.2版本的，所以对于高版本的用户，有些地方需要注意，安装Hadoop伪分布式模式建议参考此文 。
  2. hadoop安装成功后，就可以开始跑一跑系统自带的WordCount实例了，参考此文 。
  3. 在eclipse环境下配置hadoop环境，运行WordCount实例，参考此文 。
  4. hadoop集群配置，参考此文 。
  5. 大象书：“Hadoop The Definitive Guide“ 学习笔记

 

收录于
Hadoop

当前文章被收录于：

Hadoop
14 篇文章 0 人学习
订阅专栏 查看详情
Parallel Computation

当前文章被收录于：

Parallel Computation
8 篇文章 0 人学习
订阅专栏 查看详情
标签
#hadoop #eclipse #集群
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
[Hadoop]Hadoop异常汇总，不定期更新 异常1：jps命令查看NameNode未启动 笔者最近在学习Hadoop，遇到了个很尴尬的问题，就是重新启动linux虚拟机后，发现hadoop   start-all.sh命令启动不了NameNode。并百度搜索了很多网站，并未能成功结果。这里提供一个出现该问题的一个可能（笔者也是遇到的这样的问题）。 问题描述：jps命令查看NameNode未启动 尝试格式化等操作，并不难解决这个问题 阅读详情

相关推荐

数字IC后端设计实现之Innovus POD V2 Flow性能优化全解析

本文深入解析了数字IC后端设计中的Innovus POD V2 Flow性能优化方案。该流程通过整合place_opt_design与clock_opt_design命令，实现了布局与时钟树的协同优化，有效提升了时序收敛效率、改善了设计密度与拥塞，并显著减少了迭代次数，是应对先进工艺复杂设计的关键利器。

ik6789012的博客 1252

【Hadoop】Hadoop认证代码分析

Hadoop认证代码分析 Hadoop作为分布式系统，服务分布于多台服务器之间，提供多用户的访问机制，却有着极其简单的认证实现逻辑。 JAAS（Java Authentication Authorization Service）完整的提供了一个认证鉴权的框架，在Hadoop这个看似庞大的架构当中，借助这一体系，在一个单独的Java类中，实现了认证的绝大部分逻辑。 本文主要讲述Hadoop中的认证实...

小哲的博客 1570

Delphi 12.3 精简绿色版下载

Delphi精简绿色版基于原版安装，去掉了InterBase、法语、德语、日语，只保留了Delphi Windows 32和Delphi Windows 64桌面开发，其余部分未做任何修改。Delphi精简绿色版不含任何破解，仅供学习和研究，24小时后请自行删除，如需继续使用Delphi，请购买正版。绿色版基于原版安装，未做任何精简和修改。绿色版不含任何破解，仅供学习和研究，24小时后请自行删除，如需继续使用RAD Studio，请购买正版。

全粘工程师 4303

HDFS多用户时的权限问题

今天用Cloudera Manager安装Hive时老不成功，不能初始化数据库表，遇到很多问题，最后手工初始化，解决的，但是挡在hive命令行执行写入类命令比如创建数据库或表时出现以下问题： [code lang="xml"] 14/07/23 01:07:14 ERROR hive.log: Got exception: org.apache.hadoop.security.Acce

来啊 快活啊 1万+

MRI多序列，多中心数据集预处理--使用FSL-Flirt 配准数据

FLIRT（FMRIB 的线性图像配准工具）是用于线性（仿射）模态内和模态间脑图像配准的全自动稳健且准确的工具。 什么是配准 在这两张图片上，很容易看出它们没有对齐，左边相对右边倾斜，虽然我们人类视觉系统还是能把对应的解剖关系连系在一起，但是我们使用计算机分析时确不能够 因此，我们希望相同的解剖结构对齐，用坐标表示的话，希望他们在相同的坐标上。如下图 对齐这些解剖结构的过程就叫做配准（register） 因此，配准的目的也是使相同的解剖结构在同一个位置，便于分析。可以将CT和MRI配准，看同一结构在两个

Tina姐的博客 1万+

山东大学机器学习（实验一内容）——线性回归

1. 描述 第一个练习将为你提供线性回归练习。这些练习已经用Matlab进行了广泛的测试，但它们也应该在Octave中工作，它被称为“免费版的Matlab”。如果你使用的是Octave，那就是 一定要安装Image包（可在Windows中作为选项使用）安装程序，可从Octave-Forge获得Linux。 2.线性回归 回想一下，线性回归模型是 hθ(x)=θTx=∑j=0nθjxj h_{\th...

HachiLin的博客 4108

hadoo异常——org.apache.hadoop.security.UserGroupInformation: PriviledgedActionException

hadoo异常——org.apache.hadoop.security.UserGroupInformation: PriviledgedActionException

10年职场两茫茫，35岁凄凉奈若何 490

200SMART PLC时间不准？手把手教你用MCGS触摸屏实现自动校时（附完整代码）

本文针对西门子200SMART PLC时钟不准的常见问题，提供了一套基于MCGS触摸屏的自动校时解决方案。文章详细阐述了时钟偏差的根源、时间同步方案的技术选型，并手把手指导如何配置MCGS与PLC的通信，以及编写完整的PLC时间读取、转换与设置代码，最终实现稳定可靠的自动时间同步功能。

jupyter5notebook的博客 457

Ubuntu上安装Hadoop环境中org.apache.hadoop.security.UserGroupInformation: PriviledgedActionException

在安装Hadoop的过程中，碰到了若干问题的解决，故记录在这个blog之中。

木小鱼的笔记 1万+

百度百科 X-Bk-Token 算法还原

百度百科 X-Bk-Token 算法还原

自成背后的博客 1万+

L型探测器几何畸变矫正

定位像素空间位置 -> 计算水平面投影点 -> 统一物理分辨率 -> 重采样生成新图。

如果想成为中心，那么就到中心去吧。 241

Hadoop入门学习笔记（汇总）

Hadoop学习笔记

faith306 2075

3D深度饼图的QT实现

首先，我们需要创建一个QT项目并创建一个窗口，用于显示我们的饼图。在QT Creator中，选择创建一个新的QT Widgets应用程序项目，并创建一个新的窗口类。在本文中，我将介绍如何使用QT实现一个3D深度饼图（Pie 3D）的可视化效果。在构造函数中，我们将创建一个饼图（QChartView）并设置饼图的数据。这是一个简单的示例，您可以根据需要自定义和扩展代码来创建更复杂的饼图。现在，我们已经完成了3D深度饼图的QT实现。您将看到一个具有相应数据的3D深度饼图显示在窗口中。3D深度饼图的QT实现。

CodeJolt的博客 277

Hadoop 学习笔记十 常见问题汇总

1could only be replicated to 0 nodes instead of minReplication (=1)运行hive时出现这个错误，在hadoop上运行jps，发现datanode没有启动起来，需要启动datanode 2FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization fail

猿来这样-谢厂节的博客 832

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的，已经排好版了，而且还是完整的，适合小白

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

Hadoop-2.6.0学习笔记汇总

鲁春利的工作笔记，好记性不如烂笔头Hadoop是适用于大数据处理的、分布式的存储(HDFS)和计算(MapReduce)平台，在Hadoop2.0版本开始引入了yarn来实现资源管理与作业调度。HDFSHadoop2.6.0学习笔记（一）HA集群搭建http://luchunli.blog.51cto.com/2368057/1672186H...

weixin_34365417的博客 146

Camera2Demo

在Camera2 的基础上进行封装，使得Camera2一堆初始化逻辑与Activity分离，降低耦合度，完成预览拍照并保存的操作

Hadoop学习笔记-基本操作、历史服务器和log汇总

接上篇 基本操作 上传文件 首先创建目录 [zyi@h102 sbin]$ hadoop fs -mkdir /input 在Hadoop：http://h102:9870查看 上传文件： [zyi@h102 hadoop-3.1.3]$ hadoop fs -put /tmp/word.txt /input 2021-06-02 22:28:37,950 INFO sasl.SaslDataTransferClient: SASL encryption trust check: localHostT

weixin_43394724的博客 739

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章，有部分习题没有答案，全英文复分析阿尔福斯(Ahlfors) 第三版答案

opensourceteams 所有项目汇总

opensourceteams 所有项目汇总 https://github.com/opensourceteams/opensourceteams-all Flink 1.7.2 源码分析(scala 版) https://github.com/opensourceteams/flink-maven-scala Flink 1.7.2 源码分析(java 版) https://github....

大数据技术分享 326

Hadoop学习笔记

Hadoop学习简介前言：大数据的概念一、Hadoop入门1.概念1.1 Hadoop是什么？1.2 Hadoop发展历史1.3 Hadoop三大发行版本1.4Hadoop的优势1.5Hadoop的组成1.5.1 HDFS架构概述1.5.2 YARN架构概述1.5.3 MapReduce架构概述1.5.4 HDFS、YARN、MapRecduce三者间的关系1.6大数据技术生态体系1.7推荐系统案例2. 环境准备2.1模板虚拟机的准备2.2克隆2.3安装JDK以及Hadoop3.Hadoop生产集群搭建3.

NotLency的博客 3242

Hadoop文章汇总

Hadoop相关博文汇总： Hadoop（1）：Hadoop概述 Hadoop（2）：Hadoop的安装和部署 Hadoop（3）：Hadoop安装和部署过程中的常见问题 Hadoop（4）：HDFS概述 Hadoop（5）：HDFS的Shell操作 Hadoop（6）：HDFS的API操作 Hadoop（7）：HDFS读写流程 Hadoop（8）：HDFS之NameNode和SecondaryNameNode Hadoop（9）：HDFS之DataNode Hadoop（10）：Map

yang_shibiao的博客 1520

hadoop问题汇总

仅总结一下在使用hadoop中遇到的问题已经解决方法 问题1：java.io.IOException: Incompatible namespaceIDs in /home/hadoop/data/hdfs/data1: namenode namespaceID = 635210663; da tanode namespaceID = 1225500221 解决方法： 先停掉集群，

1479

Hadoop 和 Spark 知识点整理汇总

2020年9月至11月，我通过一本理论书简单地学习了 Hadoop 和 Spark 的基本知识，大体上了解了 Hadoop 和 Spark 的一些底层工作机制、基本原理和实用工具等。之后，我又根据另一本实践书学习了 Hadoop 和 Spark 中像是伪分布式环境搭建、集群部署等实践性内容，跑了几个 demo。 但是，随着转而去学其他的知识，关于 Hadoop 和 Spark 的相关内容逐渐被我遗忘。因此，为了避免这两部分内容被我彻底抛弃，同时为了将来找工作时能够回忆起相关知识点，我打算用这篇博客来记录我

weixin_45517168的博客 8546

Hadoop视频教程汇总

一 慕课网 1.Hadoop大数据平台架构与实践--基础篇(已学习) 链接:https://www.imooc.com/learn/391 2.Hadoop进阶（已学习） 链接:https://www.imooc.com/learn/890 二 极客学院 1.Hadoop 概述(已学习) 链接:http://www.jikexueyuan.co

u012426327的专栏 2万+

Hadoop学习资料汇总

Spark学习资料汇总视频 hadoop学习资料另一个博主整理的，包括很多视频下载和书籍下载，版权问题贴个链接大家自己看吧 书籍提供下载地址仅供学习请尊重版权勿盗印 以下书目下载地址 《Learning Hadoop 2》 英文版 《Apache Hadoop YARN》英文版 《Hadoop MapReduce v2 Cookbook, 2nd Edition》英文版 《Hadoop Th

William Zhao's notes 2543

配置hadoop集群常见报错汇总

配置hadoop集群常见报错汇总1、使用hdfs namenode -format 格式化报错找不到JAVAHOME 该问题只需在对应的窗口导入JAVAHOME即可，注意，此处为对应环境安装的JDK路径，笔者为/usr/local/java [hadoop@hadoop0 var]$ export JAVA_HOME=/usr/local/java 鉴于每次执行都要导入，建议直接在对应的/XXX/hadoop-xxx/etc/hadoop/hadoop-env.sh 添加如下语句，可以免去这个麻烦 expo

Field_Yang的博客 1万+
上一篇： PostgreSQL允许远程访问设置方法
下一篇： Hadoop使用问题集锦
点赞 0
评论 0
书签 书签 0
xiejava
xiejava
博客等级 码龄19年 26粉丝 19原创
+ 关注 专栏目录 订阅专栏
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值