hadoop学习笔记

原创 于 2019-06-14 09:42:47 发布 · 173 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop学习笔记

本文档详细介绍了Hadoop部署后的管理页面配置与访问方式。在Hadoop部署完成后，可通过主节点IP及默认端口50070访问管理页面，例如在本地环境中，访问地址为192.168.30.130:50070。此页面提供了Hadoop集群的监控与管理功能。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

最近在学习hadoop，做下笔记！

1.hadoop管理页

hadoop部署完成后，管理页ip为部署hadoop主节点ip，端口为默认的50070，如我本地访问地址为：192.168.30.130:50070

Hadoop学习笔记
02-26
Hadoop学习笔记，自己总结的一些Hadoop学习笔记，比较简单。
Hadoop 学习笔记.md
06-12
Hadoop 学习笔记.md
Hadoop数据节点DataNode异常
Eddie-Wang的博客
06-13 1228
1、问题背景： 操作系统：CentOS7.664位 Hadoop版本：Hadoop2.8.5 JDK：1.8.0_201 2、问题描述 使用start-dfs.sh、start-yarn.sh脚本启动Hadoop后，通过jps命令检测DataNode节点进程发现没有DataNode进程，只有NameNode，SecondaryNameNode，NodeManager，ResourceMa...
hadoop错误：port authority及namenode address dfs.namenode.servicerpc-address or dfs.namenode.rpc-address
Eddie-Wang的博客
06-13 1187
记录相关错误： 1.Does not contain a valid host:port authority 2.namenode address dfs.namenode.servicerpc-address or dfs.namenode.rpc-address is not configured 经调查结果是由于主机的hostname不合法，修改为不包含着‘.’ '/' '_'等非法字...
hadoop整合hbase
Eddie-Wang的博客
06-13 835
部署hadoop请看以下文章：https://blog.youkuaiyun.com/wangchaox123/article/details/91877296 本文在上述文章的基础上部署hbase 1. 下载安装包 从官网下载HBase安装包，我安装的是HBase-2.0.5，官网下载地址：http://mirror.bit.edu.cn/apache/hbase/2.0.5/hbase-2.0.5-...
hadoop本地环境、伪分布式模式安装
Eddie-Wang的博客
06-13 282
1.环境准备 hadoop版本：hadoop-2.8.5，下载路径：https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.8.5/hadoop-2.8.5.tar.gz 修改服务器hostname，修改一下两个文件，hostname不包含着‘.’ '/' '_'等非法字符： vi /etc/hosts vi /etc/...
hbase学习笔记
Eddie-Wang的博客
06-14 154
最近在学习hbase，做些笔记。 1.The Master starts a web-interface on port 16010 by default. hbase本身有web管理页面，查看hbase-site.xml文件，如下： <configuration> <property> <name>hbase.zookeeper.quorum&...
breed软件和华硕固件
08-19
breed软件和华硕固件
AS+追溯码智能采集系统+支持高拍仪
08-19
AS+追溯码智能采集系统+支持高拍仪
qt5-qtcharts-doc-5.15.1-3.el8.tar.gz
08-19
# 适用操作系统：Centos8 #Step1、解压 tar -zxvf xxx.el8.tar.gz #Step2、进入解压后的目录，执行安装 sudo rpm -ivh *.rpm
A Patient Disease Drug Graph. 一个权威的医疗 RDF 数据集, 关于医疗知识图谱
08-19
资源下载链接为： https://pan.quark.cn/s/7436a15e4ae0 A Patient Disease Drug Graph. 一个权威的医疗 RDF 数据集, 关于医疗知识图谱。（最新、最全版本！打开链接下载即可用！）
smc-suruma-fonts-6.1-10.el8.tar.gz
08-19
# 适用操作系统：Centos8 #Step1、解压 tar -zxvf xxx.el8.tar.gz #Step2、进入解压后的目录，执行安装 sudo rpm -ivh *.rpm
基于 BERT 模型在百度 WebQA 中文问答数据集上开展阅读问答任务研究
08-19
资源下载链接为： https://pan.quark.cn/s/b3a3a04696bd 基于 BERT 模型在百度 WebQA 中文问答数据集上开展阅读问答任务研究（最新、最全版本！打开链接下载即可用！）
snappy-1.1.8-3.el8.tar.gz
08-19
# 适用操作系统：Centos8 #Step1、解压 tar -zxvf xxx.el8.tar.gz #Step2、进入解压后的目录，执行安装 sudo rpm -ivh *.rpm
校园疫情防控-校园疫情防控系统-校园疫情防控系统源码-校园疫情防控管理系统-基于ssm的校园疫情防控系统-ssm-java代码
08-19
校园疫情防控-校园疫情防控系统-校园疫情防控系统源码-校园疫情防控管理系统-校园疫情防控管理系统java代码-校园疫情防控系统设计与实现-基于ssm的校园疫情防控系统-基于Web的校园疫情防控系统设计与实现-校园疫情防控网站-校园疫情防控网站代码-校园疫情防控平台-校园疫情防控平台代码-校园疫情防控项目-校园疫情防控项目代码-校园疫情防控代码
### 【电子电气架构】软件项目配置管理在汽车开发领域的深度解析与优化策略了软件项目配置
最新发布
08-19
内容概要：本文深入探讨了软件项目配置管理在汽车开发领域的应用及其重要性，强调配置管理不仅是版本控制，更是涵盖标识、追溯、结构化等多方面的深度管控。文章通过对比机械产品和软件产品的标签管理，揭示了软件配置管理的独特挑战。配置管理构建了一个“网”状体系，确保软件产品在复杂多变的开发环境中保持稳定和有序。文中还讨论了配置管理在实际工作中的困境，如命名混乱、文档更新不及时、发布流程冗长等问题，并提出了通过结构可视化、信息同源化、痕迹自动化和基线灵活化等手段优化配置管理的具体方法。 适合人群：具备一定软件开发和项目管理经验的工程师及项目经理，尤其是从事汽车电子软件开发的相关人员。 使用场景及目标：①理解配置管理在汽车软件项目中的核心作用；②学习如何通过工具链（如Polarion、JIRA、飞书等）优化配置管理流程；③掌握结构可视化、信息同源化、痕迹自动化和基线灵活化等关键技术手段，提升项目管理水平。 其他说明：配置管理不仅是技术问题，更涉及到项目管理和团队协作。文中强调了工具链的应用和优化的重要性，但同时也指出，工具本身并不能解决所有问题，关键在于如何合理使用工具并不断优化管理流程。文章呼吁读者成为长期主义者，相信时间的力量，持续改进配置管理工作。
scalasca-2.5-2.el8.tar.gz
08-19
# 适用操作系统：Centos8 #Step1、解压 tar -zxvf xxx.el8.tar.gz #Step2、进入解压后的目录，执行安装 sudo rpm -ivh *.rpm
【Oracle数据库】数据分析与性能优化：注册数据源及SQL查询结果可视化系统设计描述了针对Oracle
08-19
内容概要：本文主要介绍了如何利用Oracle数据库进行数据分析，包括数据源注册、元数据抓取、表数据查看及性能测试，以及可视化智能体开发的内容。文中详细描述了在Oracle数据库中注册数据源的具体步骤，包括配置数据库连接参数等。接着，展示了如何抓取和查看元数据，如表PFM_REMARK_RESULT的字段信息，并通过SQL语句统计表中数据量，确认数据一致性。此外，还探讨了如何通过执行SQL查询并以图表形式（柱状图、折线图、饼图）展示查询结果，辅助数据分析。最后，文章总结了测试过程中遇到的问题及解决方案，如因连接异常导致的任务失败，并提出了优化智能体交互方式以提高性能的建议。 适合人群：具有一定Oracle数据库使用经验的数据分析师、数据库管理员或相关技术从业者。 使用场景及目标：①帮助用户掌握Oracle数据库的基本操作，如数据源注册、元数据管理等；②指导用户如何通过SQL语句高效地进行数据查询与统计；③通过图表展示查询结果，直观呈现数据分布情况，辅助决策分析。 阅读建议：由于本文涉及较多的技术细节和SQL语句，建议读者具备一定的Oracle数据库基础知识，以便更好地理解和实践文中的操作流程。同时，对于图表展示部分，可结合实际业务需求选择合适的可视化方式。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值