关注的博客

最新推荐文章于 2024-07-19 00:13:26 发布

最新推荐文章于 2024-07-19 00:13:26 发布 · 127 阅读

文章标签：

#.net

其他专栏收录该内容

13 篇文章

订阅专栏

此博客分享了一个链接，虽未明确内容，但标签为.NET，推测与.NET技术相关。

月影传说[url]http://hi.youkuaiyun.com/kunshan_shenbin[/url]

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

iteye_19184

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Hadoop入门 day1

2401_83620690的博客

04-28

575

复杂方法：在从机hadoop130上，查看本地机器的隐藏文件 .sshll -a进入.ssh目录cd .ssh发起公钥请求然后在.ssh/目录下，会新生成两个文件：id_rsa.pub和 id_rsa上传公钥到目标主机（注意要在.ssh目录下，否则可能没有权限）(ssh-copy-id 用户名@主机名/IP地址）在主机的.ssh文件上检查是否接收到 authorized_keys文件。

大数据入门之开发环境搭建之hadoop篇

qq_19069319的博客

12-02

3119

这篇教程我将会教大家如何一步步从零开始搭建好我们的大数据完全分布式实验平台实验环境：1.由于实验环境是在linux系统中，所以我们需要用虚拟机摸拟linux操作系统，操作系统的版本我们选 centOS 7，一共需要建立3台虚拟机，一台master主机，两台slave从机，虚拟机可以使用vmware或者oracl VirtualBox，这里不再讲解虚拟机的搭建

参与评论您还未登录，请先登录后发表或查看评论

大数据开发环境搭建系列二：Hadoop集群环境搭建

Miracle8070

01-06

1058

@Hadoop基础实验，HDFS&&YARN&&Hbase安装配置（教程）

m0_45911532的博客

09-25

812

（注：如果没有做完免密，在启动hdfs的时候会出现Permission denied(publickey,........提示，如果遇到这个提示，回去复盘免密）-rw-r--r-- 1 ZSY ZSY 1283 Sep 24 16:14 known_hosts已知主机,可以cat文件名，查看有哪些主机。-rw------- 1 ZSY ZSY 2382 Sep 24 16:16 authorized_keys授权密码。3.出现YE^H^H^[[3~^[[2~^[[3~^H^H^H怎么删?

hadoop完全分布式部署

qq_45232054的博客

05-31

245

hadoop完全分布式部署 3.1 虚拟机环境准备：https://download.youkuaiyun.com/download/qq_45232054/11955312 1.安装与克隆虚拟机 1.1安装虚拟机 a.网络配置，新装的虚拟机，默认dhcp动态分配ip 默认新装虚拟机，开机不启动网卡编辑网卡配置： https://blog.youkuaiyun.com/qq_45232054/article/de...

Hadoop大数据入门与实践-电子书(1).pdf

06-26

在安装Hadoop环境章节中，介绍了在不同操作系统上配置和安装Hadoop环境的步骤和方法，确保读者能够搭建起一个可用的Hadoop开发环境。 HDFS文件系统是Hadoop的核心组件之一，该部分详细阐述了HDFS的设计特点、适用与...

Hadoop基本原理与入门实践.ppt

最新发布

07-10

Hadoop是一个分布式系统基础架构，由Apache基金会开发，旨在让用户在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的威力进行高速运算和存储。Hadoop的核心包括Hadoop Distributed File System（HDFS...

精选资源

【大数据入门笔记系列】第五节 SpringBoot集成hadoop开发环境（复杂版的WordCount）

01-07

【大数据入门笔记系列】第五节 SpringBoot集成hadoop开发环境（复杂版的WordCount）前言环境清单创建SpringBoot项目创建包创建yml添加集群主机名映射hadoop配置文件环境变量HADOOP_HOME编写代码添加hadoop依赖jar包...

零基础入门：Hadoop开发教程与实践

"《最短路径系列之一：从零开始学习Hadoop》是一本面向新手的Hadoop开发指南，由作者通过三个平台分享，分别是csdn主页、豆瓣主页和新浪博客。该书旨在帮助读者快速理解和掌握Hadoop技术，内容涵盖了Hadoop的安装与...

分布式计算开源框架Hadoop入门实践

02-21

一、分布式计算开源框架Hadoop实践在SIP项目设计的过程中，对于它庞大的日志在开始时就考虑使用任务分解的多线程处理模式来分析统计，在我从前写的文章《TigerConcurrentPractice--日志分析并行分解设计与实现》中...

linux单机部署hadoop

weixin_47428270的博客

03-19

919

进入/usr/local/software/hadoop-3.1.3/etc/hadoop 目录下，修改以下配置。进入/usr/local/software/hadoop-3.1.3/sbin启动yarn。# start-yarn.sh stop-yarn.sh在两个文件顶部添加以下内容。Hadoop 中不允许使用root用户来一键启动集群，需要配置启动用户。Hadoop中不允许使用root用户来一键启动集群，需要配置启动用户。方式二：查看 Web UI 界面，端口为 8088。直接插入本机IP即可。

hadoop 查看集群的网页监控状态

热门推荐

12-19

1万+

一、查看集群的网页监控状态 1.查看hdfs集群状态，也就是namenode的访问地址配置：hdfs-site.xml--dfs.namenode.http-address 默认访问地址：http://namenode的ip:50070 2.如果配置了secondary namenode，那么可以查看secondary namenode的集群状态配置：hdfs-s

Hadoop基础之《（6）—Hadoop单机伪集群安装》

csj50的专栏

01-30

659

配置JAVA_HOME，yum安装openjdk的路径在/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.362.b08-1.el7_9.x86_64。（3）指定副本数量，在分布式文件系统中，数据通常会被冗余的存储多份，以保证可靠性和安全性，但是这里用的是伪分布式模式，节点只有一个，也有就只有一个副本。在/appserver/hadoop/hadoop-3.3.4/etc/hadoop/下建立slaves，配置节点的主机名或IP地址。1、修改hadoop-env.sh。

指定hdfs中namenode的地址_HDFS(一)

weixin_39628380的博客

01-01

1774

2013年，谷歌发布了三篇影响大数据领域格局的文章，也称作三驾马车，分别是GFS、MapReduce和BigTable。后来Doug Cutting根据GFS的论文创建了分布式文件系统HDFS，他也被称为Hadoop之父。单个机器的容量往往无法满足包含大量数据文件的存储，需要跨机器存储，分布在集群上统一管理，这样的文件系统称为分布式文件系统。HDFS使用多台计算机存储文件, 并且提供统一...

怎么查看隐藏的文件夹

qq_40258282的博客

12-05

1049

我的电脑——工具——文件夹选项——查看——隐藏文件夹

查看隐藏文件

BEST-CDB

11-06

958

CTRL+h

HDFS——如何列出目录下的所有文件

不忘初心

04-18

3656

可以用bin/hadoop fs -ls 来读取HDFS某一目录下的文件列表及属性信息。也可以采用HDFS的API来读取。如下：import java.net.URI; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop....

【Linux碎知识点3】Linux中的隐藏文件

qq_35708390的博客

07-20

2618

Linux中隐藏文件

Hadoop的入门学习（理论知识）

风雨无阻学习之路

07-19

2848

Reduce则并行地对生成的中间结果中相同的Key的所有Value进行规约合并汇总处理后，输出新的Key-Value得到最终结果，这个处理相同Key的过程称为Reduce shuffle. 可以看出，在Map和Reduce中间，其实还有一个过程，就是对Map的输出进行整理并交给Reduce，这个过程就是shuffle. Map和Reduce操作需要我们自己定义相应的Map类和Reduce类，而shuffle则是系统自动帮我们实现的。NM是每个子节点上的资源和任务管理器，或者说是YARN的slave节点。