Hadoop基础知识

Hadoop基础知识入门 随着大数据时代的到来,企业和组织每天都在生成、采集和处理海量数据。传统的关系型数据库和单体式处理模型难以应对数据规模和复杂度的迅速增长。Apache Hadoop正是在此背景下应运而生,成为处理大规模数据的核心技术之一。Hadoop是由Apache基金会支持的开源大数据处理框架,其核心目标是实现对海量数据的分布式存储与处理。通过将数据分散到多台节点并行处理,Hadoop能够在计算资源上横向扩展,同时提供可靠性和容错能力。 阅读详情

Hadoop对于海量数据的操作:

1)存储:分布式,集群的概念,管理(主节点,从节点),HDFS(Hadoop Distributed FileSystem )
2)分析:分布式,并行,离线计算框架。管理(主节点,从节点),MapReduce

HDFS + MR 思想
尽可能移动计算到数据端,而非移动数据到计算端。(图中上面是将数据移动到计算端,下面是将计算移动到数据端 )
这里写图片描述
硬件和组件的故障是一种常态

HDFS思想
文件单次写入,并多次读取,文件副本分片保存
顺序写入,流式顺序读取,面向大文件存储

MR思想
分而治之,化整为零。
排序优化(MapReduce核心),降低内存

Apache Hadoop五大守护进程的作用

NameNode是主节点,存储文件的元数据如文件名,文件目录结构,文件属性(生成时间,副本数,文件权限),以及每个文件的块列表和块所在DataNode等。

DataNode在本地文件系统存储文件块数据,以及块数据的校验和。

Secondary NameNode用来监控HDFS状态的辅助后台程序,每隔一段时间获取HDFS元数据的快照。

JobTracker负责接收用户提交的作业。负责启动,跟踪任务执行。

TaskTracker负责执行由JobTracker分配的任务,管理各个任务在每个节点上的执行情况。

Apache Hadoop的版本

经典版本:0.20.0——〉1.0.0(第一个正式版本)
1.0.3或者1.0.4(使用最多的版本)——〉1.1.2 1.2.1(目前最新的版本)
0.23.0(跨越版本,YARN框架,第二代MapReduce 框架,资源管理和任务调动的框架)

2.x版本
1)2.0.x版本:属于2.x系列版本的 alpha 版本
2)2.1.x版本:属于2.x系列版本的 beta版本
3)2.2.0 2.3.0 2.4.0 正式版本,可用于实际生产环境中
(1.0与2.0区别就是2.0比1.0多了一个YARN)

Apache Hadoop 内核

Hadoop 1.0(最新稳定版1.2.1)
Hadoop Common
Hadoop Distributed File System(HDFS)
Hadoop MapReduce

Hadoop 2.0(最新稳定版2.2.0)
Hadoop Distributed File System(HDFS)
Hadoop MapReduce
Hadoop YARN

Apache Hadoop安装部署模式

单机(本地安装)模式(Standlong Mode)
只有一个JVM进程,没有分布式,没有HDFS,通常用于调试

伪分布模式(Pseudo-Distributed Mode)
一台机器上运行所有的Hadoop服务(五个守护进程)
只有一台机器,每个Hadoop守护进程都是一个独立的JVM进程,通常用于调试
(课程基本使用伪分布式)

完全分布模式(Fully Distributed Mode)
运行于多台机器上,真实环境
这里写图片描述

我的Hadoop安装规则

/Hadoop——〉父目录
|——->/Hadoop/modules —>存放软件的安装目录(hadoop-1.2.1)
|——->/Hadoop/softwares —>存放软件包(tar包,bin包,zip文件等)
|——->/Hadoop/tools —–>存储工具目录(Eclipse等)
|——->/Hadoop/data —–>存储一些测试数据
|——->/Hadoop/Java —–>存储java

Hadoop安装部署——单机模式

Hadoop的默认配置即为本地模式,此时Hadoop使用本地文件系统而非分布式文件系统。而且也不会启动任何Hadoop守护进程,Map和Reduce任务都作为同一进程的不同部分来执行。因此,本地模式下的Hadoop仅运行于本机。此种模式仅用于开发或者调试MapReduce应用程序。
当首次解压Hadoop的源码包时,Hadoop无法了解硬件安装环境,便保守的选择了最小配置,在这种默认模式下所有3个XML文件均为空,当配置文件为空时,Hadoop会完全运行在本地。

安装JDK

1)解压
tar -zxvf 文件名
2)移动
mv 文件夹 目的文件夹
3)配置环境变量
vim /etc/profile 文件,添加以下内容
这里写图片描述

以root用户登录,执行以下命令,是配置生效 # source /etc/profile

4)测试
这里写图片描述

安装Hadoop1.2.1

这里写图片描述

第一步:解压
tar -zxvf hadoop-1.2.1.tar.gz

第二步:移动hadoop到modules文件夹
这里写图片描述

第三步:配置环境变量
vim /etc/profile

添加如下代码:
这里写图片描述

以root用户登录,执行以下命令,是配置生效 # source /etc/profile

第四步:测试
输入hadoop

第五步:配置Hadoop中的JDK安装路径

进入hadoop-1.2.1中的conf文件夹下的hadoop-env.sh中修改jdk安装路径

这里写图片描述

这里写图片描述
出来以后:

[root@H01 conf]# pwd
/home/hadoop1/Hadoop/modules/hadoop-1.2.1/conf

这样是正确的

第六步:测试MapReduce程序

输入:

[root@H01 hadoop-1.2.1]# hadoop jar hadoop-examples-1.2.1.jar grep /home/hadoop1/Hadoop/data/input/ /home/hadoop1/Hadoop/data/output 'dfs[a-z.]+'

测试成功表现:

这里写图片描述

警告:

在测试MapReduce程序时出现了一行警告
Warning: $HADOOP_HOME is deprecated.

shell代码

    if [ "$HADOOP_HOME_WARN_SUPPRESS" = "" ] && [ "$HADOOP_HOME" != "" ]; then  
      echo "Warning: \$HADOOP_HOME is deprecated." 1>&2  
      echo 1>&2  
    fi  

对于这个警告问题,解决方法如下:

1.注释掉hadoop-config.sh里的上面给出的这段if fi配置(不推荐)

2.在当前用户home/.bash_profile里增加一个环境变量:

[root@H01 hadoop1]# vim .bash_profile 

export HADOOP_HOME_WARN_SUPPRESS=1

注:修改完.bash_profile后需要执行source操作使其生效
这里写图片描述

Hadoop安装部署——伪分布式

Hadoop将所有进程运行于同一台主机上。但此时Hadoop将使用分布式文件系统。而且各jobs也是由JobTracker服务管理的独立进程 。

伪分布式的Hadoop集群只有一个节点。 因此HDFS的块复制将限制为单个副本。其second-master和slaves也都将运行于本地主机。

此种模式除了并非真正意义的分布式之外,其程序执行逻辑完全类似于完全分布式。因此,常应用于开发人员测试程序执行。

该模式在单机模式上添加了代码调试功能。允许你检查内存使用情况,HDFS输入输出,以及其他的守护进程交互。

伪分布式组件依赖关系
这里写图片描述

第一步:查看防火墙状态

切换到root用户,输入:service iptables status

[root@H01 hadoop1]# service iptables status
iptables:未运行防火墙。
[root@H01 hadoop1]# 

发现没有运行防火墙,再看selinux

这里写图片描述

发现SELINUX没有被禁闭,将如下代码

SELINUX=enforcing

改变成

SELINUX=disabled

这里写图片描述

第二步:设置静态IP地址

查看静态IP地址
这里写图片描述

查看设置主机名
这里写图片描述

查看主机名与IP是否绑定

[root@H01 hadoop1]# more /etc/hosts
127.0.0.1       localhost.localdomain localhost
::1     localhost6.localdomain6 localhost6
192.168.108.101 H01

第三步设置SSH自动登录

SSH是一个网络协议,配置之后可以在传输数据时不用验证密钥,因为文件中会带着密钥自行认证。
配置过程跳出root回到普通用户,输入ssh-keygen -t rsa
一路Enter点过去

[hadoop1@H01 ~]$ ssh-keygen -t rsa
Generating public/private rsa key pair.
Enter file in which to save the key (/home/hadoop1/.ssh/id_rsa): 
Enter passphrase (empty for no passphrase): 
Enter same passphrase again: 
Your identification has been saved in /home/hadoop1/.ssh/id_rsa.
Your public key has been saved in /home/hadoop1/.ssh/id_rsa.pub.
The key fingerprint is:
e2:e1:be:ff:27:07:b0:dd:27:f1:c1:8f:3f:50:d4:e1 hadoop1@H01
The key's randomart image is:
+--[ RSA 2048]----+
|               .o|
|              ...|
|             ..E |
|        .   . o. |
|      o S+ . o.+ |
|     o o. o o.+ .|
|      o    . o.. |
|     .    . o  ..|
|      oo...+    .|
+-----------------+
[hadoop1@H01 ~]$ 

查看全部文件

[hadoop1@H01 ~]$ ls -al
总用量 139204
drwx------. 27 hadoop1 hadoop1      4096 10月 14 15:13 .
drwxr-xr-x.  3 root    root         4096 10月 14 09:08 ..
-rw-------.  1 hadoop1 hadoop1      3864 10月 14 09:18 .bash_history
-rw-r--r--.  1 hadoop1     500        18 7月  24 02:55 .bash_logout
-rw-r--r--.  1 hadoop1     500       211 10月 14 09:11 .bash_profile
-rw-r--r--.  1 hadoop1     500       124 7月  24 02:55 .bashrc
drwxr-xr-x.  6 hadoop1 hadoop1      4096 10月 12 23:53 .cache
drwxr-xr-x.  6 hadoop1 hadoop1      4096 10月 12 22:00 .config
drwx------.  3 hadoop1 hadoop1      4096 10月  9 10:19 .dbus
-rw-r--r--.  1 hadoop1 hadoop1        32 10月 14 13:16 .dmrc
-rw-------.  1 hadoop1 hadoop1        16 10月  9 10:19 .esd_auth
drwx------.  4 hadoop1 hadoop1      4096 10月 14 13:16 .gconf
drwx------.  2 hadoop1 hadoop1      4096 10月 14 13:36 .gconfd
drwxr-xr-x.  7 hadoop1     500      4096 10月 12 23:50 .gnome2
drwx------.  2 hadoop1 hadoop1      4096 10月  9 10:19 .gnome2_private
-rw-rw-r--.  1 hadoop1 hadoop1       200 10月 14 13:16 .gtk-bookmarks
drwx------.  2 hadoop1 hadoop1      4096 10月  9 10:19 .gvfs
drwxr-xr-x.  7 root    root         4096 10月 13 19:13 Hadoop
-rw-------.  1 hadoop1 hadoop1      6510 10月 14 13:16 .ICEauthority
drwxrwxr-x.  2 hadoop1 hadoop1      4096 10月 12 21:57 .icons
-rwxrw-rw-.  1 hadoop1 hadoop1 142376665 10月  9 14:49 jdk-7u67-linux-x64.tar.gz
drwxr-xr-x.  3 hadoop1 hadoop1      4096 10月  9 10:19 .local
drwxr-xr-x.  5 hadoop1     500      4096 10月  9 11:02 .mozilla
drwxr-xr-x.  2 hadoop1 hadoop1      4096 10月  9 10:19 .nautilus
drwx------.  2 hadoop1 hadoop1      4096 10月  9 10:19 .pulse
-rw-------.  1 hadoop1 hadoop1       256 10月  9 10:19 .pulse-cookie
drwx------.  2 hadoop1 hadoop1      4096 10月 14 15:14 .ssh
drwxrwxr-x.  2 hadoop1 hadoop1      4096 10月 12 21:57 .themes
drwx------.  4 hadoop1 hadoop1      4096 10月  9 19:34 .thumbnails
-rw-------.  1 hadoop1 hadoop1      5820 10月 13 23:27 .viminfo
-rw-------.  1 hadoop1 hadoop1       923 10月 14 13:16 .xsession-errors
-rw-------.  1 hadoop1 hadoop1       747 10月 14 09:19 .xsession-errors.old
drwxr-xr-x.  2 hadoop1 hadoop1      4096 10月  9 10:19 公共的
drwxr-xr-x.  2 hadoop1 hadoop1      4096 10月  9 10:19 模板
drwxr-xr-x.  2 hadoop1 hadoop1      4096 10月  9 10:19 视频
drwxr-xr-x.  2 hadoop1 hadoop1      4096 10月 12 22:03 图片
drwxr-xr-x.  2 hadoop1 hadoop1      4096 10月 12 17:40 文档
drwxr-xr-x.  2 hadoop1 hadoop1      4096 10月 12 18:04 下载
drwxr-xr-x.  2 hadoop1 hadoop1      4096 10月  9 10:19 音乐
drwxr-xr-x.  2 hadoop1 hadoop1      4096 10月 13 19:15 桌面

进入.ssh文件,查看里面的文件

[hadoop1@H01 ~]$ cd .ssh/
[hadoop1@H01 .ssh]$ ls
id_rsa  id_rsa.pub
[hadoop1@H01 .ssh]$ ll
总用量 8
-rw-------. 1 hadoop1 hadoop1 1675 10月 14 15:15 id_rsa
-rw-r--r--. 1 hadoop1 hadoop1  393 10月 14 15:15 id_rsa.pub
[hadoop1@H01 .ssh]$ 

将id_rsa.pub复制一份,将公钥变成私钥

[hadoop1@H01 .ssh]$ cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
[hadoop1@H01 .ssh]$ ll
总用量 12
-rw-r--r--. 1 hadoop1 hadoop1  393 10月 14 15:30 authorized_keys
-rw-------. 1 hadoop1 hadoop1 1675 10月 14 15:15 id_rsa
-rw-r--r--. 1 hadoop1 hadoop1  393 10月 14 15:15 id_rsa.pub

此时就相当于配置好了,但是还要做一个操作,测试一下。
第一次连接本地localhost

[hadoop1@H01 .ssh]$ ssh localhost
The authenticity of host 'localhost (127.0.0.1)' can't be established.
RSA key fingerprint is a5:06:76:07:02:d8:1f:b3:bd:f9:1e:bb:6d:43:99:52.
Are you sure you want to continue connecting (yes/no)?

此时输入yes,连接以前在.ssh目录,连接之后跳转到home,所以先退出
再次查看生成了想要的文件:know_hosts(已知道的主机)
这里写图片描述

查看文件(know_hosts)

[hadoop1@H01 .ssh]$ more known_hosts 
localhost ssh-rsa AAAAB3NzaC1yc2EAAAABIwAAAQEAwQiB2XS0TZ80zIiUJkM3q0L9zC0zwl1Yp6H4N4P0EEoQo3fgOcIDiVAAWpR+JrP4AGinF6NloChP77YsQtd4ATg
g0eyxceS0qVpdg/RxmvSnqQrJ5uobQN6GfqDzXRIaVKMa6XO9AjF+ETLYqZZHQ40j8nHDfsXb8f1/F8D3aHsGdWr4uplB98tsMssoMwvy/bycxeb+0IdRXtR7nKYevhwmBU/o
IzPc44WAliRGkkE2WQ+WWuY2190BGink75Dfm2SfpDJT0RbMsGnmavKfoDImp77iKFGSONw5bannu5FPkYf8sn2LOp2lxOUozSUEZw8sdYU+/NE++Ual+yEOtQ==
[hadoop1@H01 .ssh]$ 

再次连接就不需要输入密码或者yes了:

这里写图片描述

然后再连接一次H01

这里写图片描述

第二次连接

这里写图片描述

再次查看文件(known_hosts )

[hadoop1@H01 .ssh]$ ll
总用量 16
-rw-r--r--. 1 hadoop1 hadoop1  393 10月 14 15:30 authorized_keys
-rw-------. 1 hadoop1 hadoop1 1675 10月 14 15:15 id_rsa
-rw-r--r--. 1 hadoop1 hadoop1  393 10月 14 15:15 id_rsa.pub
-rw-r--r--. 1 hadoop1 hadoop1  792 10月 14 15:52 known_hosts
[hadoop1@H01 .ssh]$ more known_hosts 
localhost ssh-rsa AAAAB3NzaC1yc2EAAAABIwAAAQEAwQiB2XS0TZ80zIiUJkM3q0L9zC0zwl1Yp6H4N4P0EEoQo3fgOcIDiVAAWpR+JrP4AGinF6NloChP77YsQtd4ATg
g0eyxceS0qVpdg/RxmvSnqQrJ5uobQN6GfqDzXRIaVKMa6XO9AjF+ETLYqZZHQ40j8nHDfsXb8f1/F8D3aHsGdWr4uplB98tsMssoMwvy/bycxeb+0IdRXtR7nKYevhwmBU/o
IzPc44WAliRGkkE2WQ+WWuY2190BGink75Dfm2SfpDJT0RbMsGnmavKfoDImp77iKFGSONw5bannu5FPkYf8sn2LOp2lxOUozSUEZw8sdYU+/NE++Ual+yEOtQ==
h01,192.168.108.101 ssh-rsa AAAAB3NzaC1yc2EAAAABIwAAAQEAwQiB2XS0TZ80zIiUJkM3q0L9zC0zwl1Yp6H4N4P0EEoQo3fgOcIDiVAAWpR+JrP4AGinF6NloChP7
7YsQtd4ATgg0eyxceS0qVpdg/RxmvSnqQrJ5uobQN6GfqDzXRIaVKMa6XO9AjF+ETLYqZZHQ40j8nHDfsXb8f1/F8D3aHsGdWr4uplB98tsMssoMwvy/bycxeb+0IdRXtR7nK
YevhwmBU/oIzPc44WAliRGkkE2WQ+WWuY2190BGink75Dfm2SfpDJT0RbMsGnmavKfoDImp77iKFGSONw5bannu5FPkYf8sn2LOp2lxOUozSUEZw8sdYU+/NE++Ual+yEOtQ=
=
[hadoop1@H01 .ssh]$ 

配置core-site.xml

指定NameNode主机名与端口号
配置Hadoop Common Project 相关的属性配置,Hadoop 1.x 框架的基础属性配置

[root@H01 conf]# pwd
/home/hadoop1/Hadoop/modules/hadoop-1.2.1/conf
[root@H01 conf]# vim core-site.xml 

这里写图片描述

配置hdfs-site.xml

设置HDFS副本数
配置HDFS Project 文件系统的相关属性

[root@H01 conf]# vim hdfs-site.xml 

这里写图片描述

配置mapred-site.xml

指定JobTracker的主机与端口号

[root@H01 conf]# vim mapred-site.xml 

这里写图片描述

配置文件masters

指定SecondaryNameNode的位置
配置与MapReduce 框架相关的属性

[root@H01 conf]# vim masters 

这里写图片描述

配置文件slaves

指定DataNode和TaskTracker的位置

[root@H01 conf]# vim slaves 

这里写图片描述

格式化

[hadoop1@H01 bin]$./hadoop namenode -format

错误

15/10/16 13:34:00 ERROR namenode.NameNode: java.io.IOException: Cannot create directory /home/hadoop1/Hadoop/data/tmp/dfs/name/current

在格式化过程中出现了一个错误
其实并不是环境变量配置错误,文件路径也是正确的
只不过权限没有设定好。

[hadoop1@H01 bin]$./hadoop namenode -format

改成root权限这个问题就解决了。

[root@H01 bin]# ./hadoop namenode -format
15/10/16 13:36:37 INFO common.Storage: Image file /home/hadoop1/Hadoop/data/tmp/dfs/name/current/fsimage of size 110 bytes saved in 0 seconds.

启动进程

[root@H01 bin]# start-dfs.sh //启动hdfs

[root@H01 bin]# start-mapred.sh //启动mapreduce

[root@H01 bin]# start-all.sh //启动全部

查看当前进程

[root@H01 bin]# jps
4035 TaskTracker
3854 SecondaryNameNode
4100 Jps
3595 NameNode
3726 DataNode
3926 JobTracker

权限问题:还是要修改,待定

查看Hadoop日志以及日志的格式和命名组成

这里写图片描述

有两种日志:分别以log和out结尾

1)以log结尾的日志:
通过log4j日志记录格式进行记录的日志。采用的是日常滚动文件后缀策略来命名文件的方式
内容比较全面。

2)以out结尾的日志:
记录标准输出和标准错误的日志。内容比较少。默认的情况系统保留最新的5个日志文件。

日志放在哪里是可以配置的,默认放在这个目录下:

[root@H01 logs]# pwd
/home/hadoop1/Hadoop/modules/hadoop-1.2.1/logs

那么在哪里配置日志存放位置呢?

[root@H01 conf]# pwd
/home/hadoop1/Hadoop/modules/hadoop-1.2.1/conf

这里写图片描述

在这个目录下的 hadoop-env.sh 文件中配置。
这两行代码就控制日志的存储位置。

# Where log files are stored.  $HADOOP_HOME/logs by default.
# export HADOOP_LOG_DIR=${HADOOP_HOME}/logs

日志的命名:
这里写图片描述

Hadoop启动停止的三种方式:

这里写图片描述

1)第一种方式
分别启动HDFS和MapReduce,命令:

[root@H01 bin]# start-dfs.sh //启动hdfs
[root@H01 bin]# stop-dfs.sh //停止hdfs

[root@H01 bin]# start-mapred.sh //启动mapreduce
[root@H01 bin]# stop-mapred.sh //停止mapreduce

2)第二种方式
全部启动或全部停止

[root@H01 bin]# start-all.sh //启动全部
启动顺序:NameNode,DataNode,SecondaryNameNode,JobTracker,TaskTracker

[root@H01 bin]# stop-all.sh //停止全部
停止顺序:JobTracker,TaskTracker,NameNode,DataNode,SecondaryNameNode

3)第三种方式
每个守护进程逐一进行启动,启动顺序如下:
NameNode,DataNode,SecondaryNameNode,JobTracker,TaskTracker

命令如下:
启动:

[root@H01 bin]# ./hadoop-daemon.sh
Usage: hadoop-daemon.sh [--config <conf-dir>] [--hosts hostlistfile] (start|stop) <hadoop-command> <args...>
[root@H01 bin]# ./hadoop-daemon.sh start namenode
starting namenode, logging to /home/hadoop1/Hadoop/modules/hadoop-1.2.1/libexec/../logs/hadoop-hadoop1-namenode-H01.out
[root@H01 bin]# jps
6403 NameNode
6443 Jps
[root@H01 bin]# 
这片代码是启动namenode的方式,其他进程的启动方式与此相同。
./hadoop-daemon.sh start 进程名称

停止:
把上面代码里的start变成stop就可以了。注意关闭的顺序。
先关jobtracker,后关tasktracker,namenode,datanode,secondarynamenode

小笔记
hadoop-daemons.sh 表示启动多个守护进程。在这五个进程中只有data和task用到了多个机器的进程。在伪分布式中因为只有一台机器启动,所以不需要。当分布式启动时会用到,因为分布式需要启动多台机器。

Hadoop基础知识总结 Hadoop概述 Hadoop这个单词本身并没有什么特殊的含义,而只是其作者Doug Cutting孩子的一个棕黄色的大象玩具的名字。 Hadoop是一个高可靠的(reliable),规模可扩展的(scalable),分布式(distributed computing)的开源软件框架。它使我们能用一种简单的编程模型来处理存储于集群上的大数据集。 Hadoop是Apache基金会的一个开源项目,是一个提供了分布式存储和分布式计算功能的基础架构平台。可以应用于企业中的数据存储,日志分析,商业智能,数据挖掘 阅读详情

相关推荐

Hadoop安装与配置详细教程

【确保服务器集群安装和配置已经完成!】 前言 请根据读者的自身情况,进行相应随机应变。 我的三台CentOS7服务器: 主机:master(192.168.56.110) 从机:slave0(192.168.56.111) 从机:slave1(192.168.56.112) 每一个节点的安装与配置是相同的,在实际工作中,通常在master节点上完成安装和配置后,然后将安装目录复制到其他节点就可以,...

🏆 前端领域优质创作者 16万+

Hadoop 安装与配置

hadoop在Ubantu中的安装与配置

weixin_43571612的博客 5万+

从零到一:Silvaco中跨导曲线的自动化脚本实现

本文详细介绍了如何使用Python脚本在Silvaco中实现跨导曲线(gm曲线)的自动化分析,包括数据加载、跨导计算和结果可视化。通过自动化处理Id-Vg曲线,显著提升半导体器件工程师的工作效率,特别适用于工艺优化和DOE分析。文章还提供了批量处理和关键参数提取的高级技巧,帮助工程师快速掌握Silvaco脚本开发。

nn3456的博客 570

Hadoop集群环境配置及安装配置(详细过程包含安装包)

进入到网络配置文件中。快照,是对虚拟机的当前状态进行保存,在虚拟机出现问题无法解决,可以通过返回快照,使虚拟机返回到快照拍摄状态。4.配置jdk软连接 命令:ln -s /export/servers/jdk1.8.0_361 /export/servers/jdk。3.选择克隆对象,一共有两种方式,第一种是直接克隆虚拟机的当前状态,第二种是选取虚拟机的快照,克隆指定快照的虚拟机状态。构建软连接: ln -s /export/servers/jdk/bin/java /usr/bin/java。

2202_75347029的博客 5万+

Confluence安装Drawio插件

记录confluence安装drawio插件步骤

devotedwife的博客 7382

解决相同型号USB设备在Windows系统中重复枚举问题

本文详细解析了Windows系统中相同型号USB设备重复枚举问题的成因及解决方案。通过修改注册表、使用PsTools工具清除设备记录以及编程实现自动化处理等方法,有效解决设备识别混乱问题,特别适用于自动化测试和工业设备管理场景。

weixin_42561040的博客 566

【云平台技术】Hadoop全分布式安装与配置

目录 一、虚拟机安装 1、创建虚拟机 2、虚拟机启动初始化 二、 虚拟机克隆 三、Linux系统的网络配置 1、准备工作 2、 主机名和IP映射 2.1 配置主机名 2.2 配置IP映射 3、网络参数配置 四、SSH服务配置 1、生成密钥文件 2、将本机公钥文件复制到其他虚拟机上 五、JDK安装和Hadoop安装 1、准备安装包 2、下载安装软件Xshell 3、安装JDK(所有虚拟机都要操作) 3.1 传输文件 3.2 解压JDK 3.3 重命名JDK

qq_51941741的博客 1万+

嵌入式系统启动流程解析:ROM Code、Bootloader与启动代码的协同工作

本文深入解析嵌入式系统从通电到运行的完整启动流程,详细阐述了ROM Code、Bootloader与启动代码三者如何像接力赛般协同工作。ROM Code作为芯片固化的初始引导程序,负责硬件自检并加载Bootloader;Bootloader作为系统总指挥,初始化关键硬件并加载操作系统内核;启动代码则为C语言运行环境铺平道路。理解这三者的分工与协作,是进行系统移植和解决启动问题的关键。

dd012的博客 555

Hadoop集群安装及配置

hadoop集群搭建

m0_61364659的博客 9085

基于C#的跨平台上位机开发:一次编写,多平台运行

摘要: 本文探讨了如何利用C#进行跨平台上位机开发,以适配Windows、Linux、macOS等多平台需求。通过分析传统单平台开发的局限性(如API差异、硬件接口兼容性),提出基于.NET 5/6/7的解决方案,重点推荐Avalonia(类WPF的跨平台UI框架)和GtkSharp(基于GTK+)实现图形界面。同时,针对硬件通信需求,介绍了System.IO.Ports串口通信和LibUsbDotNet的跨平台支持,并强调多平台调试(VS Code、Docker)的重要性,最终实现一次编码、多端部署的高效

这里只有干货:从 Modbus 通信到 MES 对接,从 YOLO 训练到工控机部署,带你搞定工业软件开发全流程。 1412

JVM高频面试基本问题与知识点整理

JVM高频面试基本问题与知识点整理

曾经“等你生日那天”都遥远得像未来,如今却可欢愉的挥手说“下个十年见” 87万+

Hadoop 基础知识篇

1. Hadoop 基础知识框架 老规矩灵魂三问,Hadoop是什么?用途在哪方面?如何使用? 分布式文件存储系统。Google的三篇论文 : GFS -->HDFS、MapReduce -->MR、Big Table -->Hive。 主要用于集群节点上 管理保存文件; 安装搭建、命令的上传下载 不说明了, 直接上干货! 架构体系。 现在回过头来看,感觉像是顿悟了. 做到不看图 也能说出来 框架图–各组件间的工作原理 . 脑海中要有三个名词 的组成架构! Client、NameNode.

GCL的博客 399

2026年全国青少年信息素养大赛复赛真题(算法应用主题赛C++初中组:带解析)(7月4日试卷一)【文末附答案和解析】

2026年全国青少年信息素养大赛复赛真题(算法应用主题赛C++初中组:带解析)(7月4日试卷一)【文末附答案和解析】

王老师青少年编程 1741

Hadoop之Hadoop基础知识

Hadoop之Hadoop基础知识复习 目录 Hadoop是什么 Hadoop的优势 Hadoop组成 大数据技术生态体系 1. Hadoop是什么 1)Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 2)主要解决的是海量数据的存储和海量数据的分析计算问题。 3)广义上来说,HADOOP通常是指一个更广泛的概念——HADOOP生态圈。 2. Hadoop的优势 1)...

努力努力再努力L 630

【报错解决】OpenClaw 报错 `openclaw: command not found`:全局命令未加入系统 PATH 的深度排查与修复指南

在国产AI工具链开发中,OpenClaw作为关键命令行工具常出现command not found报错。本文深度分析该问题的根源——Linux环境变量PATH未包含用户级安装目录(~/.local/bin)。通过四种解决方案(临时PATH修改、永久配置、软链接、虚拟环境处理)和排错Checklist,揭示"命令存在却找不到"的本质是路径配置问题,特别适用于Docker/国产Linux/非root环境。文中强调理解Linux工具链机制对国产AI开发的重要性,并指出这是开发者掌握环境

博客 5385

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

Hadoop学习总结(一)之Hadoop基础知识

Hadoop基础知识1.Hadoop是什么2.Hadoop的发展3.Hadoop组成3.1 HDFS架构3.2YARN架构3.3MapReduce架构3.4生态系统组成 1.Hadoop是什么 Apache Hadoop是一款支持数据密集型分布式应用程序并以Apache 2.0许可协议发布的开源软件框架。它支持在商品硬件构建的大型集群上运行的应用程序。Hadoop是根据谷歌公司发表的MapReduce和Google文件系统的论文自行实现而成。所有的Hadoop模块都有一个基本假设,即硬件故障是常见情况,应该

weixin_38924500的博客 680

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

Hadoop的一些基础知识

Hadoop是一个能够对大量数据进行分布式处理的软件框架。 Hadoop 以一种可靠、高效、可伸缩的方式进行数据处理。因为它假设计算元素和存储会失败,因此它维护多个工作数据副本,确保能够针对失败的节点重新分布处理,以并行的方式工作,通过并行处理加快处理速度,能够处理 PB 级数据。Hadoop主要由HDFS、MapReduce和Hbase组成。 它是一个分布式系统基础架构,由Apache基金会开发。

leiline的博客 4603

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

Hadoop之HDFS基础知识

Hadoop之HDFS基础知识 一、HDFS概叙 1.HDFS是一个分布式文件系统,通过目录树来定位文件 2.HDFS优缺点 优点:高容错性、适合处理大数据、可以构建在廉价的机器上,通过多副本机制,提高可靠性 缺点:不适合低延迟数据的访问、无法对大量小文件进行存储、不支持并发写入,文件随机修改 3.HDFS组成架构 namenode: 是一个主管者,管理HDFS的名称空间 配置副本策略 管理数据块的映射信息 处理客户端的请求 datanode 是一个slave,namenode下达命令,dat

Yubingx的博客 302

Hadoop 的基础知识

Hadoop 基础知识点

YKenan的博客 1589

hadoop yarn 获取日志_Hadoop基础知识总结

本篇讲解Hadoop相关的背景知识,涉及一些常见的概念,组件等,是一篇科普性文章,欢迎食用和交流。Hadoop概述Hadoop这个单词本身并没有什么特殊的含义,而只是其作者Doug Cutting孩子的一个棕黄色的大象玩具的名字。Hadoop是一个高可靠的(reliable),规模可扩展的(scalable),分布式(distributed computing)的开源软件框架。它使我们能...

weixin_39664477的博客 168

Hadoop 01_基础知识

1.1 Hadoop是什么 1)Hadoop是一个由Apache基金会所开发的分布式系统基础架构 集群:若干机器共同完成任务 分布式:应用的拆分,独立部署和运行 集群不一定是分布式,分布式一定是集群 2)主要解决,海量数据的存储和海量数据的分析计算问题。 3)广义上来说,HADOOP通常是指一个更广泛的概念——HADOOP生态圈 1.2Hadoop的优势(分布式基础架构) 技术选...

乔治大哥的博客 481

hadoop的基础知识

一、课程预备知识:Linux常用命令;java编程基础 二、Hadoop前世今生 Google 大数据技术 MapReduce、BigTable、GFS Hadoop模仿Google大数据技术 三、Hadoop的功能和优势 1. Hadoop的定义:开源的分布式储存和分布式计算平台 HDFS:分布式文件系统,存储海量的数据 MapReduce:并行处理框架,实现任务分解和调度

shursulei的博客 661
上一篇: Hadoop内容提纲
下一篇: Hadoop基础知识(二)
飞鸿踏雪泥-
博客等级 码龄12年 4粉丝 48原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值