Hadoop分布式集群搭建

hadoop分布式集群之MySQL分布式集群搭建 分布式系统(distributed system)是建立在网络之上的软件系统。正是因为软件的特性,所以分布式系统具有高度的内聚性和透明性。因此,网络和分布式系统之间的区别更多的在于高层软件(特别是操作系统),而不是硬件。内聚性是指每一个数据库分布节点高度自治,有本地的数据库管理系统。透明性是指每一个数据库分布节点对用户的应用来说都是透明的,看不出是本地还是远程。在分布式数据库系统中,用户感觉不到数... 阅读详情

一、软件准备

JDK: jdk1.8.0_131
Hadoop: hadoop-2.6.5

二、环境说明

使用三台机器做来搭建Hadoop集群。其中slave机器放在实验室,master机器放在宿舍。

主机名系统IP地址
masterubuntu 16.0410.147.18.1
slave01ubuntu 16.04-server10.147.18.2
slave02ubuntu 16.04-server10.147.18.3

注意:由于Hadoop要求所有机器上Hadoop的部署目录结构要求相同(因为在启动时按与主节点相同的目录启动其它任务节点),并且都有一个相同的用户名账户。参考各种文档上说的是所有机器都建立一个hadoop用户,使用这个账户来实现无密码认证。这里为了方便,分别在三台机器上都重新建立一个hadoop用户。

三、 安装步骤

全程使用root权限操作以避免不必要的麻烦。

A. 环境配置(设置Hadoop用户,修改hosts等)

创建Hadoop用户

如果你的Ubuntu系统不是使用hadoop这个用户名,那么需要增加一个名为 hadoop 的用户。方便之后的操作(不论是Master节点还是Slave节点都需要一个hadoop用户并且之后的操作都需要在hadoop用户下进行)
在终端中输入以下命令

$ sudo useradd -m hadoop -s /bin/bash
#这条命令创建了可以登陆的 hadoop 用户,并使用 /bin/bash 作为 shell。
#接着使用如下命令设置密码,可简单设置为 hadoop,按提示输入两次密码。
$ sudo passwd hadoop
#可为 hadoop 用户增加管理员权限,方便部署:
$ sudo adduser hadoop sudo
#最后使用su切换到hadoop用户或者在图形化界面点注销重新登录至hadoop用户
修改当前机器名称(可选)

假定我们发现我们的机器的主机名不是我们想要的。
修改文件/etc/hostname里的值即可,修改成功后重启,用hostname命令查看当前主机名是否设置成功。
我们将Master主机名设置为master

修改hosts文件(必选)

“/etc/hosts”这个文件是用来配置主机将用的DNS服务器信息,是记载LAN内接续的各主机的对应[HostName IP]用的。当用户在进行网络连接时,首先查找该文件,寻找对应主机名对应的IP地址。
我们要测试两台机器之间知否连通,一般用“ping 机器的IP”,如果想用“ping 机器的昵称”发现找不见该名称的机器(这也就是为什么在修改主机名的同时最好修改该文件中对应的主机名),解决的办法就是修改“/etc/hosts”这个文件,通过把LAN内的各主机的IP地址和昵称的一一对应写入这个文件的时候,就可以解决问题。
修改所有主机中的hosts文件,配置如下:(我使用了3台主机)

127.0.0.1       localhost
10.147.18.1     master  #master相应昵称
10.147.18.2     slave01 #slave1相应昵称
10.147.18.3     slave02 #slave2相应昵称

可以使用 ping 命令测试三台机器的连通性。此时可以直接使用昵称来ping。
PS:对于如何连接不同网段的情况,请参考我另外的一篇文章ZeroTier-全网畅连

B. 防火墙配置(暂时没有用到)

关闭防火墙,防止slave主机的DataNode被关闭。

 # 查看防火墙状态
 $ systemctl status firewalld.service  

这里写图片描述

# 关闭防火墙
$ systemctl stop firewalld.service  
# 永久关闭防火墙
$ systemctl disable firewalld.service   

C. SSH免密登录配置

Hadoop运行过程中需要管理远端Hadoop守护进程,在Hadoop启动以后,NameNode是通过SSH(Secure Shell)来启动和停止各个DataNode上的各种守护进程的。这就必须在节点之间执行指令的时候是不需要输入密码的形式,故我们需要配置SSH运用无密码公钥认证的形式,这样NameNode使用SSH无密码登录并启动DataName进程,同样原理,DataNode上也能使用SSH无密码登录到 NameNode。
注意:如果你的Linux没有安装SSH,请首先安装SSH
Ubuntu下安装ssh:
sudo apt-get install openssh-server

SSH无密码原理

Master(NameNode | JobTracker)作为客户端,要实现无密码公钥认证,连接到服务器Salve(DataNode | Tasktracker)上时,需要在Master上生成一个密钥对,包括一个公钥和一个私钥,而后将公钥复制到所有的Slave上。当Master通过SSH连接Salve时,Salve就会生成一个随机数并用Master的公钥对随机数进行加密,并发送给Master。Master收到加密数之后再用私钥解密,并将解密数回传给Slave,Slave确认解密数无误之后就允许Master进行连接了。这就是一个公钥认证过程,其间不需要用户手工输入密码。

SSH无密码登录步骤

在各台机器中分别执行以下两个命令,用来生成SSH公钥和密钥:

#在/home/hadoop/.ssh目录下生成公钥和密钥
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
#把id_dsa.pub追加到授权的key里面去
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

查看下authorized_keys的权限,如果权限不对则利用如下命令设置该文件的权限:

$ chmod 600 ~/.ssh/authorized_keys

用root权限修改SSH配置文件“/etc/ssh/sshd_config”的下列内容。
检查下面几行前面“#”注释取消掉:

RSAAuthentication yes # 启用 RSA 认证
PubkeyAuthentication yes # 启用公钥私钥配对认证方式
AuthorizedKeysFile  %h/.ssh/authorized_keys # 公钥文件路径 (默认被注释)

设置完之后记得重启SSH服务,才能使刚才设置有效。

$ service ssh restart

每台主机都完成以上操作以后。继续下一步
将 slave01 和 slave02 的公钥 id_dsa.pub传给 master。

#slave01主机
$ scp ~/.ssh/id_dsa.pub hadoop@master:/home/hadoop/.ssh/id_dsa.pub.slave01
#slave02主机
$ scp ~/.ssh/id_dsa.pub hadoop@master:/home/hadoop/.ssh/id_dsa.pub.slave02

将 slave01 和 slave02的公钥信息追加到 master 的 authorized_keys文件中。

#master主机
$ cat ~/.ssh/id_dsa.pub.slave01 >> authorized_keys
$ cat ~/.ssh/id_dsa.pub.slave02 >> authorized_keys

将 master 的公钥信息 authorized_keys 复制到 slave01 和 slave02 的 .ssh 目录下。

#master主机
$ scp ~/.ssh/authorized_keys hadoop@slave01:/home/hadoop/.ssh/authorized_keys
$ scp ~/.ssh/authorized_keys hadoop@slave02:/home/hadoop/.ssh/authorized_keys

ssh 到slave01主机如下图所示
这里写图片描述
可以看到从 master 已经不需要密码就可以登录到 slave01 和 slave 02。slave01 和 slave02 也无需密码访问其他的机器。
此时免密登录就配置完成。

D. JDK和Hadoop安装配置

JDK安装配置

JDK下载官网下载JDK相应版本

  1. 下载解压 jdk1.8.0_131.tar.gz。

    
    #解压jdk
    
    $ tar zxvf jdk1.8.0_131.tar.gz
    
    #将解压完的jdk文件夹移到/opt目录下
    
    $ mv jdk1.8.0_131 /opt
  2. 配置环境变量, 使用root权限编辑”/etc/profile” 文件,在文件末尾添加以下内容:

# Java Env
export JAVA_HOME=/opt/jdk1.8.0_131
export JRE_HOME=/opt/jdk1.8.0_131/jre
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib

保存后,运行 source profile,使环境变量立即生效。
3. 查看JDK版本信息

$ java -version

若出现相关版本信息,说明JDK配置成功!

Hadoop安装配置

Hadoop下载官网下载Hadoop相应版本
1. 下载解压hadoop-2.6.5.tar.gz

```
    #解压hadoop
    $ tar zxvf hadoop-2.6.5.tar.gz
    #将解压完的jdk文件夹移到/opt目录下
    $ mv hadoop-2.6.5 /opt
    #将hadoop文件所属用户和组改为hadoop
    $ sudo chown -R hadoop:hadoop /opt/hadoop-2.6.5
```

2. 配置环境变量, 使用root权限编辑”/etc/profile” 文件,在文件末尾添加以下内容:

# Hadoop Env
export HADOOP_HOME=/opt/hadoop-2.6.5
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

保存后,运行 source profile,使环境变量立即生效。
3. 修改 Hadoop 环境变量配置文件 “/opt/hadoop-2.6.5/etc/hadoop/hadoop-env.sh”,在文件末尾添加以下内容:

# The java implementation to use.
export JAVA_HOME=/opt/jdk1.8.0_131

export HADOOP_PREFIX=/opt/hadoop-2.6.5

输入 hadoop version 可以看到成功安装的 Hadoop 版本信息。
这里写图片描述
4. 输入 hadoop 查看 hadoop 命令使用方法

E. Hadoop集群配置

首先在master主机上进行Hadoop配置,之后在其他slave主机上进行相同的配置即可。

  1. /opt/hadoop-2.6.5/etc/hadoop/hadoop-env.sh

    
    #增加如下两行配置
    
    export JAVA_HOME=/opt/jdk1.8.0_131
    export HADOOP_PREFIX=/opt/hadoop-2.6.5
  2. /opt/hadoop-2.6.5/etc/hadoop/core-site.xml

    <configuration>
        <property>
            <name>fs.defaultFS</name>
            <value>hdfs://master:9000</value>
        </property>
        <property>
            <name>hadoop.tmp.dir</name>
            <value>/opt/hadoop-2.6.5/tmp</value>
        </property>
    </configuration>

    注意: tmp目录需要提前创建

  3. /opt/hadoop-2.6.5/etc/hadoop/hdfs-site.xml

    <configuration>
        <property>
            <name>dfs.replication</name>
            <value>3</value>
        </property>
    </configuration>

    数据存有三个副本

  4. /opt/hadoop-2.6.5/etc/hadoop/mapred-site.xml

    <configuration>
        <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
        </property>
    </configuration>

    如果不存在mapred-site.xml文件,则从mapred-site.xml.template中复制相应模板新建。

  5. /opt/hadoop-2.6.5/etc/hadoop/yarn-env.sh

    
    #在文件末尾添加JAVA_HOME配置
    
    export JAVA_HOME=/opt/jdk1.8.0_131
  6. /opt/hadoop-2.6.5/etc/hadoop/yarn-site.xml

    <configuration>
    
    <!-- Site specific YARN configuration properties -->
        <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
        </property>
        <property>
            <name>yarn.resourcemanager.hostname</name>
            <value>master</value>
        </property>
    </configuration>
  7. /opt/hadoop-2.6.5/etc/hadoop/masters

    master

    如果没有这个文件,请新建。

  8. /opt/hadoop-2.6.5/etc/hadoop/slaves

    slave01
    slave02

F. 启动Hadoop集群

请跳转至“/opt/hadoopt-2.6.5/sbin”目录下执行一下命令。

格式化文件系统
#在 master 上执行以下命令: 
$ hadoop namenode -format

这里写图片描述

启动 NameNode 和 DateNode
# 在 master 机器上执行
$ start-all.sh

这里写图片描述
使用 jps 命令查看 master 上hadoop的运行情况:
这里写图片描述
可以看到NameNode,DataNode,ResourceManager已经启动成功!
同理查看slave上hadoop的运行情况:
这里写图片描述
slave01已经启动了DataNode和NodeManager。

查看 NameNode 和 NameNode 信息

浏览器输入地址: http://master:50070/ 可以查看 NameNode 信息。
这里写图片描述
至此,整个 Hadoop 集群就已经启动了。

常见问题

关于 Warning: $HADOOP_HOME is deprecated

hadoop安装完之后敲入hadoop命令时,老是提示这个警告:
Warning: $HADOOP_HOME is deprecated.
经查hadoop-2.6.5/bin/hadoop脚本和”hadoop-config.sh”脚本,发现脚本中对HADOOP_HOME的环境变量设置做了判断,其实根本不需要设置HADOOP_HOME环境变量。
解决方案一:编辑”/etc/profile”文件,去掉HADOOP_HOME的变量设定,重新输入hadoop fs命令,警告消失。
解决方案二:编辑”/etc/profile”文件,添加一个环境变量,之后警告消失:
export HADOOP_HOME_WARN_SUPPRESS=1

解决”no datanode to stop”问题

当我停止Hadoop时发现如下信息:
no datanode to stop
原因:每次namenode format会重新创建一个namenodeId,而tmp/dfs/data下包含了上次format下的id,namenode format清空了namenode下的数据,但是没有清空datanode下的数据,导致启动时失败,有两种解决方案:
第一种解决方案如下:
1)先删除”/opt/hadoop-2.6.5/tmp”

$ rm -rf /opt/hadoop-2.6.5/tmp

2)创建”/opt/hadoop-2.6.5/tmp”文件夹

$ mkdir /opt/hadoop-2.6.5/tmp

3)删除”/tmp”下以”hadoop”开头文件

$ rm -rf /tmp/hadoop*

4)重新格式化hadoop

$ hadoop namenode -format

5)启动hadoop

$ start-all.sh

使用第一种方案,不好之处在于原来集群上的重要数据全没有了。
假如说Hadoop集群已经运行了一段时间。建议采用第二种。
第二种方案如下:
1)修改每个Slave的namespaceID使其与Master的namespaceID一致。
或者
修改Master的namespaceID使其与Slave的namespaceID一致。
2)该”namespaceID”位于”/opt/hadoop-2.6.5/tmp/dfs/name/current/VERSION”文件中
例如:查看”Master”下的”VERSION”文件
这里写图片描述
建议采用第二种,这样方便快捷,而且还能防止误删。

Slave服务器中datanode启动后又自动关闭

查看日志发下如下错误。
ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Call to … failed on local exception: java.net.NoRouteToHostException: No route to host
解决方案: 关闭防火墙

从本地往hdfs文件系统上传文件时的错误

出现如下错误:
INFO hdfs.DFSClient: Exception in createBlockOutputStream java.io.IOException: Bad connect ack with firstBadLink
INFO hdfs.DFSClient: Abandoning block blk_-1300529705803292651_37023
WARN hdfs.DFSClient: DataStreamer Exception: java.io.IOException: Unable to create new block.
解决方案:
1)关闭防火墙
2)禁用selinux
编辑 “/etc/selinux/config”文件,设置”SELINUX=disabled”

安全模式导致的错误

出现如下错误:
org.apache.hadoop.dfs.SafeModeException: Cannot delete …, Name node is in safe mode
在分布式文件系统启动的时候,开始的时候会有安全模式,当分布式文件系统处于安全模式的情况下,文件系统中的内容不允许修改也不允许删除,直到安全模式结束。安全模式主要是为了系统启动的时候检查各个DataNode上数据块的有效性,同时根据策略必要的复制或者删除部分数据块。运行期通过命令也可以进入安全模式。在实践过程中,系统启动的时候去修改和删除文件也会有安全模式不允许修改的出错提示,只需要等待一会儿即可。
解决方案: 关闭安全模式

$ hadoop dfsadmin -safemode leave

解决Exceeded MAX_FAILED_UNIQUE_FETCHES

出现错误如下:
Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out
程序里面需要打开多个文件,进行分析,系统一般默认数量是1024,(用ulimit -a可以看到)对于正常使用是够了,但是对于程序来讲,就太少了。
解决方案: 修改2个文件。
1)”/etc/security/limits.conf”
vi /etc/security/limits.conf
加上:
soft nofile 102400
hard nofile 409600
2)”/etc/pam.d/login”
vim /etc/pam.d/login
添加:
session required /lib/security/pam_limits.so
针对第一个问题我纠正下答案:
这是reduce预处理阶段shuffle时获取已完成的map的输出失败次数超过上限造成的,上限默认为5。引起此问题的方式可能会有很多种,比如网络连接不正常,连接超时,带宽较差以及端口阻塞等。通常框架内网络情况较好是不会出现此错误的。

解决”Too many fetch-failures”

出现这个问题主要是结点间的连通不够全面。
解决方案:
1)检查”/etc/hosts”
要求本机ip 对应服务器名
要求要包含所有的服务器ip +服务器名
2)检查”.ssh/authorized_keys”
要求包含所有服务器(包括其自身)的public key

处理速度特别的慢

出现map很快,但是reduce很慢,而且反复出现”reduce=0%”。
解决方案:
结合上一个问题解决方案,然后修改”conf/hadoop-env.sh”中的”export HADOOP_HEAPSIZE=4000”

解决hadoop OutOfMemoryError问题

出现这种异常,明显是jvm内存不够得原因。
解决方案: 要修改所有的datanode的jvm内存大小。
Java –Xms 1024m -Xmx 4096m
一般jvm的最大内存使用应该为总内存大小的一半,我们使用的8G内存,所以设置为4096m,这一值可能依旧不是最优的值。

参考资料

Hadoop 2.6.4分布式集群环境搭建
Hadoop 2.6.4单节点集群环境搭建
一步步教你Hadoop多节点集群安装配置
搭建Spark集群(三)——搭建Hadoop集群环境

Hadoop分布式集群搭建完全教程 最近在学Hadoop,试着在自己机子上搭了个分布式环境,测试成功,现将搭建过程分享给大家。实验环境: 系统:win7 内存:8G(因要开虚拟机,内存建议不低于8G) 硬盘:建议固态 虚拟机:VMware 12 Linux:Centos 7 jdk1.7.0_67 hadoop-2.5.0.tar.gz 1.安装VMware虚拟机环境 2.安装Centos操作系统 3.修改主机名配置网络 阅读详情

相关推荐

Hadoop分布式集群的搭建

此文已由作者朱笑笑授权网易云社区发布。欢迎访问网易云社区,了解更多网易技术产品运营经验。上一篇文章介绍了如何搭建Hadoop伪分布式集群,本篇将向大家介绍下Hadoop分布式集群的搭建。内容浅显,但能够为新手们提供一个参考,让像我一样的小白们对Hadoop的环境能够有一定的了解。环境:系统环境:CentOS7.3.1611 64位Java版本:OpenJDK 1.8.0使用两个节点作为集群环境:一...

jessicaiu的博客 445

Hadoop集群配置(三台虚拟机)

2.仅个人学习记录,具体什么还不理解(如有不对望提出,一起进步)3.设置的方法比较笨+小白,步骤繁琐。

weixin_67150054的博客 1901

部署全分布模式Hadoop集群 实验报告

部署全分布模式Hadoop集群 实验报告一、实验目的 1. 熟练掌握 Linux 基本命令。 2. 掌握静态 IP 地址的配置、主机名和域名映射的修改。 3. 掌握 Linux 环境下 Java 的安装、环境变量的配置、Java 基本命令的使用。 4. 理解为何需要配置 SSH 免密登录,掌握 Linux 环境下 SSH 的安装、免密登录的配置。 5. 熟练掌握在 Linux 环境下如何部署全分布模式 Hadoop 集群。 二、实验环境 本实验所需的软硬件环境包括 PC、VMware Workstation Pro、CentOS 安装包、Oracle JDK 安装包、Hadoop 安装包。 三、实验内容 1. 规划部署。 2. 准备机器。 3. 准备软件环境:配置静态 IP;修改主机名;编辑域名映射;安装和配置 Java;安装和 配置 SSH 免密登录。 4. 获取和安装 Hadoop。 5. 配置全分布模式 Hadoop 集群。 6. 关闭防火墙。 7. 格式化文件系统。 8. 启动和验证 Hadoop。 9. 关闭 Hadoop。

搭建模拟搭建Hadoop完全分布式环境(三台服务器)详解

使用VMware模拟搭建完全分布式hadoop环境

m0_52835696的博客 4997

解决[WARN] : Controller Spawner couldn‘t find the expected controller_manager ROS interface.思路

rrbot例程ros_control配置问题的解决思路 本人刚入门ROS机器人开发,在学习rrbot例程出现了control_manager无法启动的bug。 在启动rrbot_control.launch的时候,出现下列warning: [WARN] [1594362016.372059]: Controller Spawner couldn't find the expected controller_manager ROS interface. 之后再按教程的步骤 rosservice call /

qq_40299650的博客 1万+

Ollama最新快速上手指南:从安装到精通本地AI模型部署

想让Ollama跑你的"私房模型"?三种主流格式全支持,总有一款适合你!GGUF格式(推荐新手首选)创建Modelfile文件:执行创建命令:运行你的专属模型:PyTorch/Safetensors格式(适合进阶玩家)先用库测试模型能否正常加载确保模型结构完整后再导入Ollama官方文档有详细转换指南专业小贴士GGUF格式最轻量,PyTorch最灵活,Safetensors最安全遇到问题?试试用llama.cpp进行格式转换7B参数模型推荐使用q4_0量化级别想让AI用马里奥。

全世界的博客 2313

Hadoop分布式集群配置

上篇为体验hadoop采用了伪分布模式配置,本篇为继续深究hadoop来大体把握具体实用中的分布式模式。本文实用VMware建了3个虚拟机运行ubuntu。分别为 namenode whuqin1 192.168.64.143 datanode whuqin2 192.168.64.144 datanode whuqin3 192.168.64.145 1.SSH(Secu...

weixin_30838921的博客 151

深入解析report_timing:从基础参数到高级时序路径分析技巧

本文深入解析了静态时序分析(STA)中`report_timing`命令的核心用法与高级技巧。作为芯片设计的关键诊断工具,它能根据SDC约束精准定位时序路径问题。文章从基础参数过滤讲起,详细介绍了如何通过`-from`、`-through`、`-to`等选项定位关键路径,并深入讲解了`-input_pins`、`-nets`、`-transition_time`等高级选项如何揭示延迟细节,以及`-nworst`、`-slack_lesser_than`等过滤排序技巧,旨在帮助工程师高效解读时序报告,优化设计

h6i7j8的博客 1110

hadoop全分布式集群配置

Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求,可以以流的形式访问(streaming access)文件系统中的数据。本课程讲解搭建hadoop集群的全过程,从安装vmware,centos开始,从本地模式,伪分布式到全分布式,讲解实现经典案例wordcount结束,全方位讲解hadoop的操作细节,带你完成hadoop的安装和入门

数字后端零基础入门系列 | Innovus零基础LAB学习Day7

数字后端零基础入门系列 | Innovus零基础LAB学习Day7

weixin_37584728的博客 2278

建立时间与保持时间

建立时间与保持时间的计算 文章目录1、建立时间与保持时间概述及模型2、寄存器之间数据传输时建立时间与保持时间3、寄存器之间数据传输时建立时间余量与保持时间余量计算4、 FPGA允许的最大时钟频率或最小时钟周期5、计算FPGA时钟所允许的最大频率或最小时钟周期6、违反建立和保持时间会发生什么? 1、建立时间与保持时间概述及模型 建立时间(Tsu): 在时钟采样之前,输入必须稳定一段时间,该时间量称为建立时间。 理想最优建立时间: 保持时间(Th): 在时钟沿之后输入到触发器稳定所需的最短时间。 理想最优

Crazzy_M的博客 3万+

Hadoop集群:新增从节点slave4无datanode

笔记

weixin_63867186的博客 441

【第2章>第10节】深度学习DenseNet模型分析与matlab仿真

本文介绍了基于DenseNet深度学习模型的图像分类MATLAB实现方法。主要内容包括:1. DenseNet模型原理,详细解析了初始卷积层、密集块、过渡层等核心结构;2. 在MATLAB环境下完成DenseNet工具箱安装和测试样本准备;3. 实现图像预处理(统一缩放为224×224)、模型训练和测试的完整流程;4. 提供了混淆矩阵和准确率等测试结果分析。文章附带完整的MATLAB程序代码和操作视频教程,适合深度学习初学者快速掌握DenseNet模型的图像分类应用。通过实际测试,验证了该方案的有效性。

FPGA/MATLAB学习教程/源码/项目合作开发 330

搭建Hadoop分布式集群的详细教程

本文包括VMware创建配置虚拟机的基本方法,Centos的安装与配置,Hadoop集群安装与配置方法

程序员小木的博客 2万+

Amazon SES 移出沙盒完整指南 & 高通过率模板

AWS SES沙盒模式转正式模式申请指南 申请正式模式需通过AWS审核,常见被拒原因包括邮件用途不清晰、缺少退订机制或发送量不合理。人工申诉需登录AWS Support Center提交服务限额提升请求,填写详细的公司信息、邮件用途及合规措施。 高通过率申诉模板需包含: 公司信息:名称、网址及与AWS的合作情况。 邮件规范:明确类型(交易/营销)、退订链接及退信处理机制。 发送计划:合理预估发送量,确保合规。 关键点:真实信息、用途清晰、退订机制完善、发送量合理。首次被拒可修改后重新提交。

xianyinsuifeng的博客 329

学Simulink——基于Simulink的Buck-Boost变换器双闭环PI+抗饱和设计建模示例

本文详细介绍了基于Simulink的非反相Buck-Boost变换器双闭环控制设计方法。针对Buck-Boost变换器特有的右半平面零点(RHPZ)和控制挑战,提出了电压-电流双闭环PI控制架构,并集成抗积分饱和机制。通过Simulink建模,实现了主电路、电流内环PI、电压外环PI、PWM及占空比限幅等模块的搭建,验证了在输入电压跌落(20V→10V)和负载突变(2A→4A)等场景下的稳定性能。仿真结果表明,输出电压波动小于0.35V,恢复时间快于1ms,电感电流有效限幅。文章还讨论了工程实践要点和扩展方

xiaoheshang_123的博客 318

Zookeeper和Hadoop分布式集群搭建

Zookeeper和Hadoop分布式集群搭建 用三台虚拟机搭建如上集群 Zookeeper下载地址: https://www.apache.org/dyn/closer.lua/zookeeper/zookeeper-3.5.8/apache-zookeeper-3.5.8-bin.tar.gz Hadoop下载地址: https://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/ 环境配置:JDK1.8+Zookeeper3.5.8+hadoo

weixin_44468025的博客 1908

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

Hadoop分布式集群搭建教程

本篇博客主要讲解如何在Linux虚拟机上搭建Hadoop的分布式集群

n04j04h06的博客 1856

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

搭建Hadoop分布式集群

Hadoop框架是采用Java语言编写,需要java环境(jvm) JDK版本:JDK8版本 ,本次使用的是 Java: jdk-8u431-linux-x64.tar.gz三台Linux虚拟节点: CentOS-7-x86_64-DVD-2009.iso通过虚拟机设置共享文件夹将需要的安装包复制到linux虚拟机中。

不积跬步,无以至千里;不积小流,无以成江海。 1577

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

Hadoop 分布式集群搭建

Hadoop 分布式集群搭建

slb190623的博客 2494

Hadoop 分布式集群搭建(极度重点)

Hadoop 分布式集群搭建(极度重点) 文章目录3.1 搭建目标3.2 搭建流程①、核心配置文件②、在集群上分发配置好的Hadoop配置文件③、集群单点启动3.3 启动集群 3.1 搭建目标 因为机子硬件的限制(这里 Cris 的电脑为 16G 内存),只好进行如下环境搭建 实际上搭建完整的环境至少需要六台虚拟机,由于条件所限,这里就勉为其难的凑合成3台 具体的各个组件的名称以及每个节点的 身份 这里不再介绍,如果不懂请 Google 3.2 搭建流程 101,102,103 号机子都有自己的 Java

张国荣家的弟弟 993

hadoop和spark分布式集群搭建及运用

hadoop和spark分布式集群搭建及简单运用 hadoop和spark分布式集群搭建及简单运用 1Hadoop集群部署 1-1Hadoop简介 1-2 环境及软件说明 1-2-1 虚拟机软件 1-2-2 JDK 1-2-3 Xshell 1-2-4 hadoop安装包 1-3 配置基础环境 1-3-1固定IP地址 1-3-2 安装配置JAVA环境 1-3-3 修改Hostnam

qq_22583741的博客 3727
上一篇: ZeroTier-全网畅连
下一篇: Spark-大数据处理框架的安装
我就想叫这个
博客等级 码龄11年 52粉丝 39原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值