Hadoop集群搭建（非高可用）

Cc_sai_sai Cc_sai_sai 博客等级 墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 500+累计阅读 586平均单平台 已同步平台 优快云 微信公众号 微博 知乎 掘金 百家号 博客园 抖音 小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网 我也要 码龄7年
关注
原创 最新推荐文章于 2026-02-21 00:53:00 发布 586 阅读 AI 写同款· GEO 优化 ›
Hadoop高可用集群 当发生故障的时候, Active节点挂掉, 此时Standby节点在成为新的Active节点之前, 会将读取到的EditLog文件在自己的内存中进行推演, 得到最新的目录树结构. 此时再升为Active节点, 可以无缝的继续对外提供服务.当有任何的操作发生在Active节点上的时候, JN会记录这些操作到半数以上的节点中. Standby节点检测JN中的log日志文件发生了变化, 会读取JN中的数据到自己的内存中, 维护最新的目录树结构与元数据信息。要是有一个能监视Active节点的服务功能就好了。 阅读详情

  • 非高可用集群搭建

    第一部分环境准备
    ===============================================================================
    1. 安装好linux    
    2. *安装VMTools
    3. 关闭防火墙
        sudo service iptables stop
        sudo chkconfig iptables off
    4. 设置静态IP，更改主机名
        编辑vim /etc/sysconfig/network-scripts/ifcfg-eth0
        改成
        =================================
        DEVICE=eth0
        TYPE=Ethernet
        ONBOOT=yes
        BOOTPROTO=static
        NAME="eth0"
        IPADDR=192.168.5.101
        PREFIX=24
        GATEWAY=192.168.5.2
        DNS1=192.168.5.2
        =================================
        改过ip    刷新一下    service network restart
        改主机名：    编辑vim /etc/sysconfig/network
                    改HOSTNAME=那一行
                    (主机名改过之后不会立马显示更改需要重启)
        
    5. 配置/etc/hosts
        vim /etc/hosts
        =============================
        192.168.75.100（自己是什么就写什么）   hadoop100
        192.168.75.101   hadoop101
        192.168.75.102   hadoop102
        =============================

    6. 创建一个一般用户jinghang，给他配置密码
        useradd jinghang
        passwd jinghang
        
    7. 配置这个用户为sudoers
        vim /etc/sudoers
        在root    ALL=(ALL)       ALL
        添加jinghang    ALL=(ALL)       NOPASSWD:ALL
        保存时wq!强制保存
        
    8. 在/opt目录下创建两个文件夹module和software，并把所有权赋给jinghang
        mkdir /opt/module /opt/software
        chown jinghang:jinghang /opt/module /opt/software
        
    9. 关机，快照，克隆

    -------------------------------------以下使用一般用户登陆操作-----------------------------------------
    10. 克隆的虚拟机改IP、网卡、主机名  
        
        修改克隆过后虚拟机的ip vim /etc/udev/rules.d/70-persistent-net.rules
        进到该页面下面之后，删除eth0 把新生成的eth1改为eth0 同时复制物理ip 粘贴到
        vim /etc/sysconfig/network-scripts/ifcfg-eth0 就行了
        
    11. 配置免密登陆
            1. 生成密钥对
            ssh-keygen -t rsa 三次回车
            2. 发送公钥到本机
            ssh-copy-id hadoop102 输入一次密码 
            3. 分别ssh登陆一下所有虚拟机
            ssh hadoop103
            exit
            4. 把/home/jinghang/.ssh 文件夹发送到集群所有服务器
            rsync -av /home/jinghang/.ssh  jinghang@jinghang03:/home/jinghang/.ssh
            
    12. 在一台机器上安装Java和Hadoop，并配置环境变量，并分发到集群其他机器
            1.  拷贝文件到/opt/software，两个tar包
            2.  tar -zxvf  xxxx.tar  -C /opt/module
            3.  tar -zxvf  xxxx.tar  -C /opt/module
            4.  sudo vim /etc/profile
            在文件末尾添加如下内容
            =======================================================
                #JAVA_HOME
                export JAVA_HOME=/opt/module/jdk1.8.0_144
                export PATH=$PATH:$JAVA_HOME/bin

                #HADOOP_HOME
                export HADOOP_HOME=/opt/module/hadoop-2.7.2
                export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
            ========================================================
            wq保存退出
            5.source /etc/profile

            6.rsync -av /opt/module/hadoop-2.7.2 jinghang@jinghang03:/opt/module/分发hadoop
            7.rsync -av /opt/module/hadoop-2.7.2  jinghang@jinghang04:/opt/module/
            8.rsync -av /opt/module/jdk.xxxx  jinghang@jinghang03:/opt/module/ 分发jdk
            9.rsync -av /opt/module/jdk.xxxx  jinghang@jinghang03:/opt/module/
            10. rsync -av  /etc/profile  root@jinghang03:/etc/profile 分发配置文件
            11. 在其他机器分别执行source /etc/profile

    *********第二部分hadoop（非高可用）的配置
    ###所有配置文件都在$HADOOP_HOME/etc/hadoop
    14. 首先配置hadoop-env.sh,yarn-env.sh,mapred-env.sh文件,配置Java_HOME
        在每个文件第二行添加 export JAVA_HOME=/opt/module/jdk1.8.0_144
    15. 配置Core-site.xml 添加如下内容
            <!-- 指定HDFS中NameNode的地址 -->
            <property>
                <name>fs.defaultFS</name>
                <value>hdfs://主机名:9000</value>
            </property>

            <!-- 指定Hadoop运行时产生文件的存储目录 -->
            <property>
                <name>hadoop.tmp.dir</name>
                <value>/opt/module/hadoop-2.7.2/data/tmp</value>
            </property>
            
    16. 配置hdfs-site.xml，添加如下内容
            <!-- 数据的副本数量 -->
            <property>
                <name>dfs.replication</name>
                <value>3</value>
            </property>
            <!-- 指定Hadoop辅助名称节点主机配置 -->
            <property>
                  <name>dfs.namenode.secondary.http-address</name>
                  <value>主机名:50090</value>
            </property>
            
    17. 配置yarn-site.xml 添加如下内容

            <!-- Site specific YARN configuration properties -->
            <!-- Reducer获取数据的方式 -->
            <property>
                    <name>yarn.nodemanager.aux-services</name>
                    <value>mapreduce_shuffle</value>
            </property>

            <!-- 指定YARN的ResourceManager的地址 -->
            <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>主机名</value>
            </property>
            <!-- 日志聚集功能使能 -->
            <property>
                <name>yarn.log-aggregation-enable</name>
                <value>true</value>
            </property>

            <!-- 日志保留时间设置7天 -->
            <property>
                <name>yarn.log-aggregation.retain-seconds</name>
                <value>604800</value>
            </property>

    18. 配置mapred-site.xml 添加如下内容
        <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
        </property>
        <!-- 历史服务器端地址 -->
        <property>
            <name>mapreduce.jobhistory.address</name>
            <value>主机名:10020</value>
        </property>
        <!-- 历史服务器web端地址 -->
        <property>
            <name>mapreduce.jobhistory.webapp.address</name>
            <value>主机名:19888</value>
        </property>

    19. 配置etc/hadoop/Slaves，添加从节点主机名
        hadoop102
        hadoop103
        hadoop104
        
    20.分发配置文件
    rsync -av  /opt/module/hadoop-2.7.2/etc/hadoop  jinghang@jinghang03:/opt/module/hadoop-2.7.2/etc/hadoop
    rsync -av  /opt/module/hadoop-2.7.2/etc/hadoop  jinghang@jinghang04:/opt/module/hadoop-2.7.2/etc/hadoop

    *********第三部分启动集群
    21.在NameNode所在的服务器，格式化Namenode 在
    hdfs namenode -format

    22. 启动hdfs，执行如下命令 
        start-dfs.sh

    23. 在配置了Resourcemanager机器上执行 如下命令
        start-yarn.sh
        
    25 关闭集群 stop-dfs.sh  stop-yarn.sh

    26 单点启动（namenode,datanode,resourcemanager,nodemanager）命令如下
     hadoop-daemon.sh start namenode或datanode
     yarn-daemon.sh start resourcemanager或nodemanager
       
    注意：如果集群出了问题（namenode或者datanode启动不起来）
        stop-dfs.sh
        stop-yarn.sh
        rm -rf data logs
        回到21重新执行

收录于
Hadoop

当前文章被收录于：

Hadoop
7 篇文章 0 人学习
订阅专栏 查看详情
标签
#非高可用集群搭建
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
Hadoop高可用集群搭建（超详细） 节点布置 IP 主机名 描述 部署软件 192.168.200.201 hadoop-01 主节点 jdk,hadoop,zookeeper 192.168.200.202 hadoop-02 备用主节点 jdk,hadoop,zookeeper 192.168.200.203 hadoop-03 数据服务节点 jdk,hadoop,zookeeper 配置静态IP # 有的可能为 ifcfg-ens33 vi /etc/sysconfig/network-scripts/ifc 阅读详情

相关推荐

Hadoop高可用集群搭建及测试

你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。 新的改变 我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客： 全新的界面设计 ，将会带来全新的写作体验； 在创作中心设置你喜爱的代码高亮样式，Markdown 将代码片显示选择的高亮样式 进行展示； 增加了 图片拖拽 功能，你可以将本地的图片直

weixin_48628866的博客 2234

hadoop配置文件修改

####################################################################### core-site.xml <configuration> <!-- 指定集群的文件系统类型:分布式文件系统 --> <property> <name>fs.default.name</nam...

weixin_43995212的博客 2274

Hadoop高可用集群，基于Zookeeper集群详细搭建流程！

上次给大家讲过搭建hadoop高可用集群的具体思路，今天就开始正式根据思路搭建。 搭建前准备 1.官方地址：http://hadoop.apache.org/ 2.HDFS 高可用集群规划，请保证 Hadoop 完全分布式和 ZooKeeper 完全分布式环境已经安装完成，以3台机为例。 3.先在一台机hadoop2上配置文件信息 进入文件夹下的配置文件目录下 cd /opt/soft/hadoop260/etc/hadoop/ 3.在 hadoop2 配置 core-site.xml vi core-si

zp17834994071的博客 2405

Hadoop总结一：基础知识-Namenode，Datanode（非HA高可用性配置）

Namenode主要功能：接受客户端的读写服务 Namenode保存metadata信息（元数据）   --文件ownership和permissions   --文件包含哪些快   --Block保存在哪个DataNode上（Datanode启动时上报） Namenode的metadata信息在启动后会加载到内存   --metadata存储到磁盘文件名为‘fsimage’

Mojoooo-jie 1420

Hadoop3+zookeeper3 HA高可用集群搭建

Hadoop3 HA高可用集群搭建 环境准备 jdk jdk-8u192-linux-x64.tar.gz hadoop hadoop-3.1.2.tar.gz zookeeper zookeeper-3.4.13.tar.gz java环境配置 # vi + /etc/profile 在末尾添加以下内容： # JAVA_HOME export JAVA_HOME=/op...

醉殇无痕的博客 2845

【大数据入门核心技术-Hadoop】（五）Hadoop3.2.1非高可用集群搭建

1、Standalone mode（独立模式） 独立模式又称为单机模式，仅1个机器运行1个java进程，主要用于调试。2、Pseudo-Distributed mode（伪分布式模式） 伪分布模式也是在1个机器上运行HDFS的NameNode和DataNode、YARN的 ResourceManger和NodeManager，但分别启动单独的java进程，主要用于调试。3、Cluster mode（集群模式）-单Namenode节点模式-高可用HA模式 集群模式主要用于生产环境部署。会使用N台主机组成一个H

994

Hadoop 2.0 NameNode HA和Federation实践

一、背景 天云趋势在2012年下半年开始为某大型国有银行的历史交易数据备份及查询提供基于Hadoop的技术解决方案，由于行业的特殊性，客户对服务的可用性有着非常高的要求，而HDFS长久以来都被单点故障的问题所困扰，直到Apache Hadoop在2012年5月发布了2.0的alpha版本，其中MRv2还很不成熟，可HDFS的新功能已经基本可用，尤其是其中的的High Availability

Mac Track 1554

Qwen3-Omni-30B-A3B-Instruct微调指南：如何打造专属智能博物官（附数据集）

本文详细介绍了如何对Qwen3-Omni-30B-A3B-Instruct模型进行微调，以打造专业的智能博物官。指南涵盖了从理解模型架构优势、构建高质量文博数据集，到使用LLaMA-Factory进行实战微调、效果评估与部署优化的完整流程，并提供了关键的环境配置与性能优化建议，帮助开发者在垂直领域高效定制专属AI助手。

weixin_29096377的博客 1144

【hadoop】Hadoop 3.3.4 集群安装及简单使用

Hadoop3.3.4 集群安装及简单配置

一只懂代码不懂人情世故的源码爱好猿 2762

Python多版本共存指南：用CMD命令一键切换3.6和3.8解释器（含pip使用技巧）

本文详细介绍了在Windows CMD环境下实现Python多版本（如3.6和3.8）共存与一键切换的完整方案。通过文件重命名策略、环境变量优化和自定义脚本，开发者可快速切换Python解释器版本，并管理各版本独立的pip依赖库，确保项目环境隔离与兼容性。

weixin_29035405的博客 423

【NTN 卫星通信】使用地面网络和卫星网络接入的终端应用场景

卫星接入有广覆盖的特点， 可以改善地面接入网覆盖或无线条件差的地区(例如多径干扰)的服务可用性。对于高速移动中需要实时业务的终端，如IMS语音/视频会议，可以通过地面接入和卫星接入同时实现与5G系统的双连接，在地面接入网不可用的情况下获得连续可靠的业务。

weixin_43603524的博客 2558

hadoop集群搭建详细流程（非高可用）

******第一部分环境准备 安装好linux *安装VMTools 关闭防火墙 sudo service iptables stop sudo chkconfig iptables off 设置静态IP，更改主机名 编辑vim /etc/sysconfig/network-scripts/ifcfg-eth0 改成 DEVICE=eth0 TYPE=Ethernet ONBOOT...

yezhiyu129的博客 287

FLUKA软件在Ubuntu的安装指南（亲测有效）

FLUKA其强大的蒙特卡洛模拟能力使得用户能够模拟复杂的辐射相互作用过程

chencheng1127的博客 2887

hadoop集群搭建流程

第一环境准备 安装linux 安装vmTools 关闭防火墙 sudo service iptables stop sudo chkconfig iptables off 设置静态IP，更改主机名 最好是字母加数字 编辑vim /etc/sysconfig/network-scripts/ifcfg-eth0 DEVICE=eth0 TYPE=Ethernet ONBOOT=yes BOOTPRO...

醉生梦是的博客 254

Qt OpenGL 3D 点云数据显示

在Qt中使用OpenGL显示3D点云数据是一个常见的需求，特别是在计算机视觉、机器人学和三维重建等领域。下面我将介绍一个基本的实现方案。

深之JohnChen的专栏 1239

TI毫米波雷达人体生命体征（呼吸、心跳）信号提取算法（IWR6843ISK+DCA1000EVM）

本篇内容介绍的算法主要为传统的提取算法，但可实现在1m内呈现良好的检测效果，能够提取出非常可观的呼吸和心跳波形，但在超出1m的距离后便不适用这个算法了。远距离检测呼吸和心跳始终是这个领域一个很大的挑战。要实现远距离检测可在提取相位信号、分离呼吸和心跳信号上进行改进处理，例如线性解调提取相位、改进的VMD分离呼吸和心跳算法。

m0_61934621的博客 3万+

Hadoop完全分布式集群搭建

Hadoop环境搭建 一、环境描述 VMware15(12/14也可以) Linux系统：3台CentOS6.8（三台可以相互ping通） 连接工具：MobaXterm jdk：java1.8.0_131 hadoop：hadoop2.7.2 节点搭建： bigdata01 bigdata02 bigdata03 NameNode – secondaryNameNode DataNode DataNode DataNode – ResourceManager

qq_41422941的博客 395

华为Watch的ECG功能技术分析

华为Watch的ECG（心电图）功能通过硬件传感器、算法优化和医疗认证的结合，实现了对心脏电活动的监测和房颤（AFib）等心律失常的预警。采用医疗级ECG模拟前端芯片（AFE），如TI（德州仪器）的ADS1292R等，支持低噪声、高采样率（通常≥200Hz）。结合PPG（光学心率）数据交叉验证，提高检测可靠性（如ECG和PPG心率不一致时触发警告）。通过RR间期变异性判断心律是否规则，识别房颤（AFib）的典型特征（如不规则不规则心律）。结合加速度计数据，识别手臂运动导致的信号失真，动态调整算法参数。

xu_wenming的博客 6444

docker-compose一键部署Hadoop集群

1、hadoop简介Hadoop 是一个由Apache软件基金会开发的开源、可靠的分布式计算框架。它的核心设计目标是能够以一种简单、可扩展的方式，处理从GB到PB级别的海量数据集，并能够在上千台普通的商用硬件上运行，提供高容错性。2、Hadoop的优势1.高可靠性：Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或存储出现故障，也不会导致数据的丢失。2.高扩展性：在集群间分配任务数据，可方便的扩展数以千计的节点。

曼陀罗的博客 564

华为数通方向HCIP-DataCom H12-831题库(多选题：121-140）

华为数通HCIP H12-831多选题

didiplus 1291

SAP B1中文培訓教材_SDK

公司内部培训资料，对开发工具 ，DIAPI， UIAPI，Add-ON有详细解说

Hadoop集群搭建过程中的常见问题（一）

Hadoop 集群搭建常见问题本人近期也一直在搭建Hadoop的相关环境，包括hadoop的搭建、zookeeper的搭建已经hbase的部署，这过程中也遇到了形形色色的问题，中间的过程也是十分的抓狂。在这里和大家分享一些自己的问题，希望对大家有所帮助，先列出三个供大家参考：Hadoop 集群搭建常见问题 Agent admitted failure to sign using the key In

Alvin_优快云_blog的博客 1410

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章，有部分习题没有答案，全英文复分析阿尔福斯(Ahlfors) 第三版答案

四.1 hadoop 3.1.3 非HA 集群安装部署

文章目录1 集群部署2 修改hadoop-env.sh,yarn-env.sh,mapred-env.sh文件3 修改core-site.xml文件4 hdfs-site.xml5 yarn-site.xml6 mapred-site.xml7 workers文件8 启动停止9访问页面地址9.1 yarn:9.2 hdfs10 测试 1 集群部署 2 修改hadoop-env.sh,yarn-env.sh,mapred-env.sh文件 在上面三个文件中添加jdk 路径 export JAVA_HOME=

andy的博客 196

IMSL CNL 7.0.0 (x86-64)Crack

IMSL CNL 7.0.0 (x86-64)Crack intel的算法库破解文件，这是C++版本的破解文件

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

【Hadoop】高可用集群搭建

一文带你了解Hadoop的HA高可用搭建!

你不来，再美的天地，都狼藉 ~ 5133

hadoop高可用集群搭建

主机配置环境如下表 主机名 IP 系统 软件版本 安装目录 数据目录 hadoop-01 192.168.10.51 Centos 7.6 hadoop-2.7.7、jdk1.8、zookeeper-3.4.6 /usr/local/hadoop /data/hadoop hadoop-02 192.168.10.52 Centos 7.6 hadoop-2.7.7、jdk1....

浅抒流年的博客 8133

Hadoop高可用集群搭建

一、集群节点分布。 三个服务器组成一个Zookeeper集群。node-01和node-02作为集群的NameNode，需要运行ZKFC来监控NameNode的健康状态。 二、hadoop高可用集群 （1）先搭建普通的hadoop集群。 （2）修改core-site.xml文件。 该文件是Hadoop的核心配置文件，配置HDFS地址、端口号，以及临时文件 目录。打开该配置文件，添加如下配置内容。 zookeeper地址就是你的三台主机名 cd /export/...

m0_50744317的博客 4297

hadoop集群HA高可用搭建

在整个项目中我觉得最难的应该是HA，当然这是对于第一次配置HA高可用的我来说，因为我根据不同的博客配置了几次，要么就是两个Standby 状态的NameNode，要么就是一个Active状态的NameNode，一个Standby 状态的NameNode。但是当你kill 掉Active节点的NameNode，你就会发现，Standby 状态的NameNode没有成功切换为Active。我在配置了几次后，通过查看日志文件，发现拒绝连接，经过仔细阅读。问题出现在无法进行 fence。

weixin_64378412的博客 2889
上一篇： 伪分布及完全分布式
下一篇： Hadoop（HDFS）
点赞 0
评论 0
书签 书签 0
Cc_sai_sai
Cc_sai_sai
博客等级 码龄7年 2粉丝 17原创
+ 关注 专栏目录 订阅专栏
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值