(1)hadoop系列之hadoop基础环境调试

Hadoop平台安装及运行————详细版搭建流程 如果已经存在/output 目录,就要先删除/output目录,再执行上述命令。另外,只要运行过 HDFS,Hadoop 的 工作目录(本书设置为/usr/local/src/hadoop/tmp)就会有数据,如果需要重 新格式化,则在格式化之前一定要先删除工作目录下的数据,否则格式化时会 出问题。上述安装完成的 Hadoop 软件只能让 root 用户使用,要让 hadoop 用户能够 运行 Hadoop 软件,需要将目录/usr/local/src 的所有者改为 hadoop 用户。 阅读详情

感谢朋友支持本博客,欢迎共同探讨交流,由于能力和时间有限,错误之处在所难免,欢迎指正!

如果转载,请保留作者信息。

hadoop系列之hadoop基础环境调试

hadoop简介

什么是Apache Hadoop?

Apache Hadoop为可靠的,可扩展的分布式计算开发开源软件。

Apache Hadoop是一个分布式基础框架,它允许使用简单的编程模型跨计算机群集分布式处理大型数据集。它旨在从单个服务器扩展到数千台机器,每台机器提供本地计算和存储。该库本身不是依靠硬件来提供高可用性,而是设计用于在应用层检测和处理故障,从而在一组计算机之上提供高可用性服务,每个计算机都可能出现故障。

Hadoop是一个由Apache基金会所开发开源项目,该项目包括这些模块:

Hadoop Common:支持其他Hadoop模块的常用工具。

Hadoop分布式文件系统(HDFS):一种分布式文件系统,可提供对应用程序数据的高吞吐量访问。

Hadoop YARN:作业调度和集群资源管理的框架。

Hadoop MapReduce:一种用于并行处理大型数据集的基于YARN的系统。

 

Hadoop是一个能够让用户轻松架构和使用的分布式计算平台。用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。它主要有以下几个优点:

高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖。

高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的,这些集簇可以方便地扩展到数以千计的节点中。

高效性。Hadoop能够在节点之间动态地移动数据,并保证各个节点的动态平衡,因此处理速度非常快。

高容错性。Hadoop能够自动保存数据的多个副本,并且能够自动将失败的任务重新分配。

低成本。hadoop可部署于普通的商用机上,硬件成本较低,另外,hadoop是开源的,软件成本因此也大大降低。

 

Hadoop其他生态系统包括:

Ambari:一种用于供应,管理和监控Apache Hadoop集群的基于Web的工具,其中包括对Hadoop HDFS,Hadoop MapReduce,Hive,HCatalog,HBase,ZooKeeper,Oozie,Pig和Sqoop的支持。Ambari还提供了一个用于查看群集运行状况的仪表板,例如热图和可以直观地查看MapReduce,Pig和Hive应用程序的功能,以及以用户友好的方式诊断其性能特征的功能。

Avro:数据序列化系统。

Cassandra:无单点故障的可扩展多主数据库。

Chukwa:管理大型分布式系统的数据收集系统。

HBase:可扩展的分布式数据库,支持大型表格的结构化数据存储。

Hive:提供数据汇总和即席查询的数据仓库基础架构。

Mahout:可扩展的机器学习和数据挖掘库。

Pig:用于并行计算的高级数据流语言和执行框架。

Spark:用于Hadoop数据的快速和通用计算引擎。Spark提供了一个简单而富有表现力的编程模型,它支持广泛的应用程序,包括ETL,机器学习,流处理和图计算。

Tez:一种基于Hadoop YARN的通用数据流编程框架,它提供了一个强大且灵活的引擎,可执行任意DAG任务来处理批处理和交互式用例的数据。Hado™,Pig™和Hadoop生态系统中的其他框架以及其他商业软件(例如ETL工具)正在采用Tez来替代Hadoop™MapReduce作为底层执行引擎。

 ZooKeeper:分布式应用程序的高性能协调服务。

 

 

本文的目的

Hadoop在大数据技术体系中的地位至关重要,Hadoop是大数据技术的基础,对Hadoop基础知识的掌握的扎实程度,会决定在大数据技术道路上走多远。这是一篇入门文章,Hadoop的学习方法很多,网上也有很多学习路线图。就学习方法而言,个人认为适合自己的才是最好的,本文的思路是:以安装部署Hadoop2.x版本为主线,来介绍Hadoop2.x的架构组成、各模块协同工作原理、技术细节。安装不是目的,通过安装认识Hadoop、学习hadoop才是目的。

本文为基础调试部分,对linux6.4系统进行调试,为安装hadoop做准备

 

第一步修改主机名:

hostnamehadoop.bigdata.com    临时修改主机名,系统重启后失效

[root@localhost ~]#cat /etc/sysconfig/network     永久生效方式

NETWORKING=yes

HOSTNAME=hadoop.bigdata.com

 

第二步配置ip地址:

[root@localhost ~]#vi /etc/sysconfig/network-scripts/ifcfg-eth1

DEVICE=eth1

TYPE=Ethernet

#UUID=57d4c2c9-9e9c-48f8-a654-8e5bdbadafb8

ONBOOT=yes

NM_CONTROLLED=yes

BOOTPROTO=static

DEFROUTE=yes

IPV4_FAILURE_FATAL=yes

IPV6INIT=no

NAME=eth1

HWADDR=00:0c:29:ce:fd:21

IPADDR=10.20.30.75

NETMASK=255.255.255.0

GATEWAY=10.20.30.40

PEERDNS=yes

DNS1=10.20.30.40

PEERDNS=yes

PEERROUTES=yes

LAST_CONNECT=1386682585

 

第三步配置hosts文件,添加主机映射关系

[root@localhost ~]#vi /etc/hosts

127.0.0.1   localhost localhost.localdomain localhost4localhost4.localdomain4

::1         localhost localhost.localdomainlocalhost6 localhost6.localdomain6

10.20.30.75   hadoop.bigdata.com

  

第四步关闭防火墙:

关闭iptables

[root@localhost ~]#service iptables stop     临时关闭

[root@localhost ~]#service  iptables status  

iptables: Firewallis not running.

[root@localhost ~]#chkconfig iptables off    永久关闭

关闭selinux

[root@localhost ~]#setenforce 0    临时关闭

[root@localhost ~]#getenforce    查看是否关闭

Permissive

[root@localhost ~]# vi/etc/selinux/config    永久关闭

# This file controlsthe state of SELinux on the system.

# SELINUX= can takeone of these three values:

#     enforcing - SELinux security policy isenforced.

#     permissive - SELinux prints warningsinstead of enforcing.

#     disabled - No SELinux policy is loaded.

SELINUX=disabled

# SELINUXTYPE= can takeone of these two values:

#     targeted - Targeted processes areprotected,

#     mls - Multi Level Security protection.

SELINUXTYPE=targeted

建议:关闭防火墙后重启系统

 

第五步安装jdk

[root@hadoop ~]# java -version   查看是否已经安装了javaJDK

java version "1.7.0_09-icedtea"

OpenJDK Runtime Environment(rhel-2.3.4.1.el6_3-x86_64)

OpenJDK 64-Bit Server VM (build 23.2-b09, mixedmode)

注意:已经安装了jdk

[root@hadoop ~]# rpm-qa|grep  jdk

java-1.6.0-openjdk-1.6.0.0-1.50.1.11.5.el6_3.x86_64

java-1.7.0-openjdk-1.7.0.9-2.3.4.1.el6_3.x86_64

[root@hadoop ~]# rpm-e java-1.6.0-openjdk-1.6.0.0-1.50.1.11.5.el6_3.x86_64  --nodeps  下载jdk

[root@hadoop ~]# rpm-e java-1.7.0-openjdk-1.7.0.9-2.3.4.1.el6_3.x86_64 –nodeps

[root@hadoop ~]#java -version    卸载成功

-bash: /usr/bin/java:No such file or directory

 

 

安装java jdk

去下载Oracle版本Java JDK:jdk-7u79-linux-x64.tar.gz

注意:Hadoop机器上的JDK,最好是Oracle的Java JDK,不然会有一些问题,比如可能没有JPS命令。 
如果安装了其他版本的JDK,卸载掉。

1、创建解压目录和软件包存放目录

[root@hadoop ~]# mkdir -p /opt/{modules,softwares}

2、将jdk-7u79-linux-x64.tar.gz解压到/opt/modules目录下

tar -zxvf  jdk-7u79-linux-x64.tar.gz   -C /opt/modules/

 

3、设置环境变量:

vi   /etc/profile ,底部追加

exportJAVA_HOME="/opt/modules/jdk1.7.0_79"

export PATH=$JAVA_HOME/bin:$PATH

 

[root@hadoop softwares]# source/etc/profile   修改完毕后,执行 source /etc/profile

[root@hadoop softwares]# java -version    查看jdk是否安装成功

java version "1.7.0_79"

Java(TM) SE Runtime Environment (build1.7.0_79-b15)

Java HotSpot(TM) 64-Bit Server VM (build24.79-b02, mixed mode)

 

至此,hadoop安装环境已经调试完成

 

 


大数据运维---hadoop集群基础环境的配置 准备三台虚拟机,三个节点,CentOS 1.配置静态ip(三台都要配置): 进入网卡ens33的配置页面 [root@localhost ~]# vi /etc/sysconfig/network-scripts/ifcfg-ens33 TYPE=Ethernet PROXY_METHOD=none BROWSER_ONLY=no BOOTPROTO=static //修改:将原先的dhcp修改为static DEFROUTE=yes IPV4_FAILURE_FATAL=no IPV.. 阅读详情

相关推荐

MacOs Hadoop环境搭建 IDEA开发MapReduce程序及调试

公司有个计算需求,由于不能通过连接公司的Hadoop集群进行本地编写MR程序进行调试所以直接自己搭建一个本地Hadoop环境进行MR程序测试,然后再讲程序打包丢到公司Hadoop集群别的不说,直接上干货环境操作系统:MacOS开发环境:IDEA步骤:一、下载hadoop安装包:http://hadoop.apache.org/releases.html公司目前使用2.6.5,为了避免版本上的麻烦,...

Shibuwodai_的博客 3346

大数据技术Hadoop小白教程(一)——Hadoop概述及环境配置

Hadoop是一个开源的分布式计算框架,用于处理大规模数据集的存储和分析。它基于Google的MapReduce和Google文件系统(GFS)的概念,并且能够在廉价的硬件上运行。Hadoop的核心组件包括Hadoop分布式文件系统(HDFS)和Hadoop YARN(Yet Another Resource Negotiator)。HDFS是Hadoop的分布式文件系统,它能够将大规模数据集分布式存储在多个节点上,并提供高容错性和高可靠性。

weixin_68955195的博客 1万+

Hadoop入门系列(3) -- Eclipse+Hadoop开发环境搭建

Eclipse的Hadoop插件Hadoop的安装包中包含elipse-plugin的源码,在src/contrib/eclipse-pluging目录下,我们可以自己编译生成插件,也可以使用网上别人编译好的 Eclipse的Hadoop插件 hadoop-eclipse-plugin-1.2.1.jar,放在eclipse的”plugins”目录下,重启Eclipse就可以生效。配置eclips

只争朝夕 3888

大数据平台运维(hadoop入门(保姆篇))----概述及基本环境配置(HA-1)

大数据运维基础

weixin_62875153的博客 3470

华为ensp.访问控制列表(ACL):关于基本ACL和高级ACL————访问的代码基础讲解(允许或禁止访问)

ACL 目的:为了在设备进行通信时,保障传输的数据足够的安全可靠和网络的型能稳定。 访问控制列表((ACL)Access Coutrol List): 通过定义一些规则,根据规则对数据包进行分类,并针对不同的报文进行不同处理,从而可以实现对网络访问的控制.限制网络流量,提高网络性能,为了防止网络攻击等等。 ACL分类 分类 编号范围 参数 基本ACL 2000-2999 源IP地址等 高级ACL

m0_52479012的博客 2万+

1.STM32H743VGT6最小系统板

此款MCU具备较大算力进行频谱运算,为复杂数据运算提供更高效的保障。该MCU具备REV-V和REV-Y两个型号,后者为新版本。

Audiation88的博客 3800

Hadoop之配置java与hadoop环境

我们学习hapood,需要在系统中配置JAVA和Hadoop环境,今天我们就来使用Xshell配置对应环境。一个hadoop服务器需要这些东西,我们今天的文章只配置java和hadoop环境。 #mermaid-svg-9pJKBlGneJuA1ie4 .label{font-family:'trebuchet ms', verdana, arial;font-family:var(--mermaid-font-family);fill:#333;color:#333}#mermaid-svg-9pJKBl

柳小葱的博客 6351

R语言绘图中文显示全攻略:从乱码到完美适配

本文详细解析了R语言绘图中的中文显示问题,从乱码根源到完美适配方案。通过showtext、sysfonts和extrafont等工具包的应用,提供跨平台的中文显示解决方案,涵盖ggplot2图表、PDF/PNG输出及Shiny应用等场景,助力用户高效实现R绘图中文完美呈现。

hp777的博客 262

Windows本地Hadoop环境及Idea调试

Windows本地Hadoop环境及Idea调试 前提需要 所需要的文件 1.Hadoop 2.Java 3.替换文件 本机用的Hadoop是hadoop2.7.2,Java是1.8.0_202 替换文件下载地址:https://github.com/cdarlint/winutils Java环境安装在本地D:\software\Java\jdk1.8.0_202 Hadoop环境安装在本地D:\Hadoop\hadoop 配置环境变量 搜索栏搜索环境变量,并双击打开 正在上传

小刘的博客 5824

手把手复现金蝶云星空V8.1文件上传漏洞(附完整POC与修复方案)

本文深度解析金蝶云星空V8.1文件上传漏洞,提供详细的漏洞复现步骤与完整POC,涵盖技术原理、测试环境搭建及验证流程。同时给出多维防护方案,包括官方补丁部署、临时缓解措施和长期安全加固建议,帮助企业有效防范任意文件上传风险。

weixin_30505225的博客 184

【SOC 芯片设计 DFT 学习专栏 -- DFT DRC规则检查】

在现代半导体设计中,DFT(Design for Test)技术的重要性不言而喻。它确保了芯片在制造完成后能够进行高效和可靠的测试。DFT设计规则检查(DRC)作为DFT流程中的一个关键环节,通过一系列自动化工具检测设计中的潜在问题,从而保证设计的可测试性和整体质量。在本文中,我们将详细探讨DFT DRC的概念、重要性、检查流程以及具体的规则和应用。Tessent是业界领先的DFT解决方案之一,其DRC工具通过一系列自动化检查,确保设计符合DFT要求。

CodingCos的博客 4173

【Hadoop】Docker搭建Hadoop环境

文章目录Docker搭建Hadoop环境Docker的安装与使用拉取镜像克隆配置脚本创建网桥执行脚本Docker命令补充更换镜像源安装vim启动Hadoop测试Word Count查看Web管理页面 Docker搭建Hadoop环境 Hadoop集群环境配置起来相当繁琐,并且在学习Hadoop过程中没有一般不会去使用多台设备进行分布式集群配置。因此在一台机器上配置Hadoop分布式集群时通常采用...

wangyao2221的博客 2万+

ABAP OO - ALV_TREE例程

项目上比较少有用到ALV_TREE的报表功能,刚好项目上有写了一次,也查阅大量的范例,整合了一写法,给自己做一下笔记。 程序包含功能按钮,按钮下拉,F4帮助,读取选中行,字段双击触发事件,字段前置图标,更新节点,获取节点数据,获取全部子节点,递归算法,DMS模块:创建文档功能,创建文档链接,SNRO创建流水号,缓存数据,下次用户加载进来继续操作。 *&---------------------------------------------------------------------* *&a

大步甩起来 4992

【hadoop】远程调试环境

根据上一节,我们已经安装完成hadoop伪分布式环境还没安装的小伙伴可以看看这个帖子这一节我们要实现使用vscode进行远程连接,并且完成java配置与测试。

2302_81240667的博客 1094

GMSL转eDP芯片MAX9686X(ADI)

MAX96860/MAX96862/MAX96864解串器可以把单路或双路GMSL转换成eDP V1.4a,支持820MHzPCLK的无压缩的24bpp(每个像素的位数)视频,或660MHz的30bpp视频。芯片的GMSL支持NRZ编码的6Gbps/187Mbps的GMSL2,PAM4编码的12Gbps/187Mbps的GMSL3。同时支持单线(COAX模式)双向全双工传输控制数据和video数据。支持DSC压缩的芯片,最大支持像素时钟1080MHz@24bpp或者864MHz@30bpp,传输方式包括同轴

qflook的博客 2852

Python 爬虫实战:从零搭建第一个爬虫程序(附完整代码)

本文介绍了Python网络爬虫的入门实战,以豆瓣Top250电影榜单为例,详细讲解爬虫开发全流程。内容包括爬虫基础原理、环境搭建、请求发送与响应处理、数据解析与保存等核心环节,并提供了可直接运行的完整代码示例。文章还分析了常见问题解决方案,并强调了爬虫开发的合规注意事项。通过本教程,读者可快速掌握Python爬虫的基本思路和实操技巧,为后续深入学习BeautifulSoup、XPath等进阶技术打下基础。

2503_91057718的博客 2316

怎样搭建hadoop环境及调试hadoop代码

关于Hadoop的基本概念,体系架构,以及运行流程,网上已经有很多人都介绍过,这里给大家推荐一下这个博客http://www.cnblogs.com/forfuture1978/category/300670.html,对HDFS,MapR的基本原理以及执行过程解析都有比较详细的介绍。当然还有很多其他优秀的原理介绍文章,我就不一一列举了,大家可以上网搜索;     这篇文档先大概介绍一下Hado

zhangxinfa的专栏 1681

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

Hadoop本地调试环境搭建

Hadoop本地debug

694

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

hadoop 本机环境开发调试注意事项

这里的本地开发环境是指,我自己有虚拟机搭建的HADOOP环境,但是我想在windows的环境上开发调试hadoop程序,这里HDFS的文件读取和输出还是放在linux虚拟机上,但是程序是跑在windows上的hadoop环境里的 运行的代码头部加入 System.setProperty("HADOOP_USER_NAME", "root");2.windows环境变量里加入本地hadoop的路径HA

自由の力 2191

利用eclipse远程调试模式搭建一个调试hadoop源码的环境

1、 利用eclipse远程调试模式搭建一个调试hadoop源码的环境,抓图证明搭建成功。 1) 软件准备: 从http://www.sparxsystems.cn/products/index.html下载EACN_Trial和EAEclipse_Integration 2) 安装上面两个软件,在安装EAEclipse_Integration的过程中有个过程需要选择你的eclipse的安装

人生的个人博客 1454

【Hadoop】IDEA调试Docker上的Hadoop

文章目录IDEA调试Docker上的Hadoop安装JDK安装IDEA创建Maven项目编写WordCount程序本地执行MapReduce程序创建测试数据执行WordCount程序连接Docker集群执行WordCount修改Hadoop配置配置log4j删除output目录配置执行参数执行WordCount补充内容备份镜像可能要用到的一些命令 IDEA调试Docker上的Hadoop 上一篇...

wangyao2221的博客 3770

IDEA在WIN系统下搭建调试HADOOP3的MR调试环境

搭建可以调试hadoop3的MR程序本地环境。

Mickey_flY的博客 1558

Windows上搭建Eclipse的Hadoop调试环境

本文旨在在Windows上调试虚拟机的Hadoop伪分布式Map/Reduce任务。 本人是配置完之后写的总结,希望能给有需要的朋友一些帮助。 环境: CentOS 5.5 VMWare WorkStation 9 Windows7 Hadoop 1.2.1 Eclipse-java-indigo-SR2 前提: 1、已经安装好虚拟机,并且虚拟机和宿主主机之间是可

转型中... 534

eclipse 与hadoop调试环境遇到的问题

配置:在win7中使用eclipse,在win7上虚拟一个linux,在linux里安装hadoop。 目的:在eclipse中编写mapreduce程序,连接到hadoop上直接调试执行。 遇到的几个问题如下:         eclipse与hadoop-eclipse-plugin版本问题:试了很多版本,确定eclipse3.3.2版本+hadoop-0.20.2版本可用。ha

baiyangfu的专栏 2345

使用winutils.exe,在windows开发环境下,调试下调试hadoop、spark程序

在使用idea开发,spark程序时,需要在开发环境模拟hadoop环境,不然,每次都要打jar去集群环境执行调试程序,严重影响开发效率。 winutils.exe是在Windows系统上需要的hadoop调试环境工具,里面包含一些在Windows系统下调试hadoop、spark所需要的基本的工具类, 下面说下具体使用; 下载地址: https://download.youkuaiyun.com/d...

RUIMENG061511332的博客 1万+

由一个HADOOP_HOME and hadoop.home.dir are unset报错引起的window环境连接调试远程hadoop的一系列问题

这篇准确来说不是搭建hadoop开发环境,而是指windows10连接到centos下hadoop集群进行开发遇到的一系列问题,仅此而已

Gavin-Xu的博客 1万+
上一篇: Python3学习笔记之 列表(9)
下一篇: (2)hadoop系列之hadoop本地模式部署
远虑近忧
博客等级 码龄9年 1粉丝 8原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

远虑近忧

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值