用Java访问带有Kerberos认证的HBase

王树民 王树民 博客等级 墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 8.5k累计阅读 8.6k平均单平台 已同步平台 优快云 微信公众号 微博 知乎 掘金 百家号 博客园 抖音 小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网 我也要 码龄10年
关注
转载 最新推荐文章于 2026-05-13 23:58:48 发布 8.5k 阅读 AI 写同款· GEO 优化 ›
深度解析Kafka kerberos认证 Kafka kerberos动态认证及静态认证过程 阅读详情

用Java访问带有Kerberos认证的HBase

标签： HBase java
2016年07月19日 18:26:41  6475人阅读  评论(0)  收藏  举报
  分类：
java 基础（48）   HBase（26） 

开始之前


   因为HBase的存储系统是基于Hadoop的存储，现在Hadoop已经增加了Kerberos认证机制，这样HBase的客户端访问HBase数据库的时候也需要进行身份的认证。
   Kerberos是一个认证中心，客户端在访问HBase前必须通过认证才能访问，下图是Kerberos的认证图：
  

 我们不需要详细介绍Kerberos的原理，但是大概流程可以说一下：

当HBase客户端访问HBase的时候，首先必须访问KDC获取一个经过授权的票据，以后Client在访问HBase server的时候可以通过这个票据进行访问。
正常情况下当我们通过HBase客户端访问的时候，都需要进行一次认证的过程，认证过后，KDC返回的票据具有有效期，一般默认是10小时，换句话说在这10个小时内你不需要再次登录KDC进行认证。

1，Linux客户端认证方式
 
 如果我们现在处在Linux客户端上想进行HBase Client的Kerberos认证怎么办，我们怎么登录KDC进行认证？  在Linux有一个Kinit可以完成这种认证过程，可以通过kinit之后，传入必要的参数（例如用户名和密码）等就可以认证。 同时Kerberos还提供了另外一种方式就是我们可以通过一个.keytab  文件直接认证，这样我们就不需要记住这些密码了，keytab这个文件从哪来的呢，这也是在配置Hadoop的时候通过一个ktutil工具生成的。我们可以理解成.keytab文件是带有密码的一个文件就可以了，只要拿到这个文件我们就可以在linux机器上运行kinit 完成这个登录认证的过程 (其中hbase.keytab是服务端生成的文件)

kinit -k -t /etc/hadoop/conf/hbase.keytab hbase/1722.myip.domain@HADOOP.COM

认证完成后我们就可以直接用 hbase shell操作Hbase了

2， Java程序认证方式

通过Linux kinit 命令我们很容易的完成认证，但是如果要是用Java程序编码怎么完成这种登录认证呢？

  2.1 我们把服务器端的 hbase.keytab 文件 copy到 本地一个磁盘，例如  c:\
  2.2 我们copy远程集群一个hbase-site.xml文件放到你运行环境的classpath下，这个和正常没有kerberos的HBase访问是一样的
  2.3 接下来我们需要用到 UserGroupInformation API来进行访问，这个API需要一个参数 principal 和一个你的 keytab 文件，这里文件里面存储的是相关的密码

  程序代码实例如下：

  
package  com.hbasedemo;

import  java.io.IOException;

import  org.apache.hadoop.conf.Configuration;
import  org.apache.hadoop.hbase.HBaseConfiguration;
import  org.apache.hadoop.hbase.KeyValue;
import  org.apache.hadoop.hbase.client.HTable;
import  org.apache.hadoop.hbase.client.Result;
import  org.apache.hadoop.hbase.client.ResultScanner;
import  org.apache.hadoop.hbase.client.Scan;
import  org.apache.hadoop.security.UserGroupInformation;

public  class  Test {
        private  static  Configuration  conf  =  null ;

        static  {

              // 这个配置文件主要是记录 kerberos的相关配置信息，例如KDC是哪个IP？默认的realm是哪个？
              // 如果没有这个配置文件这边认证的时候肯定不知道KDC的路径喽
              // 这个文件也是从远程服务器上copy下来的
            System. setProperty( "java.security.krb5.conf" ,  "C:/Users/dongzeguang/Downloads/krb5.conf"  );
            
              conf  = HBaseConfiguration.create();
              conf .set( "hadoop.security.authentication"  ,  "Kerberos"  );
              // 这个hbase.keytab也是从远程服务器上copy下来的, 里面存储的是密码相关信息
              // 这样我们就不需要交互式输入密码了
              conf .set( "keytab.file"  ,  "C:/Users/Downloads/hbase.keytab"  );
              // 这个可以理解成用户名信息，也就是Principal
              conf .set( "kerberos.principal"  ,  "hbase/1722.myip.domain@HADOOP.COM"  );    
            conf.set("hbase.master.kerberos.principal",HBASE_MASTER_PRINCIPAL);
            conf.set("hbase.regionserver.kerberos.principal",HBASE_RS_PRINCIPAL);
            conf.set("hbase.zookeeper.quorum","xxx.xxx.xxx.xxx");
            conf.set("hbase.zookeeper.property.clientPort","2181");
            conf.set("hbase.security.authentication","kerberos");

            UserGroupInformation. setConfiguration( conf );
              try  {
                  UserGroupInformation. loginUserFromKeytab( "hbase/1722.myip.domain@HADOOP.COM" ,  "C:/Users/Downloads/hbase.keytab"  );
            }  catch  (IOException e) {
                    //  TODO  Auto-generated catch block
                  e.printStackTrace();
            }
      }

        public  static  void  scanSpan( final  String tableName)  throws  Exception {
            HTable table =   new  HTable( conf , tableName);
            System.  out .println( "tablename:"  + new  String(table.getTableName()));
            Scan s =  new  Scan();
            ResultScanner rs = table.getScanner(s);
            
              for  (Result r : rs) {
                  System.  out .println(r.toString());
                  KeyValue[] kv = r. raw();
                    for  ( int  i = 0; i < kv. length ; i++) {
                        System.  out .print( new  String(kv[i].getRow()) +  "" );
                        System.  out .print( new  String(kv[i].getFamily()) +  ":" );
                        System.  out .print( new  String(kv[i].getQualifier() ) +  ""  );
                        System.  out .print(kv[i].getTimestamp() +  ""  );
                        System.  out .println( new  String(kv[i].getValue() ));
                  }
            }

      }

        /**
       *  @param  args
       */
        public  static  void  main(String[] args) {
              //  TODO  Auto-generated method stub
              try  {
                  Test. scanSpan( "h_span" );
            }  catch  (Exception e) {
                    //  TODO  Auto-generated catch block
                  e.printStackTrace();
            }
      }

}


转载出处：http://blog.youkuaiyun.com/blackice1015/article/details/49422855
收录于
hbase

当前文章被收录于：

hbase
108 篇文章 2 人学习
订阅专栏 查看详情
java kerberos hbase,用Java访问带有Kerberos认证的HBase详解 开始之前因为HBase的存储系统是基于Hadoop的存储，现在Hadoop已经增加了Kerberos认证机制，这样HBase的客户端访问HBase数据库的时候也需要进行身份的认证。Kerberos是一个认证中心，客户端在访问HBase前必须通过认证才能访问，下图是Kerberos的认证图：我们不需要详细介绍Kerberos的原理，但是大概流程可以说一下：当HBase客户端访问HBase的时候，首先... 阅读详情

相关推荐

Kerberos安全认证-连载11-HBase Kerberos安全配置及访问_kerberos hbase

在HBase各个节点HBASE_HOME/conf目录下创建zk-jaas.conf文件，写入如下内容，不同的节点设置的principal是对应HBase主机节点。在HBase各个节点创建HBASE_HOME/logs目录，如果该目录不存在需要提前创建，存在即可忽略，该目录为HBase日志目录，需要将该目录权限修改为root:hadoop、访问权限为770，否则hbase用户在启动Hbase集群时没有向该目录写日志权限。java API操作经过Kerberos安全认证的HBase按照如下步骤实现即可。

2501_90433746的博客 2318

0554-6.1.0-同一java进程中同时访问认证和非认证集群的问题（续）

1 文档编写目的 Fayson在前面的文章《0553-6.1.0-如何使用Java代码同时访问安全和非安全CDH集群》，本篇文章介绍在同一Java进程中，通过多线程同时访问Kerberos认证集群和非认证集群时出现的一些异常及解决方法。 测试环境：CDH6.1.0 2 集群准备 1.非认证集群，在该集群中根目录下创建了一个NONEKRBCDH目录用以标识 2.认证集群，在该集群中根目录下创建...

Hadoop_SC的博客 1882

Kerberos安全认证-连载11-HBase Kerberos安全配置及访问

技术连载系列，前面内容请参考前面连载10内容:​​​​​​​​​​​​​​大数据组件HBase也可以通过Kerberos进行安全认证，由于HBase中需要zookeeper进行元数据管理、主节点选举、故障恢复，所以这里对HBase进行Kerberos安全认证时，建议也对Zookeeper进行安全认证。

qq_32020645的博客 4526

HBase的用户认证和授权

使用这些功能，用户可以确保只有经过授权的用户才能访问和操作。用户认证是确认用户身份的过程，而用户授权是授予用户特定权限以访问和操作数据库的过程。的用户认证和授权功能可以保护数据的机密性和完整性，同时提供灵活的权限管理。用户授权提供了表级别和列族级别的权限管理，通过。的用户认证和授权机制可以保护数据的安全性和完整性。用户授权是授予用户访问和操作数据库的特定权限的过程。类来授予和撤销用户对表的权限，并验证用户的权限。提供了两种级别的用户授权：表级别和列族级别。，可以轻松地进行用户授权的管理。

互联网知识分享 1455

Agent 团队管理手册：如何设定目标、分配角色与解决冲突

本文从Agent团队的底层逻辑出发，完整讲解了Agent团队管理的三大核心模块：目标设定（分层拆解+对齐校验）、角色分配（能力匹配+最优算法）、冲突处理（分类处理+仲裁投票），并提供了可直接运行的完整代码示例。通过本文的方法，你可以快速搭建一个高效协作的Agent团队，大幅提升复杂任务的完成效率和准确率。Agent团队是未来AI应用的核心形态，现在正是落地的黄金期，建议你从一个小场景开始动手实践，逐步优化自己的Agent团队管理方法论。

AI天才研究院 236

前沿数据解析 | 麻省理工-斯坦福-丰田研究中心电池数据集：AI驱动下的电池寿命早期预测

本文解析了麻省理工、斯坦福与丰田研究中心联合发布的电池数据集，展示了AI驱动下的电池寿命早期预测技术。通过分析124个商用锂离子电池的完整生命周期数据，研究团队仅用前100次循环数据即可准确预测电池报废时间，为电动汽车电池管理提供革命性解决方案。数据集包含LFP/石墨体系电池的详细测试记录，结合差分容量分析和梯度提升树模型，预测精度显著提升。

weixin_26950847的博客 530

Java访问带有Kerberos认证的HBase

2019独角兽企业重金招聘Python工程师标准>>> ...

weixin_34185320的博客 518

TCP协议中ARQ自动重传的三种实现方式对比（含SACK详解）

本文深入解析TCP协议中ARQ自动重传的三种实现方式，包括停止-等待、回退N步和选择重传协议，特别详细介绍了SACK机制的工作原理和优势。通过对比分析各协议的效率、复杂度和适用场景，为网络通信中的可靠性传输提供了实用的选型指南。

weixin_30776273的博客 462

java kerberos hbase_用Java访问带有Kerberos认证的HBase

程序代码实例如下：packagecom.hbasedemo;importjava.io.IOException;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.hbase.HBaseConfiguration;importorg.apache.hadoop.hbase.KeyValue;importo...

weixin_35046143的博客 305

Labelme AI-Polygon闪退排查与修复指南

本文详细介绍了Labelme AI-Polygon功能闪退问题的排查与修复方法，包括环境配置检查、模型路径设置、依赖库版本控制等关键步骤。通过系统性的解决方案和实用技巧，帮助用户快速解决闪退问题，确保数据标注工作的高效进行。

weixin_29311017的博客 140

国产上位机软件突围：适配统信UOS/麒麟OS的跨平台开发技术与实践（2026年信创实战指南）

（航天科技集团CTO）：“在信创战场上，1ms的延迟意味着1个卫星的控制失效。2026年，C#/.NET MAUI不是选择，而是我们守护卫星的‘生命线’。

这里只有干货：从 Modbus 通信到 MES 对接，从 YOLO 训练到工控机部署，带你搞定工业软件开发全流程。 414

java API 访问带有Kerberos认证的HBase时window服务器的配置

首先第一步，是确定的代码运行在window服务器还是linux服务器下， 如果是window服务器下，首先要检测window服务器是否可以连接的通 hadoop平台的zk （2181端口） （telnet xxx.xxx.xxx.xxx 2181）确定连接无误的情况下，进行连接hbase服务器的验证操作（60020端口） （telnet xxx.xxx.xxx.xxx 60020）两者都通的话。下

刘莹慧的专栏 2895

模糊控制 (Fuzzy Control) 算法详解及案例分析

模糊控制是一种基于模糊逻辑的控制策略，其核心思想是通过模糊规则和模糊推理实现对复杂系统的控制。模糊控制不依赖于精确的数学模型，而是通过模拟人类的决策过程来处理不确定性和非线性问题。

闲人编程的博客 3660

Windows Kerberos客户端配置并访问CDH

https://forum.huawei.com/enterprise/zh/thread-337775.html 最近被安排做java本地访问带认证的CDH集群，网上查了各种博客，试了各种方法都无法登录上。最终发现是端口问题，因为kdc默认端口是88，所以必须给88端口为UDP协议   使用API访问开启安全Kerberos的Hdfs hadoop集群(cdh集群)在开启kerberos安...

大数据指北 4682

【部署】Ubuntu 24.04.4虚拟机下部署OpenClaw

OpenClaw是一款基于AI的智能助手工具，本文详细介绍了在Ubuntu 24.04.4系统上的三种安装方法。推荐使用一键安装脚本（curl -fsSL https://openclaw.ai/install.sh | bash），自动完成Node.js检测、CLI安装和引导配置。对于开发者，提供了从源码构建的详细步骤，包括环境准备、依赖安装和构建流程。文章还包含常见问题解决方案（如sharp构建错误处理）以及后续维护建议（更新、配置检查和日志查看）。安装完成后，用户可通过终端TUI或Web UI进行初始

海兰 1万+

Python实现PDB文件预处理

蛋白质结构研究依赖PDB文件存储的三维结构数据，但原始文件常含无关的水分子、离子和非标准残基等干扰信息。本文介绍了一个基于BioPython的Python预处理脚本，可自动清理PDB文件，主要功能包括：1)移除短于阈值的蛋白质链；2)过滤非标准氨基酸；3)可选保留水分子和金属离子。该脚本逻辑清晰，支持批量处理，能显著提升结构比对、分子对接等分析前的数据准备效率，为后续生物信息学研究提供更纯净的结构数据基础。

Protein Designer的博客 568

ZOOKEEPER、HDFS、YARN、HBASE配置Kerberos认证

注：在配置kerberos认证之前，必须先确保成功安装kerberos集群 安装教程：Centos7安装大数据安全认证组件Kerberos。 一、环境说明 环境说明 系统环境 集群节点分布 名称 版本 IP地址 ...

程序猿丶HLK 5536

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android：LinePhone3.2.7(最新版本)，官网地址：http://www.linphone.org/

Kerberos安全认证-连载11-HBase Kerberos安全配置及访问_kerberos hbase(2)

在结束之际，我想重申的是，学习并非如攀登险峻高峰，而是如滴水穿石般的持久累积。尤其当我们步入工作岗位之后，持之以恒的学习变得愈发不易，如同在茫茫大海中独自划舟，稍有松懈便可能被巨浪吞噬。然而，对于我们程序员而言，学习是生存之本，是我们在激烈市场竞争中立于不败之地的关键。一旦停止学习，我们便如同逆水行舟，不进则退，终将被时代的洪流所淘汰。因此，不断汲取新知识，不仅是对自己的提升，更是对自己的一份珍贵投资。让我们不断磨砺自己，与时代共同进步，书写属于我们的辉煌篇章。需要完整版PDF学习资源私我。

2401_84297193的博客 1121

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")
上一篇： 通过java客户端连接hbase 注意事项
下一篇： HBase性能优化方法总结（4）：读表操作
点赞 1
评论 0
书签 书签 4
王树民
王树民
博客等级 码龄10年 912粉丝 560原创
+ 关注 专栏目录 订阅专栏
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值